Halcination

ハルシネーションとは、생성 AIが事実と異なる情報を回答してしまう現象を指します。ハルシネーション(환각)는 원래 "Hastique, Illusion"을 의미하는 단어이며 AI가 사실 인 것처럼 보이는 "그럴듯한 거짓말"을 출력한다는 사실에서 비롯됩니다

ハルシネーションによって、存在しない事例や虚偽の情報が生成されることで、深刻なトラブルに発展するリスクがあります。ハルシネーション対策は急務の課題とされており、モデルの改良や出力の精査など、さまざまな取り組みが進められています。しかし、現時点ではハルシネーションを完全に防ぐことはできません。ハルシネーションによるリスクを防ぐためには、利用者もその特性を理解し、適切に活用することが求められます。

ハルシネーションが発生する原因として、主に次のような問題が考えられます。

●学習データの不完全さ

ai는 인터넷에서 수집 한 방대한 양의 데이터를 기반으로 학습합니다 교육 데이터에 잘못되거나 편향된 정보가 포함 된 경우 부정확 한 답변을 생성 할 수 있습니다 또한 최신 정보 또는 특정 범주에 대한 데이터가 부족한 경우 관련이 없거나 관련 정보를 결합 할 수 있습니다

● AI 생성 특성 및 한계

생성 AI의 디자인 그 자체가 원인 일 수 있습니다 예를 들어, 텍스트 생성은 컨텍스트를 기반으로 다음 단어를 확률 적으로 예측합니다 따라서 우리는 때때로 정보의 정확성과 사실과 다른 출력 답변보다 자연적인 맥락에 더 중점을 둡니다 또한 AI는 단어의 의미 나 문맥에 대한 깊은 이해가 없으며 문맥에 적합하지 않은 단어를 사용하게 될 수 있습니다

ハルシネーションには、大きく分けて2つの種類があります。

内在的ハルシネーション(고유

外在的ハルシネーション(외부생성 AIが学習データにない情報や概念を新たに作り出すケースです。実在しない人物や出来事に関する説明、または完全に架空の情報を生成するものです。

예 1 : 대화식 AI 서비스가 부정확 한 정보를 분산시킵니다

2023 년 주요 클라우드 회사가 발표 한 대화식 AI 서비스에서ハルシネーション| 부정확 한 정보가 퍼지는 일이 발생했습니다 소셜 미디어의 몇몇 전문가들이 발표 당시 데모 비디오의 답이 잘못되었다고 지적한 것으로 밝혀졌다 회사의 신뢰에 의해 발견 후 응답 지연이 손상되어 주가의 급격한 하락을 포함하여 경제적 손실이 발생했습니다

事例2：虚偽情報の生成により開発元を訴訟

2023年、米国のラジオパーソナリティが、생성 AIの虚偽情報によって名誉を毀損されたとして、開発元を提訴しました。あるジャーナリストが裁判資料の要約を생성 된 AIで作成した際、当該パーソナリティが非営利団体の資金を横領したとする誤った内容が含まれていたというものです。実際にはそのような事実はありませんでした。

事例3：弁護士が存在しない判例を引用

2023年、米国の弁護士が생성 된 AI존재하지 않는 선례를 인용합니다 변호사는 AI가 생성 한 정보를 제출하여 그것이 사실이라고 믿었지만 다른 당사자는 오류를 지적했습니다 "우리는 선례가 제조 될 것이라고 믿지 않았지만 법원은 의도적으로 5,000 달러의 벌금을 부과했다고 판결했다

ハルシネーションを抑制するためにさまざまな研究が進められていますが、現時点で完全に制御する方法は見つかっていません。そのため、생성 된 AIを業務に活用する企業は、ハルシネーションが発生することを前提に対策を講じる必要があります。

●プロンプトを工夫する

プロンプト（質問や指示）の内容によって、ハルシネーションの発生が左右されます。
以下のようにプロンプトを工夫することで、ハルシネーションの発生を抑えることが期待できます。

• 具体的かつ明確な指示をする
• 信頼できる情報源を指定する
• 一度に複数の質問をしない

また、プロンプトの最後に「わからない場合、わからないと答えてください」と付け加えるだけでも、ハルシネーションを抑制する効果があります。

●マニュアルを作成する

생성 된 AIの使用に関するマニュアルを作成し、使用者すべてに周知徹底します。マニュアルには、ハルシネーションの原因やリスク、対策方法を具体的に記載し、機密情報を取り扱う場合の使用制限やルールを策定することで、情報漏洩のリスクを軽減できます。

●ファクトチェックを徹底する

생성 된 AIの回答を使用する際は、ファクトチェックは欠かせません。特に、正確性が求められる場合、ファクトチェックを徹底するプロセスを構築し、回答結果を検証する仕組みを整備することが重要です。また、ファクトチェックは情報の正誤性だけでなく、「差別や偏見を助長する表現がないか」「知的財産権を侵害していないか」など情報モラルへの配慮も必要です。