最終更新日：
ハルシネーションとは、生成AIが事実と異なる内容を、正しいことのように答えてしまう現象です。
ハルシネーションは、英語で「幻覚」を意味します。LLMは、もっともらしい言葉の続きを予測して文章を作るため、知らないことや学んでいないことについても、それらしい答えを作ってしまうことがあります。存在しない資料や数字、人の名前を挙げることもあります。
対策としては、RAGで根拠となる文書を参照させ、出典を示させる方法がよく使われます。プロンプトで「分からない場合は分からないと答える」と指示する、答えの形を決めて確かめやすくする、といった工夫もあります。
対策をしても、ハルシネーションをなくすことはできません。契約、法務、医療、顧客への回答など、誤りの影響が大きい業務では、人が確かめる手順を組み込み、AIの答えをそのまま外に出さない運用にします。AIが示した出典も、実在し内容が合っているかを確かめます。
関連する用語
- LLM（大規模言語モデル）大量の文章を学び、次に来る言葉を予測することで文章を作るAIのモデルです。
- RAG（検索拡張生成）生成AIが答える前に、社内の文書などから関係する情報を探し、その情報をもとに答えを作らせるしくみです。
- ガードレール生成AIやAIエージェントが、決められた範囲から外れた答えや操作をしないようにする、安全のための仕掛けです。
- ファインチューニングすでに学習を終えたモデルに、特定の用途のデータを追加で学ばせ、性質を調整することです。
- プロンプト人が生成AIに与える指示や質問の文章です。
- プロンプトエンジニアリング生成AIから意図に近い答えを引き出すために、指示の書き方や与える情報を工夫し、改善していく技術です。