ハルシネーション

詳しく説明すると

ハルシネーションとは、AIが事実ではないことを、事実のような顔で答えてしまう現象のことです。英語で幻覚を意味する言葉で、存在しない判例、実在しない書籍名、微妙に違う統計数字などが、自信に満ちた文体で出てきます。

なぜ起こるのか。AIは事実をデータベースから引いて答えているのではなく、「もっともらしい言葉の続き」を予測して文章を作っているからです(この仕組みはLLMの項で説明しています)。もっともらしさの追求は、流暢さの源であると同時に、堂々とした間違いの源でもあります。嘘をつく意図があるわけではなく、本当と嘘の区別という概念自体を持っていない、というのが正確なところです。

厄介なのは、間違いの見た目が正解とそっくりなことです。人間の部下なら自信のなさが文面に滲みますが、AIは間違いも滑らかに書きます。だから「文章の出来」で真偽を判断することはできません。

実務での守り方は三つあります。第一に、固有名詞と数字は出典で確かめる。社外に出る文書なら、この確認を省かない。第二に、根拠を出させる。「出典を添えて」「分からなければ分からないと答えて」と指示するだけでも、当てずっぽうは減ります。第三に、答えの根拠を渡してしまう。自社の資料を読ませて答えさせる方式(RAG)は、ハルシネーション対策としても機能します。

裏を返せば、正解がひとつに決まらない仕事、つまり下書きや言い換えや案出しでは、この弱点はほとんど問題になりません。弱点の出る場所を知って、出ない場所で使う。それがいちばん実際的な付き合い方です。

関連語: 「LLM(エルエルエム)・大規模言語モデル」 「RAG(ラグ)」 「生成AI」