コンテキスト

詳しく説明すると

コンテキストとは、AIが答えを作るときに参照できる「いま見えている情報」の範囲のことです。文脈という意味の英語で、その会話でここまでに交わしたやり取り、渡した資料、指示文がすべて含まれます。

作業机にたとえると分かりやすくなります。AIは、机の上に広げてあるものしか見られません。机に載っている書類(この会話で渡した情報)は参照できますが、引き出しや別の部屋にあるもの(別の会話、渡していない社内資料)は存在しないのと同じです。そして机の広さには上限があります。この広さをコンテキストウィンドウと呼び、トークンという単位で測られます。

この性質を知っていると、AIの不可解な振る舞いの多くに説明がつきます。長い会話の終盤で最初の指示を忘れたように見えるのは、机が一杯になって古い書類が押し出されたから。昨日の会話の続きが通じないのは、机が会話ごとに新しくなるから。AIの物忘れではなく、構造上そういう道具なのです。

実務でのコツは二つです。ひとつ、話題が変わったら会話を新しく始める。前の話題の書類が机に残っていると、答えに混線が起きやすくなります。ふたつ、大事な前提は会話の途中でも言い直す。「今書いているのは建設会社の求人票で、読み手は未経験者」と再掲するだけで、終盤の精度が戻ります。

サービス比較の場面では、コンテキストの大きさが売り文句になっていることがあります。大きいほど長い資料を一度に読ませられるのは事実ですが、机が広くても指示が曖昧なら結果は曖昧です。広さより、机に何を載せるかのほうが、日々の結果には効きます。

関連語: 「トークン」 「プロンプト」 「LLM(エルエルエム)・大規模言語モデル」