推論

詳しく説明すると

推論とは、学習を終えたAIが、実際に答えを作り出す働きのことです。英語ではインファレンス(inference)。AIの活動は大きく二つの局面に分かれていて、パターンを覚える工程が学習、覚えたパターンを使って答えを出す工程が推論です。

料理人の育成と営業にたとえると、関係が掴めます。学習は、料理人が修行する期間です。膨大な手間と費用がかかりますが、一度で済みます。推論は、修行を終えた料理人が毎日厨房に立って注文をさばくことです。あなたがAIに質問を送るたび、向こう側では推論が一回走っています。私たちが日々触れているAIの働きは、すべてこちら側です。

この区別が実務で効くのは、費用の構造を読むときです。AIの利用料金(従量課金や月額)は、実質的に推論の代金です。一回の推論には計算の実費がかかっていて、長い文章を読ませるほど、高性能なモデルを使うほど、その実費は増えます。APIの従量課金がトークン建てなのは、推論の計算量を測る単位がトークンだからです。料金表の構造は、この一点を知っているだけでかなり読み解けます。

もうひとつ、近年の用語の変化に触れておきます。「推論に時間をかけるモデル」という言い方を目にすることが増えました。答えを出す前に内部で段階を踏んで考え込む方式のモデルを指していて、即答型より遅い代わりに、込み入った問題に強い傾向があります。速さと深さの使い分けという、人間の仕事と同じ選択肢がAI側にもできた、と捉えれば十分です。

言葉としては裏方ですが、「学習は仕込み、推論は営業」という一対を覚えておくと、AIの費用と性能の話が立体的に見えるようになります。

関連語: 「学習」 「トークン」 「モデル」