AIは文章を「部品」に区切って読んでいる

ChatGPTのようなAIは、文章をひとかたまりのまま読んでいるのではなく、細かい部品に区切って扱っています。この部品のひとつひとつをトークンと呼びます。

日本語の文章だと、だいたい1文字から2文字でひとつのトークンになります(文章の中身によって変わります)。「おはようございます」なら数トークン、この記事全体なら千数百トークン、という具合です。

料金表の「100万トークンあたり」の意味

AIをたくさん使う会社向けの料金は、「トークンいくつぶんで、いくら」という量り売りになっています。ガスや水道の検針と同じ方式です。AIに読ませた文章の量と、AIに書かせた文章の量、その両方を数えて料金が決まります。

ニュースで「100万トークンあたり何ドル」という表現を見かけたら、それは量り売りの単価の話をしています。

ふつうに使う分には、数えなくていい

月々の定額プランでAIを使っている人は、トークンを数える必要はありません。定額の中に含まれています。

トークンが顔を出すのは、量り売りの契約の話をするときと、もうひとつ、「一度に読ませられる文章の長さには上限がある」という話のときです。長い資料を渡したら途中までしか読んでくれなかった、という経験があれば、それはこの上限が理由です。上限もトークンの数で決まっています。

これは何を意味しないか

トークンを理解しないとAIを使えない、ということはまったくありません。電気を使うのにワットの定義を知らなくていいのと同じです。

ただ、単位の正体を知っておくと、AIの料金のニュースが急に読めるようになります。難しい話に見えていたものが、量り売りの単価の話だと分かるからです。

明日できる小ささ

次にAIの料金の記事を見かけたら、「トークンは文章を数える単位」とだけ思い出してください。それだけで、記事の景色が少し変わります。