トークン

詳しく説明すると

トークンとは、AIが文章を数えるときの単位のことです。AIは文章を一文字ずつでも一単語ずつでもなく、トークンという細かい切れ端に刻んで扱います。日本語ならおおむね1文字が1〜2トークン、英語なら1単語が1トークン前後になることが多い、と捉えておけば実務上は十分です。

この単位がなぜ経営者に関係するのか。AIの世界では、料金も上限もトークンで数えられているからです。有料プランの利用制限、APIの従量課金、一度に読み込める文章量の上限(コンテキストの大きさ)。カタログに並ぶ数字の多くはトークン建てです。電気がキロワット時で課金されるように、AIはトークンで課金される、という関係です。

知っておくと得をする性質が二つあります。ひとつは、日本語は英語よりトークンを多く消費しがちだということ。同じ内容でも日本語のほうが「量」が嵩み、上限に早く届きます。もうひとつは、消費されるのは自分が打った文章だけではないこと。AIの返答も、渡した資料も、会話のこれまでの流れも、全部が数えられています。長い会話ほど、一往復あたりの消費が雪だるま式に増えていきます。

実務での使いどころは、見積や料金表を読む場面です。「月100万トークンまで」のような表記を見たとき、それが日本語のメールなら何通分に相当しそうか、と換算する感覚があるだけで、プランの妥当性を自分で判断できるようになります。分からなければ、業者に「うちの使い方だと月に何トークンくらいですか」と聞いてよい数字です。

関連語: 「コンテキスト」 「無料プランと有料プラン」 「API(エーピーアイ)」