マルチモーダル

詳しく説明すると

マルチモーダルとは、文字だけでなく、画像や音声など複数の種類の情報をまとめて扱えることです。モーダル(様式)がマルチ(複数)、つまり入力の受け口が文字専用ではない、という意味です。

対話型AIは、登場した当初は文字専用でした。文字で聞き、文字で答える。マルチモーダル化とは、その受け口が広がったことを指します。写真を見せて質問できる、書類の画像を読ませられる、音声を聞かせられる、図やグラフを解釈させられる。人間が目と耳で受け取っている情報を、AIも受け取れるようになってきた、という変化です。

言葉としては専門的に響きますが、実務での姿は具体的です。手書きの伝票を撮って表にする(OCRの新しい形)。エラーが出た画面をそのまま撮って「どうすればいい」と聞く。商品の写真から説明文の下書きを作る。図面や間取りを見せて確認事項を挙げさせる。会議の録音から議事録を作る(文字起こし)。共通するのは、「まず人間が文字に直してからAIに渡す」という一手間が消えたことです。この一手間の消滅は、パソコン操作が得意でない人ほど恩恵が大きく、「書類をどう説明すればいいか分からないから、写真ごと見せる」が通じるようになりました。

自社での試し方は、机の上の紙を一枚撮ることからです。請求書でも、FAXの注文書でも、ホワイトボードの走り書きでも。対話型AIに渡して「内容を整理して」と頼めば、この言葉の意味は一度で体感できます。

注意は、これまでの原則がそのまま引き継がれることです。写真にも個人情報や社外秘は写り込みます。書類を撮ってAIに渡すことは、その書類をクラウドへ送ることと同じなので、入れてよい情報の線引き(社外秘の項)は画像にも適用してください。

関連語: 「OCR(オーシーアール)」 「文字起こし」 「画像生成」