データセット

詳しく説明すると

データセットとは、AIの学習や評価のために収集され、使える形式に整えられたデータのまとまりのことです。

AIの性格は、仕組みと同じくらい、このデータセットで決まります。日本語の文章が少ない材料で育てば日本語が苦手になり、古い情報ばかりなら答えも古くなります。AIをめぐる報道で、学習に使われた文章や画像の著作権が議論になっているのも、データセットに誰の何が入っているのか、という話です。ニュースを読むときにこの言葉を知っていると、論点の場所が見えるようになります。

たとえるなら、給食の献立です。育ち盛りに何を食べさせたかが体格と体質を決めるように、何を学習させたかがAIの実力と偏りを決めます。量が多ければよいわけでもなく、傷んだ食材が混ざれば育ち方に響きます。

この言葉が自分ごとになるのは、自社の資料でAIを賢くする話が出たときです。社内文書で答えるAIや、自社データでの調整の提案には、たいてい「データのご用意はお客様にて」という一行があります。これは、散らばった資料を集め、個人情報や社外秘を除き、形式を揃えるという地味な大仕事がこちら持ち、という意味です。見積の安さの理由が、この一行に隠れていることがあります。

注意点はひとつ、量より質です。手元の資料を全部渡すより、正確で新しい資料を選んで渡すほうが結果はよくなります。それは業者に頼む場合も、日々の仕事でAIに資料を渡す場合も、同じ原則です。

関連語: 「学習」 「ファインチューニング」 「著作権とAI」