クローラー

詳しく説明すると

クローラーとは、ウェブ上のページを自動的にたどって巡回し、内容を読み取っていくプログラムのことです。

いちばん身近な仕事は、検索エンジンの下支えです。世界中のページを巡回して内容を記録しているから、検索窓に言葉を入れた瞬間に結果が出ます。近年はこれに加えて、AIの学習用データを集める巡回や、AIが質問に答えるためにその場でページを見に来る巡回が増えました。「AIのクローラーを受け入れるか拒否するか」が、サイト運営の新しい論点になっています。

たとえるなら、地図会社の調査員です。調査員が街を歩いて店の場所を記録してくれるから、あなたの店が地図に載ります。調査員の立ち入りを断れば、記録はされませんが、地図からも消えます。

実務との接点は、集客です。自社サイトが検索結果に出るか、AIに「つくばで〇〇なら」と聞いた人への答えに引かれるかは、クローラーがサイトを読めているかどうかから始まります。サイトには巡回への希望を伝える慣行(robots.txtという置き場所)があり、どの巡回を受け入れるかを制作会社と方針として決めておく、というのが経営者レベルでの関わり方です。技術の詳細は任せて構いませんが、方針は丸投げにしないでください。載りたい場所と守りたい情報のバランスは、経営判断だからです。

注意点として、スクレイピングとの関係を整理しておくと、クローラーは巡回して読む役、スクレイピングは読み取った中から情報を抜き出して集める技術、と大づかみに分けられます。報道では混ざって使われることも多いので、厳密な線引きより「自動収集の話をしている」と読めれば十分です。

関連語: 「スクレイピング」 「著作権とAI」