簡単にいうと
プログラムを使って、ウェブサイトに載っている情報を自動的に抜き出して集める技術のことです。人が画面を見てメモする作業を、機械が高速に行います。
誤解しがちなこと
「自動収集はぜんぶ違法」でも「公開情報だから何をしても自由」でもありません。集め方や使い方、相手サイトの規約によって評価が変わる、幅の広い領域です。白か黒かで語る説明は、どちら向きでも雑すぎます。
詳しく説明すると
スクレイピングとは、プログラムでウェブページの内容を読み取り、必要な情報を自動的に抜き出して集める技術のことです。
この言葉が聞かれるようになった背景は二つあります。ひとつは実務の道具として。競合の価格を毎日記録する、物件情報を集めるといったサービスの中身は、多くがこの技術です。もうひとつはAIをめぐる報道で、学習用のデータセットを作るためにウェブ上の文章や画像が大量に収集されてきたことが、著作権の議論とともに語られています。
たとえるなら、新聞の切り抜き係です。人間が一部ずつ探して切り抜いていた作業を、機械が休まず高速でこなします。作業自体は昔からあるもので、規模と速度が変わったのだと考えると実像に近づきます。
経営者としての関わり方は、二つの立場で考えるのが実際的です。まず、使う側になる場合。価格調査や情報収集のツール導入を提案されたら、収集先のサイトの規約に照らして問題がないか、そのリスクの整理は誰がするのかを確認してください。相手サーバーに負荷をかける集め方や、規約が禁じる利用は、トラブルの元になります。次に、集められる側である場合。自社サイトの情報も日々収集される側にあり、その巡回役がクローラーです。こちらの付き合い方はクローラーの項に書きました。
法律面は一般論に留めますが、公開されている情報にも著作権や規約の縛りは残る、という一点だけは押さえてください。詳細は個別の判断になるため、事業に関わる場合は専門家への相談が確実です。
最初の一歩
まずは、お話を聞かせてください。
売り込みはしません。お話ししてみて合わないと感じたら、断ってください。
無料で相談するつくば対面/オンライン・無理な勧誘はしません