【ネットショップ・EC用語集】クローラーとは

クローラー

クローラーとは、インターネット上に存在するWebサイトや画像、PDFファイルなど様々な情報を自動的に収集し、データベースを構築する巡回プログラムのことです。代表的なクローラーにはGoogleやBingなどがあります。

インターネットの聡明期においては、検索エンジンは「ディレクトリ型」と「ロボット型」の2種類がありました。しかし「ディレクトリ型」は、人の手によって検索エンジンに登録していたため、膨大なサイト量に対応できず衰退していきました。

現在の検索エンジンの主流はGoogleなどの「ロボット型」です。この「ロボット型」に欠かせないのがクローラーです。クローラーがWebサイトの情報を収集しデータベースに登録することで、はじめて検索エンジンに表示されます。

そのため、SEOの基本はまずクローラーに情報を取得させるところから始まります。

基本的にクローラーは登録されているWebサイトのリンク情報をもとに、次から次へ巡回しWebサイトをインデックス登録していきます。そのため、新しいWebサイトはどこからもリンクされていないため、クローラーの巡回が遅れる場合もあります。

そのような場合は、サイトマップを送信したり、インデックス登録のリクエストをしたりすることでクローラー巡回を促しましょう。

また、プライベートページやテストページのように、検索エンジンに検索されたくない場合は、クローラーの巡回を拒否することも可能です。

ひと昔前までは、クローラーが収集する主な情報はWebサイト内のテキストデータでした。
しかし、昨今のクローラーが収集する情報は多岐にわたります。例として以下のような情報が収集されています。

・テキスト
・CSS
・JavaScript
・画像
・Flash
・PDF

IKEHIKO CLIP　メディアチーム