【ネットショップ・EC用語集】クローラーとは

クローラー

クローラーとは、インターネット上に存在するWebサイトや画像、PDFファイルなど様々な情報を自動的に収集し、データベースを構築する巡回プログラムのことです。代表的なクローラーにはGoogleやBingなどがあります。

インターネットの聡明期においては、検索エンジンは「ディレクトリ型」と「ロボット型」の2種類がありました。しかし「ディレクトリ型」は、人の手によって検索エンジンに登録していたため、膨大なサイト量に対応できず衰退していきました。

現在の検索エンジンの主流はGoogleなどの「ロボット型」です。この「ロボット型」に欠かせないのがクローラーです。クローラーがWebサイトの情報を収集しデータベースに登録することで、はじめて検索エンジンに表示されます。

そのため、SEOの基本はまずクローラーに情報を取得させるところから始まります。

クローラーが巡回するには

基本的にクローラーは登録されているWebサイトのリンク情報をもとに、次から次へ巡回しWebサイトをインデックス登録していきます。そのため、新しいWebサイトはどこからもリンクされていないため、クローラーの巡回が遅れる場合もあります。

そのような場合は、サイトマップを送信したり、インデックス登録のリクエストをしたりすることでクローラー巡回を促しましょう。

また、プライベートページやテストページのように、検索エンジンに検索されたくない場合は、クローラーの巡回を拒否することも可能です。

クローラーが収集する情報とは

ひと昔前までは、クローラーが収集する主な情報はWebサイト内のテキストデータでした。
しかし、昨今のクローラーが収集する情報は多岐にわたります。例として以下のような情報が収集されています。

テキスト
CSS
JavaScript
画像
Flash
PDF
The following two tabs change content below.

編集者 A

IKEHIKO CLIP メディアチーム

関連サイト一覧

  • コメント: 0

関連記事

  1. ネット用語集

    【ネットショップ・EC用語集】置き配とは

  2. ネット用語集

    【ネットショップ・EC用語集】AmazonFBAとは

  3. ネット用語集

    【ネットショップ・EC用語集】ディスプレイ広告(リターケティング)

  4. ネット用語集

    【ネットショップ・EC用語集】カゴ落ちとは

  5. ネット用語集

    【ネットショップ・EC用語集】カラーミーショップ

  6. ネット用語集

    【ネットショップ・EC用語集】リピート率とは

コメント

  • コメント (0)

  • トラックバックは利用できません。

  1. この記事へのコメントはありません。

  1. この記事へのトラックバックはありません。

コメントするためには、 ログイン してください。