クローラーツール
クローラーとは、自動的にホームページを巡回して、それぞれのホームページの中身を解析するボット(ロボット)のことです。
また、クローラー(crawler)は、crawlするものという意味。
crawlは、腹ばいで進むとか、クロールで泳ぐという意味の英語です。
クモの巣のように張り廻られたネットワーク網の上を這いまわって情報収集するロボットというのが、イメージしやすい説明かもしれません。
この情報収集ロボットは、スパイダーとも呼ばれています。文字通り、「クモ」です。
このクローラーの巡回申請を行っても、毎日、膨大な数のホームページを巡回しているので、きちんと巡回されていない場合などがあります。
そこで、GoogleとYahoo!は、ツールを提供して、クロールの巡回状態を見えるようにしています。
それが、「Googleウェブマスターツール」と「Yahoo!サイトエクスプローラー」です。
では、「Googleウェブマスターツール」から見て行きましょう。
