田中 雄太

クローラーとは

Googleアルゴリズム

クローラーとはのサムネイル

検索エンジンがWebサイトの情報を収集するために使うロボットを「クローラー」といいます。 検索エンジンのデータベースには、世界中にあるWebサイトの情報が集められ保管されています。そしてユーザーが検索した言葉をもとに、そのデータベースの中から最適な検索結果を表示するのです。検索エンジンのデータベースに登録、つまり検索エンジンに認識されていなければ、自分のサイトに検索順位がつくことはないのです。 今回は、そのクローラーについて詳しくお教えしたいと思います。

目次 プラスマーク 表示 プラスマーク 閉じる

クロール・クローラーとは

「クローラー」とは、世界中のサーバーからWebサイトの情報を収集するもので、集めた情報をデータベースに保管することを「インデックス」といいます。また、クローラーがWebサイトを巡回することを『クロールする』と表現します。 クローラーは、インターネット上にあるWebサイトであれば可能な限り情報を収集しようとします。しかし作成、公開して間もないページなどだとなかなかクローラーに見つけてもらえず、最初のインデックスまでに時間がかかってしまう場合があります。 その場合には、クローラーが見つけやすくなるようにページを最適化することで、早い段階でインデックスされることができるのです。クローラーにとってサイトへの辿り着きやすさ、および周回のしやすさのことを「クローザビリティ」といいます。クローザビリティについては後述します。

クローラーの種類

Googlebot

Googleが使用するクローラーは「Googlebot」といいます。 日本ではGoogleとYahooのユーザーが大半を占めていますが、Yahoo! JAPANはGoogleの検索エンジンを利用しているため、検索エンジンのシェアとしては9割以上を占めています。そのため、日本においてはこのGooglebotだけを意識しておけば問題ありません。

その他のクローラー

  • Yahoo Slurp:日本(Yahoo! JAPAN)以外のYahooが使用するクローラー
  • bingbot:Bingが使用するクローラー
  • Baiduspider:Baidu(中国の検索エンジン)が使用するクローラー

クローラビリティとは

74a02d7fb464bb0d95d14e9ecd11cbad_s クローラーにとってのサイトへのアクセス、周回のしやすさのことを「クローラビリティ」といいます。クローラーにサイトを正しく認識されなければSEO対策の意味がなくなってしまうため、クローザビリティの改善はSEO上必須のタスクと言えます。 クローラーはサイトのHTMLファイルなどを巡って情報を収集しますが、もちろん人間ではないため、画像が表す意味やテキストの意味などを柔軟に理解することはできません。HTMLファイルから情報を読み込んで解析し、サイト構造を読んでいるのです。そのため、まず前提としてファイルを適切に書いた上で、さらに改善をしていくことが望ましいです。

クローラビリティの改善方法

外部サイトからのリンクを得る

クローラーはサイト内に貼られているリンクを辿って様々なサイトをクロールしていきます。そのため、外部サイトにリンクが貼られていることで自分のサイトがクローラーから発見される可能性が高まります。

Googleの「Search Console」でサイトマップを送信する

Googleが提供する「Search Console」には、サイトマップを検索エンジンに送信する機能があります。サイトに「こんなページがあるよ」ということを知らせ、クロールしてもらうことができます。

Search Consoleの『Fetch as Google』を使う

Search Console内の『Fetch as Google』という機能では、クローラーにサイトのクロールを要請することができます。 インデックスを早めることができるので、何らかのSEO対策を行った際に使うとすぐに検索結果に反映されるようになります。

ディレクトリ構造を修正する

Googleでは、浅い階層にあるコンテンツほど重要であると認識するようになっています。 検索エンジンがコンテンツの重要度を正しく認識してくれるよう、ディレクトリ構造を修正してみるのも良いでしょう。

パンくずリストを設定する

パンくずリストとは、ページのヘッダー部分のすぐ下などにある、いまサイト内のどこのページにいるのかを教えてくれる表示のことをいいます。このパンくずリストを設定することでも、クローラーがサイトを発見する手助けをすることができます。

クロールされているか確認する方法

「site:」で検索する

サイトマップを送信したりFetch as Googleをしたりしたとしても、その瞬間にクローラーが回ってくるわけではないため、実際にインデックスされたかどうかは自ら調べる必要があります。 「インデックスされているかどうか」だけを簡単に調べるのであれば、Google検索で「site:〜(URL)」で検索してみましょう。 インデックスされている場合には問題なく一番上に表示されます。

クロールの統計情報を見る

どれくらいクロールされたのかなど、より詳しい状況を知るためには、Search Consoleの『クロールの統計情報』を見る必要があります。 ここで詳しい数値を見て、クローラビリティの改善の必要性を見極めましょう。

まとめ

Webサイトを作ってSEOで順位を上げていこうと思っても、検索結果に出てこないのでは話になりませんよね。 また、SEO対策を施した際にはより早く結果につなげたいものです。 クローラーと検索結果の仕組みを理解して、クローラビリティの改善を徹底していきましょう。

DOWNLOAD

資料ダウンロード

資料のイメージ画像

当社でご提供しているサービスの資料ダウンロードはこちらから。
SEOに課題を感じている方は、ぜひご覧になってください。

SEO診断の資料はこちら WEBサイト高速化の資料はこちら

CONTACT

お問い合わせ

大規模サイトにおけるSEO対策上の問題点を解消し、
集客の最大化を実現する相談役として
ぜひお気軽にご連絡ください。
経験豊富な技術者がSEO診断を行います。