医療広告ガイドラインとは【医療事業者が留意するべきポイント】
薬機法
クローラーとは
検索エンジンがWebサイトの情報を収集するために使うロボットを「クローラー」といいます。検索エンジンのデータベースには、世界中にあるWebサイトの情報が集められ保管されています。そしてユーザーが検索した言葉をもとに、そのデータベースの中から最適な検索結果を表示するのです。検索エンジンのデータベースに登録、つまり検索エンジンに認識されていなければ、自分のサイトに検索順位がつくことはないのです。今回は、そのクローラーについて詳しくお教えしたいと思います。
この記事の執筆者
アダムテクノロジーズ執行役員
SEOコンサルタント
株式会社アダムテクノロジーズ 執行役員。
ユーザーニーズと最も近いSEO対策で、あらゆるビジネスを加速させ、より良い社会の実現を目指す。
入社から5年間で100社以上のSEO対策に従事し、様々なジャンル・キーワードでの上位表示を実現。顧客目線での目標達成にコミットしたSEOコンサルティングが強み。
目次
表示
閉じる
クロール・クローラーとは
「クローラー」とは、世界中のサーバーからWebサイトの情報を収集するもので、集めた情報をデータベースに保管することを「インデックス」といいます。また、クローラーがWebサイトを巡回することを『クロールする』と表現します。 クローラーは、インターネット上にあるWebサイトであれば可能な限り情報を収集しようとします。しかし作成、公開して間もないページなどだとなかなかクローラーに見つけてもらえず、最初のインデックスまでに時間がかかってしまう場合があります。 その場合には、クローラーが見つけやすくなるようにページを最適化することで、早い段階でインデックスされることができるのです。クローラーにとってサイトへの辿り着きやすさ、および周回のしやすさのことを「クローラビリティ」といいます。クローラビリティについては後述します。 インデックスとは？検索エンジンの仕組み
インターネットの黎明期では、人の手を駆使してWebサイトの情報を集め、カテゴリーを分類する「ディレクトリ型」が主流でした。しかし現代では、Googleのロボット（クローラー）を中心とする「ロボット型」の検索エンジンへと進化しています。ロボット型の検索エンジンには、下記3つのプログラムが存在します。
- データベース化するクローラープログラム
- 情報をランキング化するプログラム
- 検索順位を決定するプログラム
上記を基に検索結果に記事がインデックスされ、ユーザーの目に届くようになっているのが検索エンジンの仕組みです。
クローラーの種類
クローラーと一口に言っても、さまざまなクローラーが存在します。ここでは、クローラーの種類を順番に解説します。
Googlebot
Googleが使用するクローラーは「Googlebot」といいます。
日本ではGoogleとYahooのユーザーが大半を占めていますが、Yahoo! JAPANはGoogleの検索エンジンを利用しているため、検索エンジンのシェアとしては9割以上を占めています。そのため、日本においてはこのGooglebotだけを意識しておけば問題ありません。
その他のクローラー
- Yahoo Slurp：日本（Yahoo! JAPAN）以外のYahooが使用するクローラー
- bingbot：Bingが使用するクローラー
- Baiduspider：Baidu（中国の検索エンジン）が使用するクローラー
クローラビリティとは
クローラーにとってのサイトへのアクセス、周回のしやすさのことを「クローラビリティ」といいます。クローラーにサイトを正しく認識されなければSEO対策の意味がなくなってしまうため、クローラビリティの改善はSEO上必須のタスクと言えます。
クローラーはサイトのHTMLファイルなどを巡って情報を収集しますが、もちろん人間ではないため、画像が表す意味やテキストの意味などを柔軟に理解することはできません。HTMLファイルから情報を読み込んで解析し、サイト構造を読んでいるのです。そのため、まず前提としてファイルを適切に書いた上で、さらに改善をしていくことが望ましいです。
クローラーの重要性とは
ここまで解説した内容と重複する部分もありますが、クローラーはSEOで重要な役割を果たします。クローラーは、1回の訪問ですべての情報を持ち帰るわけではありません。1つのWebサイトに対して複数回にわたって訪問し、情報を持ち帰る仕組みとなっています。
そのためには、クローラーが理解しやすいサイト構造やコンテンツである必要があります。加えて、ユーザーにとって有益な情報を提供することを目的としているため、品質の低いコンテンツは評価されません。
つまり、SEOの評価を最大化するためには、前提としてクローラーに見つけてもらうこと、品質の高いコンテンツを用意することの2点が重要です。
クローラーが対象にしているファイルは？
クローラーは、人間が視覚的に判断できる情報と、同様のものを収集できます。もちろん、ユーザーはWebサイトに訪問した際に、Webサイトの裏側のHTMLやCSSは見ることができません。しかし、クローラーはHTMLやCSS、タグの設定まで見ることが可能です。その他、下記のようなファイルを対象にクローリングしています。
- 画像ファイル
- JavaScript
- txt.ファイル
- FLASH
これらのファイルを対象に総合的にクローリングを行い、インデックス及び検索順位のランキングを決定しています。
クローラビリティの改善方法
クローラビリティを改善したい場合、下記9つの方法を実践するようにしましょう。
- 外部サイトからのリンクを得る
- Googleの「Search Console」でサイトマップを送信する
- Search ConsoleのFeach as Googleを使う
- ディレクトリ構造を修正する
- パンくずリストを設定する
- URLの見直し
- robots.txtの見直し
- リンク切れページの削除
- 内部リンクの見直し
それぞれ順番に解説します。
外部サイトからのリンクを得る
クローラーはサイト内に貼られているリンクを辿って様々なサイトをクロールしていきます。そのため、外部サイトにリンクが貼られていることで自分のサイトがクローラーから発見される可能性が高まります。Googleの「Search Console」でサイトマップを送信する
Googleが提供する「Search Console」には、サイトマップを検索エンジンに送信する機能があります。サイトに「こんなページがあるよ」ということを知らせ、クロールしてもらうことができます。Search Consoleの『インデックス登録をリクエスト』を使う
Search Console内の『Fインデックス登録をリクエスト』という機能では、クローラーにサイトのクロールを要請することができます。 インデックスを早めることができるので、何らかのページ内容の更新やSEO対策を行った際に使うとすぐに検索結果に反映されるようになります。 Googleサーチコンソールの使い方と重要機能【使い方を解説】ディレクトリ構造を修正する
Googleでは、浅い階層にあるコンテンツほど重要であると認識するようになっています。 検索エンジンがコンテンツの重要度を正しく認識してくれるよう、ディレクトリ構造を修正してみるのも良いでしょう。パンくずリストを設定する
パンくずリストとは、ページのヘッダー部分のすぐ下などにある、いまサイト内のどこのページにいるのかを教えてくれる表示のことをいいます。このパンくずリストを設定することでも、クローラーがサイトを発見する手助けをすることができます。URLの見直し
ユーザーからしてみれば、URLに「www.」が付いているかいないかは、そこまで重要視するものではありません。しかし、クローラビリティの最適化においては非常に重要です。なぜなら、www.が付いているURLと付いていないURLでは、検索エンジンは別のものとして判断するためです。
クローラーは、1回のクロールで収集できる情報に限りがあります。そういった仕組みがある中で別のURLをクローリングさせてしまうと、検索エンジンに無駄な情報を与えることになります。これらを専門用語で「クロールバジェットの浪費」と表現します。
www.のありなしが両方存在している場合は、どちらか1つのURLに正規化するようにしましょう。
robots.txtの設置
robots.txtには、WebサイトのサイトマップURLを記述できます。必ずしも行うべき施策ではありませんが、robots.txtを設置することで、早くクロールしてもらえる可能性が高くなります。
リンク切れページの削除
リンク切れページの削除も、URLの見直しと同様です。1回のクロールに上限がある中で、リンク切れページをクロールさせてしまうのはクロールバジェットの浪費になります。また、ユーザビリティの観点から見てもマイナスしかありません。
検索エンジンは、ユーザビリティを損ねるWebサイトのSEO評価を落とすので、リンク切れページは削除したり、別のリンクに繋ぎ直したりしましょう。
内部リンクの見直し
次に、内部リンクの見直しも行いましょう。クローラーは、Webサイト内のリンクをたどって情報収集を行います。リンクが集中しているページはクローラーも重要視する傾向にあり、SEO評価が上がる可能性があります。
また、関連性の高いページに繋ぐほどユーザー満足度も高められます。なお、検索エンジンは「href」属性で指定された<a>タグしか読み込めないため、必ず<a>タグを用いて内部リンクを繋ぐようにしましょう。
クローラーはブロックすることも可能
上述したrobots.txtを設置することで、クローラーをブロックすることも可能です。そもそも、クロールしてもらう必要のない画像や動画が存在する場合、それらがクロールされるだけでクローラビリティを損ねてしまいます。
robots.txtに構文を記述してWebサイトにアップロードすることで、クロールしてほしくない特定コンテンツをブロックできます。Webサイトの状況に応じて活用するようにしましょう。
クロールされているか確認する方法
ここまで、クローラビリティの改善方法などを解説してきましたが、実際にクロールされているかを確認したい方は多いかもしれません。クロールされているか確認するには、下記2つの方法がおすすめです。
- 「site:」で検索する
- クロールの統計情報を見る
それぞれ順番に見ていきましょう。
「site:」で検索する
サイトマップを送信したりFetch as Googleをしたりしたとしても、その瞬間にクローラーが回ってくるわけではないため、実際にインデックスされたかどうかは自ら調べる必要があります。
「インデックスされているかどうか」だけを簡単に調べるのであれば、Google検索で「site:〜（URL）」で検索してみましょう。 インデックスされている場合には問題なく一番上に表示されます。
クロールの統計情報を見る
どれくらいクロールされたのかなど、より詳しい状況を知るためには、Search Consoleの『クロールの統計情報』を見る必要があります。 ここで詳しい数値を見て、クローラビリティの改善の必要性を見極めましょう。クローラーに発見してもらうために何を行うべき？
クローラーに発見してもらうためには、下記2つの施策を行いましょう。
- コンテンツを継続的に作成する
- サイトマップを作成する
それぞれ順番に解説します。
コンテンツを継続的に作成する
継続的にコンテンツを作成することで、Webサイトのフレッシュネスが担保されます。フレッシュネスとは、どれだけWebサイトの情報が新鮮であるかを表す指標のことです。フレッシュネスの高いWebサイトは、クローリングが早くなる傾向にあります。そのため、クローラにも発見してもらいやすくすることが可能です。
もちろん、日記のような雑記コンテンツではなく、専門性の高い高品質なコンテンツを継続的に作成するようにしましょう。
サイトマップを作成する
検索エンジン向けのXMLサイトマップを作成することで、検索エンジンに対して、どのようなページがあるかを伝えられます。XMLサイトマップの作成方法は非常に簡単であり、プラグインを使う方法や、最近では自動でXMLサイトマップを作成できるWordPressも存在します。XMLサイトマップを作成したら、Google Search Consoleからサイトマップを送信しましょう。
クローラー（クロール）に関するQ＆A
最後に、クローラー（クロール）に関してよくある質問に回答します。
- クローリングされない原因は？
- クローリング最適化のメリットは？
- クローリング最適化後にどのくらいの期間で改善する？
それぞれ順番に見ていきましょう。
クローリングされない原因は？
クローリングされない原因は、さまざまなものが考えられます。ディレクトリ構造が不適切であったり、サイトマップを送信していなかったりするなどの理由です。本記事で解説した内容を1つずつ実践することで、大半のケースでクローリングされるようになるでしょう。
クローリング最適化のメリットは？
リライトしたページや新規で作成したページが、検索エンジンに見つかりやすくなるメリットがあります。また、それによりSEO評価が高まることにも期待できます。
クローリング最適化後にどのくらいの期間で改善する？
あくまで目安の期間ですが、すでにある程度のページやコンテンツが入っているWebサイトであれば、即日で改善する可能性があります。しかし、ページがそこまで入っていないWebサイトでは、改善に3ヶ月以上要するケースもあります。