Googleニュースに掲載されるにはどうすれば良い?確率を高める方法を解説
SEO対策
検索エンジンがWebサイトの情報を収集するために使うロボットを「クローラー」といいます。検索エンジンのデータベースには、世界中にあるWebサイトの情報が集められ保管されています。そしてユーザーが検索した言葉をもとに、そのデータベースの中から最適な検索結果を表示するのです。検索エンジンのデータベースに登録、つまり検索エンジンに認識されていなければ、自分のサイトに検索順位がつくことはないのです。今回は、そのクローラーについて詳しくお教えしたいと思います。
株式会社アダムテクノロジーズ 執行役員。
ユーザーニーズと最も近いSEO対策で、あらゆるビジネスを加速させ、より良い社会の実現を目指す。
入社から5年間で100社以上のSEO対策に従事し、様々なジャンル・キーワードでの上位表示を実現。顧客目線での目標達成にコミットしたSEOコンサルティングが強み。
目次
表示
閉じる
インターネットの黎明期では、人の手を駆使してWebサイトの情報を集め、カテゴリーを分類する「ディレクトリ型」が主流でした。しかし現代では、Googleのロボット(クローラー)を中心とする「ロボット型」の検索エンジンへと進化しています。ロボット型の検索エンジンには、下記3つのプログラムが存在します。
上記を基に検索結果に記事がインデックスされ、ユーザーの目に届くようになっているのが検索エンジンの仕組みです。
クローラーと一口に言っても、さまざまなクローラーが存在します。ここでは、クローラーの種類を順番に解説します。
Googleが使用するクローラーは「Googlebot」といいます。
日本ではGoogleとYahooのユーザーが大半を占めていますが、Yahoo! JAPANはGoogleの検索エンジンを利用しているため、検索エンジンのシェアとしては9割以上を占めています。そのため、日本においてはこのGooglebotだけを意識しておけば問題ありません。
クローラーにとってのサイトへのアクセス、周回のしやすさのことを「クローラビリティ」といいます。クローラーにサイトを正しく認識されなければSEO対策の意味がなくなってしまうため、クローラビリティの改善はSEO上必須のタスクと言えます。
クローラーはサイトのHTMLファイルなどを巡って情報を収集しますが、もちろん人間ではないため、画像が表す意味やテキストの意味などを柔軟に理解することはできません。HTMLファイルから情報を読み込んで解析し、サイト構造を読んでいるのです。そのため、まず前提としてファイルを適切に書いた上で、さらに改善をしていくことが望ましいです。
ここまで解説した内容と重複する部分もありますが、クローラーはSEOで重要な役割を果たします。クローラーは、1回の訪問ですべての情報を持ち帰るわけではありません。1つのWebサイトに対して複数回にわたって訪問し、情報を持ち帰る仕組みとなっています。
そのためには、クローラーが理解しやすいサイト構造やコンテンツである必要があります。加えて、ユーザーにとって有益な情報を提供することを目的としているため、品質の低いコンテンツは評価されません。
つまり、SEOの評価を最大化するためには、前提としてクローラーに見つけてもらうこと、品質の高いコンテンツを用意することの2点が重要です。
クローラーは、人間が視覚的に判断できる情報と、同様のものを収集できます。もちろん、ユーザーはWebサイトに訪問した際に、Webサイトの裏側のHTMLやCSSは見ることができません。しかし、クローラーはHTMLやCSS、タグの設定まで見ることが可能です。その他、下記のようなファイルを対象にクローリングしています。
これらのファイルを対象に総合的にクローリングを行い、インデックス及び検索順位のランキングを決定しています。
クローラビリティを改善したい場合、下記9つの方法を実践するようにしましょう。
それぞれ順番に解説します。
ユーザーからしてみれば、URLに「www.」が付いているかいないかは、そこまで重要視するものではありません。しかし、クローラビリティの最適化においては非常に重要です。なぜなら、www.が付いているURLと付いていないURLでは、検索エンジンは別のものとして判断するためです。
クローラーは、1回のクロールで収集できる情報に限りがあります。そういった仕組みがある中で別のURLをクローリングさせてしまうと、検索エンジンに無駄な情報を与えることになります。これらを専門用語で「クロールバジェットの浪費」と表現します。
www.のありなしが両方存在している場合は、どちらか1つのURLに正規化するようにしましょう。
robots.txtには、WebサイトのサイトマップURLを記述できます。必ずしも行うべき施策ではありませんが、robots.txtを設置することで、早くクロールしてもらえる可能性が高くなります。
リンク切れページの削除も、URLの見直しと同様です。1回のクロールに上限がある中で、リンク切れページをクロールさせてしまうのはクロールバジェットの浪費になります。また、ユーザビリティの観点から見てもマイナスしかありません。
検索エンジンは、ユーザビリティを損ねるWebサイトのSEO評価を落とすので、リンク切れページは削除したり、別のリンクに繋ぎ直したりしましょう。
次に、内部リンクの見直しも行いましょう。クローラーは、Webサイト内のリンクをたどって情報収集を行います。リンクが集中しているページはクローラーも重要視する傾向にあり、SEO評価が上がる可能性があります。
また、関連性の高いページに繋ぐほどユーザー満足度も高められます。なお、検索エンジンは「href」属性で指定された<a>タグしか読み込めないため、必ず<a>タグを用いて内部リンクを繋ぐようにしましょう。
上述したrobots.txtを設置することで、クローラーをブロックすることも可能です。そもそも、クロールしてもらう必要のない画像や動画が存在する場合、それらがクロールされるだけでクローラビリティを損ねてしまいます。
robots.txtに構文を記述してWebサイトにアップロードすることで、クロールしてほしくない特定コンテンツをブロックできます。Webサイトの状況に応じて活用するようにしましょう。
ここまで、クローラビリティの改善方法などを解説してきましたが、実際にクロールされているかを確認したい方は多いかもしれません。クロールされているか確認するには、下記2つの方法がおすすめです。
それぞれ順番に見ていきましょう。
サイトマップを送信したりFetch as Googleをしたりしたとしても、その瞬間にクローラーが回ってくるわけではないため、実際にインデックスされたかどうかは自ら調べる必要があります。
「インデックスされているかどうか」だけを簡単に調べるのであれば、Google検索で「site:〜(URL)」で検索してみましょう。 インデックスされている場合には問題なく一番上に表示されます。
クローラーに発見してもらうためには、下記2つの施策を行いましょう。
それぞれ順番に解説します。
継続的にコンテンツを作成することで、Webサイトのフレッシュネスが担保されます。フレッシュネスとは、どれだけWebサイトの情報が新鮮であるかを表す指標のことです。フレッシュネスの高いWebサイトは、クローリングが早くなる傾向にあります。そのため、クローラにも発見してもらいやすくすることが可能です。
もちろん、日記のような雑記コンテンツではなく、専門性の高い高品質なコンテンツを継続的に作成するようにしましょう。
検索エンジン向けのXMLサイトマップを作成することで、検索エンジンに対して、どのようなページがあるかを伝えられます。XMLサイトマップの作成方法は非常に簡単であり、プラグインを使う方法や、最近では自動でXMLサイトマップを作成できるWordPressも存在します。XMLサイトマップを作成したら、Google Search Consoleからサイトマップを送信しましょう。
最後に、クローラー(クロール)に関してよくある質問に回答します。
それぞれ順番に見ていきましょう。
クローリングされない原因は、さまざまなものが考えられます。ディレクトリ構造が不適切であったり、サイトマップを送信していなかったりするなどの理由です。本記事で解説した内容を1つずつ実践することで、大半のケースでクローリングされるようになるでしょう。
リライトしたページや新規で作成したページが、検索エンジンに見つかりやすくなるメリットがあります。また、それによりSEO評価が高まることにも期待できます。
あくまで目安の期間ですが、すでにある程度のページやコンテンツが入っているWebサイトであれば、即日で改善する可能性があります。しかし、ページがそこまで入っていないWebサイトでは、改善に3ヶ月以上要するケースもあります。