「クロール済み – インデックス未登録」の原因と解決方法3つを解説！

「クロール済み – インデックス未登録」とは？

はじめに、「クロール済み – インデックス未登録の概要から解説します。「クロール済み – インデックス未登録」とは、クローラーがコンテンツの中身をチェックした上で、インデックスする価値がないと判断されてしまった状態のことです。

ページは Google によりクロールされましたが、インデックスには登録されていません。今後、インデックスに登録される可能性がありますが、登録されない可能性もあります。この URL のクロールのリクエストを再送信する必要はありません。

引用：インデックス カバレッジ レポート

時間が経過すればインデックスされる可能性もありますが、大半のケースでは、改善をしないと検索結果に表示されることはありません。したがって、「クロール済み – インデックス未登録」の状態となってしまった場合は、コンテンツの品質の改善やリライトが必要になるということです。

「クロール済み – インデックス未登録」と「検出 – インデックス未登録」の違い

「クロール済み – インデックス未登録」に似ているものとして、検出 – インデックス未登録があります。「クロール済み – インデックス未登録」は上述したとおりですが、検出 – インデックス未登録は、URL自体はGoogleに発見されているものの、クロールには至っていない状態です。つまり、クロールされているかいないかが1つの違いになると理解しておけば良いでしょう。

「クロール済み – インデックス未登録」の原因

「クロール済み – インデックス未登録」が発生する原因は、大きく下記の5つが挙げられます。

• 低品質なコンテンツ
• 重複コンテンツになっている
• RSSフィード
• ページネーションの2ページ目以降
• 誤検知

それぞれ順番に見ていきましょう。

低品質なコンテンツ

検索するユーザーにとって価値の低いコンテンツだと認識されてしまった場合、「クロール済み – インデックス未登録」になることが多いです。たとえば、情報量が非常に少ないページが該当する傾向にあります。

前提としてWebサイト担当者であれば、インデックスさせなくても良いと思っているページにはnoindexを設定しておきましょう。その上で、インデックスさせたいページが未登録になってしまっている場合は、後述するリライトやページの統合などの対処を図る必要があります。

重複コンテンツになっている

重複コンテンツの場合も、「クロール済み – インデックス未登録」が表示されることがあります。たとえば、下記のようにURLの「/」のありなしや、www.の正規化が必要なURLなどが該当します。

URLのありなし
https://example.com/
https://example.com

www.の正規化が必要なURL
https://example.com/
https://www.example.com/

RSSフィード

RSSフィードは、RSSリーダーに登録するために使われる仕組みのことです。RSSフィードも「クロール済み – インデックス未登録」に該当しますが、基本的に対応する必要はありません。

最適なクロールのために、XMLサイトマップとRSS/Atomフィードの両方を使用することをお勧めします。

引用：XML サイトマップと RSS/Atom フィードのベストプラクティス

上記のように、RSSフィードはGoogleから使用が推奨されていますし、ユーザーに対して届けるものではないので、そもそもインデックスさせる必要がないのです。

ページネーションの2ページ目以降

Googleは、ページネーションの2ページ目以降もクロールします。ページネーションとは、記事一覧ページなどに表示される一覧のページ番号のことです。ユーザーからしてみれば、検索結果に2ページ目以降のページネーションが表示されても価値がないため、検索エンジンからしてみてもインデックスさせる必要がありません。そのため、ページネーションの2ページ目以降が「クロール済み – インデックス未登録」となっていたとしても、特に対策や気にする必要はないと言えるでしょう。

誤検知

Googleサーチコンソールの不具合や、誤検知で「クロール済み – インデックス未登録」と表示されることもあります。一時的にバグが発生してインデックスが外されたり、気づいたら戻っていたりするなどのケースも存在します。

一方で、Googleサーチコンソールのカバレッジを見ると「クロール済み – インデックス未登録」と表示されているものの、URL検査を使うとインデックスになっていることもあります。これらに該当する場合は、数日程度様子を見つつ、それでもインデックスが外れている場合にのみ改善するようにしましょう。

「クロール済み – インデックス未登録」の解決方法

ここからは、「クロール済み – インデックス未登録」の3つの解決方法をご紹介します。

• ページを統合する
• リライトして品質を高める
• canonicalタグの設置
• 対応（解決）しなくても良いページ

それぞれ順番に見ていきましょう。

ページを統合する

はじめに、ページの統合です。後述するリライトをして品質を高めてもインデックスされない場合は、関連するページと統合してインデックスされるかどうかを確認します。ページを統合する場合は、元のページにアクセスしたユーザーが統合したページに自動的に飛ぶように、301リダイレクトを設定することも大切です。

リライトをして品質を高める

次に、低品質なコンテンツと判断されてしまっている場合は、リライトをして品質を高めることが重要です。リライトの方法は多岐にわたるため、一概にこの対策をすれば品質が高くなると明言することは難しいものの、最低限として下記の内容は行うようにしましょう。

検索意図を満たしているか確認する
競合記事と比較した際に足りていない内容を追記する
ユーザーの検索クエリに回答できているかを確認する
関連する記事に内部リンクを繋ぐ

また、根本的に品質を高めることが難しいと判断した記事に関しては、削除するのも1つの手段です。

canonicalタグの設置

canonical（カノニカル）タグは、重複したページや類似ページがサイト内に存在する場合、検索エンジンに対してどのページを評価してほしいかを伝えるためのタグです。正規URLに対してcanonicalタグを設置することで、検索エンジンにどのページを評価してほしいのかを伝えられます。

たとえば、下記のURLが存在するとします。

https://example.com/
https://www.example.com/

この場合、www.なし（上部）のURLが正規の場合は、www.ありのURLにcanonicalタグを設置します。canonicalタグは、下記のURL部分を変更してお使いください。

<link rel=”canonical” href=”URL”>

対応（解決）しなくても良いページ

「クロール済み – インデックス未登録」と表示されても、対応しなくても良いページも存在します。たとえば、下記のページは対応しなくて良いページの具体例です。

検索結果に出なくて良いPDFリンク
feed/RSS
ページネーションの2ページ目以降

一方で、インデックスさせたいPDFリンクが「クロール済み – インデックス未登録」になってしまっている場合は改善を試みましょう。

「クロール済み – インデックス未登録」が解決されるまでの時間

ここまで、「クロール済み – インデックス未登録」の解決方法を解説してきましたが、実際に解決されるまでにはどの程度の時間がかかるのでしょうか。結論として、目安3ヶ月〜6ヶ月程度を考えておくと大きなズレは起こりません。

もちろん、キーワードによっては対策後すぐにインデックスされるケースもあれば、1年経過してもインデックスされないこともあります。後者の場合はページを削除するか、より高品質な記事へのリライトを繰り返してみると良いでしょう。

まとめ

本記事では、「クロール済み – インデックス未登録について解説をしてきました。「クロール済み – インデックス未登録」とは、クロールされているもののインデックスされていない状態のことです。インデックスしてもらう必要のないページであれば問題ありませんが、インデックスしてもらう必要があるページの場合は、サイト全体の評価を落とさないためにも早急に改善が必要です。

まずは本記事を参考に、「クロール済み – インデックス未登録」の対象URLを確認し、実際に改善を進めてみてはいかがでしょうか。