Googleのクロールが「/feed」のURLでコケる
『GoogleSearchConsole』の画面で、ページがインデックスされている状況を確認できる。
ここの「Crawled – currently not indexed」の欄では、「ボットがクロールしたけど、まだインデックスされてないページ」が一覧で見られる。
この欄が「Failed」の状態になるときは大抵「/feed」のURLが原因になっている。
「/feed」はRSSのフィード用のURLらしいが、これはブログで記事を書いた時に自動で生成されるURLっぽい。
ここでコケるとgoogleにインデックスする作業が止まるっぽいので、コケないように何とかしたい。
sitemap.xmlに加えて「/feed」もサイトマップに登録しておく
クロールを案内するsitemap.xmlと同様に「/feed」もサイトマップに登録しておく。
この対策をしてから「/feed」のURLが原因のfailed状態は出なくなっているので効果があったように思う。
自分のブログ記事がなかなかgoogle検索に引っかからない人はこれも確認すると良さげ。
2024年4月8日追記:相変わらず「/feed」もコケる
上記の設定を追加しても「/feed」を含めて色々コケていた。。
各ページがインデックスされなかった原因は、個別にはわからないのでこちらも対策のしようがない。
コメント