質問
⚠️ この事例は公開されてから1年以上経過しています。 情報が古い可能性がありますので、ご注意ください。
🕓 事例公開日 : 2024-08-13
【背景】
セキュリティログを定期的にチェックしていたところ、深夜帯に認証失敗のログが記録されていることに気づきました。ログの内容から、検索エンジンのクローラーによるアクセスと推測しています。Q1. クローラーからのアクセスを抑制する方法はありますか？
不正アクセスの監視を行っているため、登録済みユーザー以外からのURLアクセスを減らしたいと考えています。クローラーからのアクセスを制御する手段があれば教えてください。回答
A1. クローラーアクセスの制限は推奨しません
クローラーからのアクセスを制御する手段として、robots.txtファイルの設置などがありますが、Accel-Mart Plusでは推奨しておりません。理由：
Accel-Mart Plusでは、レスポンスヘッダーに以下の設定を行い、検索エンジンのインデックス化を防止しています。
<static-response-header name="X-Robots-Tag" value="noindex, nofollow"/>
この設定により、検索結果に表示されないようになっています。
しかし、robots.txtなどでクローラーのアクセス自体を拒否してしまうと、クローラーはnoindexルールを認識できなくなります。その結果、他のページからリンクされている場合、検索結果に表示される可能性があります。これはBingbotなどの主要な検索エンジンクローラーでも同様です。
対応方針：
X-Robots-Tagの設定により検索結果には表示されない仕組みとなっているため、クローラーからのアクセスログは無視していただいて問題ありません。
参考ドキュメント：
・ログイン画面が検索エンジンの検索結果に表示されないようにする方法について教えてください
・noindexを使用してコンテンツをインデックスから除外する