robots.txt ジェネレーター
検索エンジンなどのボットに、サイトのどこを巡回してよいかを伝えましょう。
このデバイス内で封印済み
ブラウザ内で動作します。何もアップロードされません。
封印済み
ルール
1行に1つ、/ で始まるパスを入力します。* はワイルドカード、$ はアドレスの末尾を表します。
任意。Bingなど一部のボットは従いますが、Googleは無視します。
個別のクローラー
1行に1つ、完全なアドレスを入力します（例：https://example.com/sitemap.xml）。
robots.txt
確認が必要な点
アドレスをテスト
空欄にすると、このクローラーにはサイト全体をブロックします。
使い方
-
基本ルールを選ぶ
すべて許可、すべてブロック、またはクローラーに避けてほしいパスを指定します。プリセットを使えば簡単に始められます。
-
AIボット、クローラー、サイトマップを追加
ワンクリックでAI学習用クローラーをブロックし、特定のボット用のルールを追加して、サイトマップを指定します。
-
テストして公開
いくつかのアドレスをテストしてからファイルをダウンロードし、サイトのルート（example.com/robots.txt）に置きます。
よくある質問
robots.txtファイルはどこに置けばよいですか？
ドメインのルートに置き、https://your-site.com/robots.txt でアクセスできるようにします。サブドメインごとに個別のファイルが必要です。クローラーはほかの場所を探しません。
robots.txtでページをGoogleから隠せますか？
いいえ。robots.txtはクローラーにページを訪問しないよう求めるだけで、ほかのサイトからリンクされていれば、ページは検索結果に表示されることがあります。Googleに表示させたくない場合は、クロールを許可したうえでnoindexメタタグを追加するか、パスワードで保護してください。
GPTBotなどのAIクローラーをブロックするには？
「AI学習用クローラーをブロック」にチェックを入れます。ファイルがGPTBot、ClaudeBot、Google-Extendedなどの学習用ボットに、サイト全体に近づかないよう伝えます。行儀のよいボットは従いますが、robots.txtはお願いであり、ロックではありません。
AllowとDisallowのルールが矛盾するとどうなりますか？
Googleやほとんどの最新クローラーは、最も具体的なルール、つまり一致するパスが最も長いルールを適用します。同じ長さの場合はAllowが優先されます。このページのテスト機能も同じ考え方に従っています。
パスの * と $ はどういう意味ですか？
アスタリスクは任意の文字列に一致するため、/*.pdf はすべてのPDFに一致します。ドル記号はアドレスの末尾を表すため、/*.pdf$ はちょうど .pdf で終わるアドレスに一致します。
robots.txtにサイトマップを追加すべきですか？
はい。あらゆる検索エンジンにサイトマップを見つけてもらう簡単な方法です。https:// を含む完全なアドレスを使ってください。複数のサイトマップを指定できます。