DevTools Japan トップへ

robots.txt ジェネレーター

AIクローラ制御に対応した robots.txt をブラウザだけで自動生成

クイックプリセット

AI学習クローラの制御（LLMO / AEO）

生成AIの学習・参照に使われるクローラです。ブロックすると学習データへの利用を避けられます。許可すると生成AIやAI検索に引用・参照されやすくなります（LLMO/AEO観点）。「指定なし」は robots.txt に記載せず、既定挙動に任せます。

検索エンジンのクローラ

個別に指定したいボットだけ「許可」または「ブロック」に設定します。多くのサイトは「指定なし」のまま、下の共通ルールで全体を制御すれば十分です。

共通ルール（User-agent: *）

例: /admin/ のように記述します。空欄の場合は「Disallow:（全て許可）」として出力します。

Sitemap

httpsから始まる絶対URLで記述してください。

生成された robots.txt

robots.txt はクローラへの指示（お願い）であり、アクセス制御ではありません。非公開にしたいコンテンツは robots.txt に頼らず、認証やサーバー側の制限で保護してください。すべての生成はお使いのブラウザ内で完結し、入力内容が外部に送信されることはありません。

robots.txt ジェネレーターの使い方

User-agent（ボット）別のAllow / Disallowルール、Crawl-delay、Sitemap URL、そしてGPTBotやCCBotなどAI学習クローラの許可/拒否を指定するだけで、正しい書式の robots.txt をリアルタイムに自動生成する無料ツールです。ページを開いた瞬間からサンプルが表示されるので、トグルを切り替えたり共通ルールを入力したりすると、その場で下部の出力が更新されます。完成したら「コピー」または「robots.txt をダウンロード」で取得し、サイトのルート直下（https://あなたのドメイン/robots.txt）に配置してください。

操作はすべてブラウザ内で完結し、サーバーに何も送信しません。会員登録もインストールも不要です。よく使う設定はクイックプリセット（全ボット許可 / 検索OK・AI学習ブロック / 全ボット拒否）からワンクリックで呼び出せます。

AI学習クローラの制御（LLMO / AEO）

近年は検索エンジンだけでなく、生成AIの学習や回答生成のためにサイトを巡回するクローラが増えています。これらを許可するか拒否するかは、コンテンツ戦略上の重要な判断です。学習データとしての利用を避けたい場合はブロック、生成AIやAI検索エンジンに自社コンテンツを引用・参照してもらいたい場合（LLMO: Large Language Model Optimization / AEO: Answer Engine Optimization）は許可を選びます。本ツールでは主要なAIクローラを一覧化し、それぞれ許可 / ブロック / 指定なしをワンクリックで切り替えられます。

User-agent運営役割
GPTBotOpenAIChatGPTなどのモデル学習用クローラ
OAI-SearchBotOpenAIChatGPTの検索機能で参照するためのクローラ
ChatGPT-UserOpenAIユーザー操作によるブラウジングのアクセス
Google-ExtendedGoogleGemini / Vertex AIの学習利用の可否を制御
CCBotCommon Crawl多くのLLMの学習元となる大規模クロール
anthropic-ai / ClaudeBotAnthropicClaude関連のクロール
PerplexityBotPerplexityAI検索エンジンのクローラ
BytespiderByteDanceAI学習向けの大規模クローラ

なお、robots.txt はあくまでクローラへの指示であり、すべてのボットが必ず従う保証はありません。学習利用を厳密に制限したい場合は、robots.txtに加えて利用規約やサーバー側の対策も併用してください。

robots.txt の基本文法

robots.txt は数行のシンプルなテキストで構成されます。User-agent で対象のボットを指定し、その下に Disallow（クロールを避けるパス）や Allow（例外的に許可するパス）を並べます。User-agent: * はすべてのボットを対象にする指定です。

ディレクティブ意味例
User-agent対象ボットの指定User-agent: Googlebot
Disallowクロールを避けるパスDisallow: /admin/
Allow例外的に許可するパスAllow: /admin/public/
Crawl-delayクロール間隔（秒）Crawl-delay: 10
Sitemapサイトマップの絶対URLSitemap: https://example.com/sitemap.xml

Disallow: / はサイト全体のクロール拒否、Disallow:（空欄）はすべて許可を意味します。Crawl-delay はGooglebotには無視されますが、BingbotやYandexなど一部のクローラは参照します。

よくある質問

robots.txtとは何ですか？
robots.txtは、検索エンジンやAIのクローラ（ボット）に対して、サイト内のどのページをクロールしてよいか・してほしくないかを伝えるテキストファイルです。サイトのルート（例: https://example.com/robots.txt）に置きます。User-agentでボットを指定し、Disallowでクロールを避けてほしいパス、Allowで許可するパスを記述します。あくまでクローラへの指示（お願い）であり、非公開にしたいページはrobots.txtだけでなく認証などで保護してください。
GPTBotやCCBotなどAI学習クローラをブロックできますか？
はい。本ツールではGPTBot（OpenAI）、CCBot（Common Crawl）、Google-Extended（Gemini/Vertex AIの学習制御）、anthropic-ai・ClaudeBot（Anthropic）、PerplexityBot、Bytespiderなど主要なAIクローラを一覧から選び、許可（Allow: /）か拒否（Disallow: /）をワンクリックで切り替えて robots.txt を生成できます。学習利用を避けたい場合はブロック、生成AIに引用・参照されたい場合（LLMO/AEO）は許可を選びます。
入力せずにサンプルは表示されますか？
はい。ページを開いた時点で、検索エンジンは許可しつつ主要なAI学習クローラをブロックする一般的なサンプル robots.txt が生成済みで表示されます。設定を変更すると即座に反映されるため、そのままコピーして使うことも、雛形として編集することもできます。すべての生成はブラウザ内で完結し、入力内容が外部に送信されることはありません。
Crawl-delayやSitemapも設定できますか？
はい。全ボット共通（User-agent: *）のCrawl-delay（クロール間隔の秒数）を指定でき、Sitemapの絶対URLも1行ずつ追加できます。なおCrawl-delayはGooglebotには無視されますが、BingbotやYandexなど一部のクローラは参照します。SitemapのURLはhttpsから始まる絶対URLで記述してください。
生成した robots.txt はどこに置けばいいですか？
生成した内容をrobots.txtというファイル名で保存し、サイトのドキュメントルート直下に配置します。公開URLは必ず https://あなたのドメイン/robots.txt になる必要があり、サブディレクトリに置いても認識されません。設置後はSearch Consoleのrobots.txtテスターなどで意図どおりに読み込まれるか確認することをおすすめします。

関連ツール

カウントダウン計算ツール一覧へ