無料 · SEO
AI クローラー用 robots.txt ジェネレーター.
GPTBot、ClaudeBot、Google-Extended、PerplexityBot、CCBot などの AI クローラーを robots.txt でブロックまたは許可。学習のみブロック、AI 検索は許可、全ブロックを選べます。
Loading the calculator…
使い方: AI クローラー用 robots.txt ジェネレーター
データを入力するかファイルを選び、設定を調整して結果を生成します。コピーやダウンロードの前に結果を確認してください。
制限と対応形式
入力内容はお使いの端末で処理されます。
英語の技術説明
robots.txt is voluntary; some crawlers ignore it. User-agent names change, so check each company’s documentation. Everything is calculated in your browser; nothing you type is uploaded.
Training crawlers collect pages for model training; search crawlers index pages for AI answers; user agents fetch a page when a person asks. Blocked crawlers get “Disallow: /”; the others follow your normal rules.
The default policy blocks the 7 training crawlers (GPTBot, ClaudeBot, Google-Extended…) and keeps the 7 search and user-request crawlers allowed.