無料 · SEO
robots.txt 生成.
robots.txt のクロール指示と、任意のサイトマップ参照を生成します。
robots.txt ファイルの作り方
- すべてのクローラーを対象にするなら「User agent」を
*のままにし、特定のものならGooglebotなどの名前を入力します。 - テキストボックスにブロックするパスを1行に1つ、
/から始めて入力します(例:/private/、/cart/)。空欄ならすべて許可します。 - 「Disallow listed paths」か「Allow listed paths」を選び、「Sitemap URL (optional)」を入力し、「AI crawlers」のオプションを選びます。
- 結果をコピーまたはダウンロードし、
robots.txtという名前でドメインのルートに置きます(例:https://example.com/robots.txt)。
/private/ とサイトマップのアドレスを入力すると、ファイルは User-agent: *、Disallow: /private/、Sitemap: https://example.com/sitemap.xml になります。パスがない場合は空の Disallow: 行を書き出し、サイト全体を許可します。パスは URL の先頭から照合されるため、/private/ は /private/files/report.pdf も対象にします。
AI クローラーと robots.txt でできないこと
「Block AI training crawlers (keep AI search)」は GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Bytespider、Meta-ExternalAgent のルールを追加し、AI 検索用のボットはそのままにします。「Block all AI crawlers」はさらに OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User、Amazonbot もブロックするため、AI の回答にページが表示されなくなることがあります。ボットごとに細かく設定するには AI 向け robots.txt ジェネレーターを使ってください。
robots.txt はクロールを制御するもので、インデックスやプライバシーは制御しません。ブロックしたページでも、他サイトからリンクされていれば検索結果に出ることがあり、ファイルは誰でも読めるので秘密のフォルダーを書かないでください。Google に表示させたくないページはクロールを許可したうえで noindex メタタグを付けます。メタタグ生成ツールが使えます。参照するサイトマップは XML サイトマップ生成ツールで作成できます。
制限と対応形式
入力内容はお使いの端末で処理されます。
英語の技術説明
robots.txt controls crawling, not privacy or guaranteed deindexing.
Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.
Allow crawling and add a sitemap URL.
よくある質問
robots.txt はどこに置けばよいですか?
ドメインのルートに https://example.com/robots.txt として置きます。クローラーはサブフォルダーを探さず、サブドメインごとに別のファイルが必要です。
Disallow で Google からページを削除できますか?
できません。クロールは止まりますが、ブロックした URL もリンク経由でインデックスされることがあります。検索結果から外すには、クロール可能なページに noindex タグを付けます。
AI クローラーは robots.txt に従いますか?
大手 AI 企業は従うと表明していますが任意であり、無視するクローラーも報告されています。生成されるファイルにもその旨がコメントで書かれます。