Kostenlos · SEO
robots.txt-Generator für KI-Crawler.
Sperre oder erlaube GPTBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot und andere KI-Crawler in der robots.txt: Training sperren, KI-Suche erlauben oder alles sperren.
Loading the calculator…
So verwenden Sie das Tool: robots.txt-Generator für KI-Crawler
Geben Sie Daten ein oder wählen Sie eine Datei. Passen Sie die Einstellungen an, erstellen Sie das Ergebnis und prüfen Sie es vor dem Kopieren oder Herunterladen.
Grenzen und unterstützte Formate
Ihre Eingaben werden auf Ihrem Gerät verarbeitet.
Technische Hinweise auf Englisch
robots.txt is voluntary; some crawlers ignore it. User-agent names change, so check each company’s documentation. Everything is calculated in your browser; nothing you type is uploaded.
Training crawlers collect pages for model training; search crawlers index pages for AI answers; user agents fetch a page when a person asks. Blocked crawlers get “Disallow: /”; the others follow your normal rules.
The default policy blocks the 7 training crawlers (GPTBot, ClaudeBot, Google-Extended…) and keeps the 7 search and user-request crawlers allowed.