Gratis · SEO
robots.txt-generator voor AI-crawlers.
Blokkeer of sta GPTBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot en andere AI-crawlers toe in robots.txt: training blokkeren, AI-zoeken toestaan of alles blokkeren.
Loading the calculator…
Zo gebruik je deze tool: robots.txt-generator voor AI-crawlers
Voer gegevens in of kies een bestand. Pas de instellingen aan, maak het resultaat en controleer het voordat je het kopieert of downloadt.
Limieten en ondersteunde formaten
Je invoer wordt op je apparaat verwerkt.
Technische opmerkingen in het Engels
robots.txt is voluntary; some crawlers ignore it. User-agent names change, so check each company’s documentation. Everything is calculated in your browser; nothing you type is uploaded.
Training crawlers collect pages for model training; search crawlers index pages for AI answers; user agents fetch a page when a person asks. Blocked crawlers get “Disallow: /”; the others follow your normal rules.
The default policy blocks the 7 training crawlers (GPTBot, ClaudeBot, Google-Extended…) and keeps the 7 search and user-request crawlers allowed.