Gratis · SEO
robots.txt maken.
Genereer crawlinstructies voor een robots.txt en een optionele verwijzing naar de sitemap.
Zo maakt u een robots.txt-bestand
- Laat
*staan bij „User agent” om alle crawlers aan te spreken, of typ één naam zoalsGooglebot. - Zet in het tekstvak de paden die u wilt blokkeren, één per regel en elk beginnend met
/, bijvoorbeeld/private/of/cart/. Laat het leeg om alles toe te staan. - Kies „Disallow listed paths” of „Allow listed paths”, vul „Sitemap URL (optional)” in en kies een optie bij „AI crawlers”.
- Kopieer of download het resultaat en zet het als
robots.txtin de hoofdmap van uw domein, bijvoorbeeldhttps://example.com/robots.txt.
Met /private/ en een sitemapadres bevat het bestand User-agent: *, Disallow: /private/ en Sitemap: https://example.com/sitemap.xml. Zonder pad schrijft de tool een lege regel Disallow:, die de hele site toestaat. Paden worden vanaf het begin van de URL vergeleken, dus /private/ dekt ook /private/files/report.pdf.
AI-crawlers, en wat robots.txt niet kan
„Block AI training crawlers (keep AI search)” voegt regels toe voor GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider en Meta-ExternalAgent en laat AI-zoekbots met rust. „Block all AI crawlers” blokkeert ook OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User en Amazonbot, waardoor uw pagina’s uit AI-antwoorden kunnen verdwijnen. Voor elke bot apart gebruikt u de AI-robots.txt-generator.
robots.txt regelt het crawlen, niet de indexering of privacy. Een geblokkeerde pagina kan toch in zoekresultaten staan als andere sites ernaar linken, en iedereen kan het bestand lezen, dus zet er nooit geheime mappen in. Wilt u een pagina uit Google houden, laat haar dan crawlen en voeg een noindex-metatag toe, bijvoorbeeld met de metatag-generator. De sitemap waarnaar u verwijst maakt u met de XML-sitemapgenerator.
Limieten en ondersteunde formaten
Je invoer wordt op je apparaat verwerkt.
Technische opmerkingen in het Engels
robots.txt controls crawling, not privacy or guaranteed deindexing.
Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.
Allow crawling and add a sitemap URL.
Veelgestelde vragen
Waar zet ik het robots.txt-bestand?
In de hoofdmap van het domein, als https://example.com/robots.txt. Crawlers zoeken het niet in submappen, en elk subdomein heeft een eigen bestand nodig.
Haalt Disallow een pagina uit Google?
Nee. Het stopt het crawlen, maar een geblokkeerde URL kan via links toch worden geïndexeerd. Gebruik een noindex-tag op een crawlbare pagina om haar uit de resultaten te halen.
Houden AI-crawlers zich aan robots.txt?
De grote AI-bedrijven zeggen van wel, maar het is vrijwillig en sommige crawlers zouden het negeren. Het gemaakte bestand vermeldt dat in een opmerking.