PasteZap
🌐 Nederlands
Gratis · Zonder account

Gratis · SEO

robots.txt maken.

Genereer crawlinstructies voor een robots.txt en een optionele verwijzing naar de sitemap.

Voordat je begint

Sommige technische bedieningselementen zijn in het Engels. Unicode-tekst wordt ondersteund; formaten en uitvoertalen hangen af van de tool.

De technische limieten staan hieronder in het Engels. Controleer ze voordat je grote bestanden verwerkt of het resultaat gebruikt.

LOCAL PROCESSING · NO ACCOUNT

Zo maakt u een robots.txt-bestand

  1. Laat * staan bij „User agent” om alle crawlers aan te spreken, of typ één naam zoals Googlebot.
  2. Zet in het tekstvak de paden die u wilt blokkeren, één per regel en elk beginnend met /, bijvoorbeeld /private/ of /cart/. Laat het leeg om alles toe te staan.
  3. Kies „Disallow listed paths” of „Allow listed paths”, vul „Sitemap URL (optional)” in en kies een optie bij „AI crawlers”.
  4. Kopieer of download het resultaat en zet het als robots.txt in de hoofdmap van uw domein, bijvoorbeeld https://example.com/robots.txt.

Met /private/ en een sitemapadres bevat het bestand User-agent: *, Disallow: /private/ en Sitemap: https://example.com/sitemap.xml. Zonder pad schrijft de tool een lege regel Disallow:, die de hele site toestaat. Paden worden vanaf het begin van de URL vergeleken, dus /private/ dekt ook /private/files/report.pdf.

AI-crawlers, en wat robots.txt niet kan

„Block AI training crawlers (keep AI search)” voegt regels toe voor GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider en Meta-ExternalAgent en laat AI-zoekbots met rust. „Block all AI crawlers” blokkeert ook OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User en Amazonbot, waardoor uw pagina’s uit AI-antwoorden kunnen verdwijnen. Voor elke bot apart gebruikt u de AI-robots.txt-generator.

robots.txt regelt het crawlen, niet de indexering of privacy. Een geblokkeerde pagina kan toch in zoekresultaten staan als andere sites ernaar linken, en iedereen kan het bestand lezen, dus zet er nooit geheime mappen in. Wilt u een pagina uit Google houden, laat haar dan crawlen en voeg een noindex-metatag toe, bijvoorbeeld met de metatag-generator. De sitemap waarnaar u verwijst maakt u met de XML-sitemapgenerator.

Limieten en ondersteunde formaten

Je invoer wordt op je apparaat verwerkt.

Technische opmerkingen in het Engels

robots.txt controls crawling, not privacy or guaranteed deindexing.

Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.

Allow crawling and add a sitemap URL.

Veelgestelde vragen

Waar zet ik het robots.txt-bestand?

In de hoofdmap van het domein, als https://example.com/robots.txt. Crawlers zoeken het niet in submappen, en elk subdomein heeft een eigen bestand nodig.

Haalt Disallow een pagina uit Google?

Nee. Het stopt het crawlen, maar een geblokkeerde URL kan via links toch worden geïndexeerd. Gebruik een noindex-tag op een crawlbare pagina om haar uit de resultaten te halen.

Houden AI-crawlers zich aan robots.txt?

De grote AI-bedrijven zeggen van wel, maar het is vrijwillig en sommige crawlers zouden het negeren. Het gemaakte bestand vermeldt dat in een opmerking.