Kostenlos · SEO
robots.txt erstellen.
Crawl-Anweisungen für eine robots.txt und einen optionalen Sitemap-Verweis erzeugen.
So erstellen Sie eine robots.txt-Datei
- Lassen Sie unter „User agent“
*stehen, um alle Crawler anzusprechen, oder tragen Sie einen Namen wieGooglebotein. - Listen Sie im Textfeld die zu sperrenden Pfade auf, einen pro Zeile, jeweils mit
/am Anfang, zum Beispiel/private/oder/cart/. Leer lassen, um alles zu erlauben. - Wählen Sie „Disallow listed paths“ oder „Allow listed paths“, ergänzen Sie „Sitemap URL (optional)“ und wählen Sie eine Option unter „AI crawlers“.
- Kopieren oder laden Sie das Ergebnis herunter und legen Sie es als
robots.txtim Stammverzeichnis der Domain ab, zum Beispielhttps://example.com/robots.txt.
Mit /private/ und einer Sitemap-Adresse enthält die Datei User-agent: *, Disallow: /private/ und Sitemap: https://example.com/sitemap.xml. Ohne Pfad schreibt das Tool eine leere Zeile Disallow:, die die ganze Website erlaubt. Pfade werden ab dem Anfang der URL verglichen, daher deckt /private/ auch /private/files/report.pdf ab.
KI-Crawler und was robots.txt nicht kann
„Block AI training crawlers (keep AI search)“ fügt Regeln für GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider und Meta-ExternalAgent hinzu und lässt KI-Suchbots zu. „Block all AI crawlers“ sperrt zusätzlich OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User und Amazonbot, wodurch Ihre Seiten aus KI-Antworten verschwinden können. Für jeden Bot einzeln nutzen Sie den KI-robots.txt-Generator.
robots.txt steuert das Crawlen, nicht die Indexierung oder den Datenschutz. Eine gesperrte Seite kann trotzdem in Suchergebnissen erscheinen, wenn andere Websites auf sie verlinken, und jeder kann die Datei lesen; tragen Sie dort also keine geheimen Ordner ein. Um eine Seite aus Google herauszuhalten, lassen Sie sie crawlen und setzen ein noindex-Meta-Tag, etwa mit dem Meta-Tag-Generator. Die verlinkte Sitemap erstellen Sie mit dem XML-Sitemap-Generator.
Grenzen und unterstützte Formate
Ihre Eingaben werden auf Ihrem Gerät verarbeitet.
Technische Hinweise auf Englisch
robots.txt controls crawling, not privacy or guaranteed deindexing.
Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.
Allow crawling and add a sitemap URL.
Häufige Fragen
Wohin gehört die robots.txt?
In das Stammverzeichnis der Domain, als https://example.com/robots.txt. Crawler suchen nicht in Unterordnern danach, und jede Subdomain braucht eine eigene Datei.
Entfernt Disallow eine Seite aus Google?
Nein. Es verhindert das Crawlen, aber eine gesperrte URL kann über Links indexiert werden. Nutzen Sie ein noindex-Tag auf einer crawlbaren Seite, um sie aus den Ergebnissen zu entfernen.
Halten sich KI-Crawler an robots.txt?
Die großen KI-Firmen sagen, dass sie sich daran halten, doch das ist freiwillig, und manche Crawler sollen sie ignorieren. Die erzeugte Datei weist in einem Kommentar darauf hin.