PasteZap
🌐 Deutsch
Kostenlos · Ohne Konto

Kostenlos · SEO

robots.txt erstellen.

Crawl-Anweisungen für eine robots.txt und einen optionalen Sitemap-Verweis erzeugen.

Vor dem Start

Einige technische Bedienelemente sind auf Englisch. Unicode-Text wird unterstützt; Dateiformate und Ausgabesprachen hängen vom Tool ab.

Die technischen Grenzen stehen unten auf Englisch. Prüfen Sie diese vor der Verarbeitung großer Dateien und der Verwendung des Ergebnisses.

LOCAL PROCESSING · NO ACCOUNT

So erstellen Sie eine robots.txt-Datei

  1. Lassen Sie unter „User agent“ * stehen, um alle Crawler anzusprechen, oder tragen Sie einen Namen wie Googlebot ein.
  2. Listen Sie im Textfeld die zu sperrenden Pfade auf, einen pro Zeile, jeweils mit / am Anfang, zum Beispiel /private/ oder /cart/. Leer lassen, um alles zu erlauben.
  3. Wählen Sie „Disallow listed paths“ oder „Allow listed paths“, ergänzen Sie „Sitemap URL (optional)“ und wählen Sie eine Option unter „AI crawlers“.
  4. Kopieren oder laden Sie das Ergebnis herunter und legen Sie es als robots.txt im Stammverzeichnis der Domain ab, zum Beispiel https://example.com/robots.txt.

Mit /private/ und einer Sitemap-Adresse enthält die Datei User-agent: *, Disallow: /private/ und Sitemap: https://example.com/sitemap.xml. Ohne Pfad schreibt das Tool eine leere Zeile Disallow:, die die ganze Website erlaubt. Pfade werden ab dem Anfang der URL verglichen, daher deckt /private/ auch /private/files/report.pdf ab.

KI-Crawler und was robots.txt nicht kann

„Block AI training crawlers (keep AI search)“ fügt Regeln für GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider und Meta-ExternalAgent hinzu und lässt KI-Suchbots zu. „Block all AI crawlers“ sperrt zusätzlich OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User und Amazonbot, wodurch Ihre Seiten aus KI-Antworten verschwinden können. Für jeden Bot einzeln nutzen Sie den KI-robots.txt-Generator.

robots.txt steuert das Crawlen, nicht die Indexierung oder den Datenschutz. Eine gesperrte Seite kann trotzdem in Suchergebnissen erscheinen, wenn andere Websites auf sie verlinken, und jeder kann die Datei lesen; tragen Sie dort also keine geheimen Ordner ein. Um eine Seite aus Google herauszuhalten, lassen Sie sie crawlen und setzen ein noindex-Meta-Tag, etwa mit dem Meta-Tag-Generator. Die verlinkte Sitemap erstellen Sie mit dem XML-Sitemap-Generator.

Grenzen und unterstützte Formate

Ihre Eingaben werden auf Ihrem Gerät verarbeitet.

Technische Hinweise auf Englisch

robots.txt controls crawling, not privacy or guaranteed deindexing.

Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.

Allow crawling and add a sitemap URL.

Häufige Fragen

Wohin gehört die robots.txt?

In das Stammverzeichnis der Domain, als https://example.com/robots.txt. Crawler suchen nicht in Unterordnern danach, und jede Subdomain braucht eine eigene Datei.

Entfernt Disallow eine Seite aus Google?

Nein. Es verhindert das Crawlen, aber eine gesperrte URL kann über Links indexiert werden. Nutzen Sie ein noindex-Tag auf einer crawlbaren Seite, um sie aus den Ergebnissen zu entfernen.

Halten sich KI-Crawler an robots.txt?

Die großen KI-Firmen sagen, dass sie sich daran halten, doch das ist freiwillig, und manche Crawler sollen sie ignorieren. Die erzeugte Datei weist in einem Kommentar darauf hin.