PasteZap
🌐 Français
Gratuit · Sans compte

Gratuit · SEO

Générateur robots.txt.

Générez les directives d’exploration d’un fichier robots.txt et une référence facultative au sitemap.

Avant de commencer

Certains contrôles techniques restent en anglais. Les textes Unicode sont acceptés ; les formats et langues de sortie dépendent de l’outil.

Les limites techniques sont indiquées en anglais ci-dessous. Vérifiez-les avant de traiter de gros fichiers ou d’utiliser le résultat.

LOCAL PROCESSING · NO ACCOUNT

Comment créer un fichier robots.txt

  1. Gardez * dans « User agent » pour viser tous les robots, ou saisissez un nom comme Googlebot.
  2. Dans la zone de texte, listez les chemins à bloquer, un par ligne, chacun commençant par /, par exemple /private/ ou /cart/. Laissez-la vide pour tout autoriser.
  3. Choisissez « Disallow listed paths » ou « Allow listed paths », ajoutez votre « Sitemap URL (optional) » et choisissez une option « AI crawlers ».
  4. Copiez ou téléchargez le résultat et placez-le sous le nom robots.txt à la racine du domaine, par exemple https://example.com/robots.txt.

Avec /private/ et une adresse de sitemap, le fichier contient User-agent: *, Disallow: /private/ et Sitemap: https://example.com/sitemap.xml. Sans chemin, l’outil écrit une ligne Disallow: vide, qui autorise tout le site. Les chemins sont comparés au début de l’URL : /private/ couvre aussi /private/files/report.pdf.

Robots d’IA, et ce que robots.txt ne fait pas

« Block AI training crawlers (keep AI search) » ajoute des règles pour GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider et Meta-ExternalAgent, sans toucher aux robots de recherche IA. « Block all AI crawlers » bloque aussi OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User et Amazonbot, ce qui peut retirer vos pages des réponses des IA. Pour régler chaque robot, utilisez le générateur robots.txt pour l’IA.

robots.txt contrôle l’exploration, pas l’indexation ni la confidentialité. Une page bloquée peut quand même apparaître dans les résultats si d’autres sites la citent, et tout le monde peut lire le fichier : n’y listez jamais de dossier secret. Pour exclure une page de Google, laissez-la explorer et ajoutez une balise meta noindex, par exemple avec le générateur de balises meta. Pour créer le sitemap référencé, utilisez le générateur de sitemap XML.

Limites et formats acceptés

Vos données sont traitées sur votre appareil.

Notes techniques en anglais

robots.txt controls crawling, not privacy or guaranteed deindexing.

Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.

Allow crawling and add a sitemap URL.

Questions fréquentes

Où placer le fichier robots.txt ?

À la racine du domaine, sous la forme https://example.com/robots.txt. Les robots ne le cherchent pas dans les sous-dossiers, et chaque sous-domaine a besoin de son propre fichier.

Disallow retire-t-il une page de Google ?

Non. Il empêche l’exploration, mais une URL bloquée peut rester indexée grâce aux liens. Utilisez une balise noindex sur une page explorable pour la retirer des résultats.

Les robots d’IA respectent-ils robots.txt ?

Les grandes entreprises d’IA disent le respecter, mais c’est volontaire et certains robots l’ignoreraient. Le fichier généré le précise dans un commentaire.