PasteZap
🌐 Español
Gratis · Sin cuenta

Gratis · SEO

Generador robots.txt.

Genera las directivas de rastreo de un robots.txt y una referencia opcional al sitemap.

Antes de empezar

Algunos controles técnicos están en inglés. Se admite texto Unicode; los formatos y los idiomas de salida dependen de la herramienta.

Los límites técnicos aparecen en inglés a continuación. Revísalos antes de procesar archivos grandes o utilizar el resultado.

LOCAL PROCESSING · NO ACCOUNT

Cómo crear un archivo robots.txt

  1. Deja * en «User agent» para dirigirte a todos los rastreadores, o escribe un nombre como Googlebot.
  2. En el cuadro de texto, escribe las rutas que quieres bloquear, una por línea y empezando por /, por ejemplo /private/ o /cart/. Déjalo vacío para permitirlo todo.
  3. Elige «Disallow listed paths» o «Allow listed paths», añade tu «Sitemap URL (optional)» y elige una opción en «AI crawlers».
  4. Copia o descarga el resultado y súbelo como robots.txt a la raíz del dominio, por ejemplo https://example.com/robots.txt.

Con /private/ y una dirección de sitemap, el archivo contiene User-agent: *, Disallow: /private/ y Sitemap: https://example.com/sitemap.xml. Sin ninguna ruta, la herramienta escribe una línea Disallow: vacía, que permite todo el sitio. Las rutas se comparan desde el inicio de la URL, así que /private/ también cubre /private/files/report.pdf.

Rastreadores de IA y lo que robots.txt no hace

«Block AI training crawlers (keep AI search)» añade reglas para GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider y Meta-ExternalAgent sin tocar los bots de búsqueda con IA. «Block all AI crawlers» bloquea además OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User y Amazonbot, lo que puede sacar tus páginas de las respuestas de IA. Para ajustar cada bot, usa el generador de robots.txt para IA.

robots.txt controla el rastreo, no la indexación ni la privacidad. Una página bloqueada puede aparecer en los resultados si otros sitios la enlazan, y cualquiera puede leer el archivo, así que nunca pongas carpetas secretas en él. Para sacar una página de Google, deja que se rastree y añade una metaetiqueta noindex, por ejemplo con el generador de metaetiquetas. Para crear el sitemap al que apuntas, usa el generador de sitemap XML.

Límites y formatos compatibles

Los datos se procesan en tu dispositivo.

Notas técnicas en inglés

robots.txt controls crawling, not privacy or guaranteed deindexing.

Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.

Allow crawling and add a sitemap URL.

Preguntas frecuentes

¿Dónde pongo el archivo robots.txt?

En la raíz del dominio, como https://example.com/robots.txt. Los rastreadores no lo buscan en subcarpetas, y cada subdominio necesita su propio archivo.

¿Disallow elimina una página de Google?

No. Impide el rastreo, pero una URL bloqueada puede indexarse por los enlaces. Usa una etiqueta noindex en una página rastreable para quitarla de los resultados.

¿Los rastreadores de IA respetan robots.txt?

Las grandes empresas de IA dicen que lo respetan, pero es voluntario y se ha informado de rastreadores que lo ignoran. El archivo generado lo indica en un comentario.