PasteZap
🌐 Português
Grátis · Sem conta

Grátis · SEO

Gerador robots.txt.

Gere as diretivas de rastreamento de um robots.txt e uma referência opcional ao sitemap.

Antes de começar

Alguns controles técnicos estão em inglês. Textos Unicode são aceitos; os formatos e idiomas de saída dependem da ferramenta.

Os limites técnicos aparecem em inglês abaixo. Confira antes de processar arquivos grandes ou usar o resultado.

LOCAL PROCESSING · NO ACCOUNT

Como criar um arquivo robots.txt

  1. Mantenha * em «User agent» para todos os rastreadores, ou digite um nome como Googlebot.
  2. Na caixa de texto, liste os caminhos a bloquear, um por linha, cada um começando com /, por exemplo /private/ ou /cart/. Deixe vazio para permitir tudo.
  3. Escolha «Disallow listed paths» ou «Allow listed paths», adicione a «Sitemap URL (optional)» e escolha uma opção em «AI crawlers».
  4. Copie ou baixe o resultado e envie-o como robots.txt para a raiz do domínio, por exemplo https://example.com/robots.txt.

Com /private/ e um endereço de sitemap, o arquivo traz User-agent: *, Disallow: /private/ e Sitemap: https://example.com/sitemap.xml. Sem caminho, a ferramenta escreve uma linha Disallow: vazia, que permite o site inteiro. Os caminhos são comparados a partir do início da URL, então /private/ também cobre /private/files/report.pdf.

Rastreadores de IA e o que o robots.txt não faz

«Block AI training crawlers (keep AI search)» adiciona regras para GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider e Meta-ExternalAgent sem afetar os bots de busca com IA. «Block all AI crawlers» bloqueia também OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User e Amazonbot, o que pode tirar as suas páginas das respostas de IA. Para ajustar cada bot, use o gerador de robots.txt para IA.

O robots.txt controla o rastreamento, não a indexação nem a privacidade. Uma página bloqueada ainda pode aparecer nos resultados se outros sites apontarem para ela, e qualquer pessoa pode ler o arquivo, então nunca liste pastas secretas nele. Para tirar uma página do Google, deixe-a ser rastreada e adicione uma meta tag noindex, por exemplo com o gerador de meta tags. Para criar o sitemap indicado, use o gerador de sitemap XML.

Limites e formatos aceitos

Seus dados são processados no seu dispositivo.

Notas técnicas em inglês

robots.txt controls crawling, not privacy or guaranteed deindexing.

Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.

Allow crawling and add a sitemap URL.

Perguntas frequentes

Onde coloco o arquivo robots.txt?

Na raiz do domínio, como https://example.com/robots.txt. Os rastreadores não o procuram em subpastas, e cada subdomínio precisa do seu próprio arquivo.

Disallow remove uma página do Google?

Não. Ele impede o rastreamento, mas uma URL bloqueada pode ser indexada pelos links. Use uma tag noindex numa página rastreável para removê-la dos resultados.

Os rastreadores de IA respeitam o robots.txt?

As grandes empresas de IA dizem que sim, mas o cumprimento é voluntário e há relatos de rastreadores que o ignoram. O arquivo gerado avisa isso num comentário.