Grátis · SEO
Gerador robots.txt.
Gere as diretivas de rastreamento de um robots.txt e uma referência opcional ao sitemap.
Como criar um arquivo robots.txt
- Mantenha
*em «User agent» para todos os rastreadores, ou digite um nome comoGooglebot. - Na caixa de texto, liste os caminhos a bloquear, um por linha, cada um começando com
/, por exemplo/private/ou/cart/. Deixe vazio para permitir tudo. - Escolha «Disallow listed paths» ou «Allow listed paths», adicione a «Sitemap URL (optional)» e escolha uma opção em «AI crawlers».
- Copie ou baixe o resultado e envie-o como
robots.txtpara a raiz do domínio, por exemplohttps://example.com/robots.txt.
Com /private/ e um endereço de sitemap, o arquivo traz User-agent: *, Disallow: /private/ e Sitemap: https://example.com/sitemap.xml. Sem caminho, a ferramenta escreve uma linha Disallow: vazia, que permite o site inteiro. Os caminhos são comparados a partir do início da URL, então /private/ também cobre /private/files/report.pdf.
Rastreadores de IA e o que o robots.txt não faz
«Block AI training crawlers (keep AI search)» adiciona regras para GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider e Meta-ExternalAgent sem afetar os bots de busca com IA. «Block all AI crawlers» bloqueia também OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User e Amazonbot, o que pode tirar as suas páginas das respostas de IA. Para ajustar cada bot, use o gerador de robots.txt para IA.
O robots.txt controla o rastreamento, não a indexação nem a privacidade. Uma página bloqueada ainda pode aparecer nos resultados se outros sites apontarem para ela, e qualquer pessoa pode ler o arquivo, então nunca liste pastas secretas nele. Para tirar uma página do Google, deixe-a ser rastreada e adicione uma meta tag noindex, por exemplo com o gerador de meta tags. Para criar o sitemap indicado, use o gerador de sitemap XML.
Limites e formatos aceitos
Seus dados são processados no seu dispositivo.
Notas técnicas em inglês
robots.txt controls crawling, not privacy or guaranteed deindexing.
Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.
Allow crawling and add a sitemap URL.
Perguntas frequentes
Onde coloco o arquivo robots.txt?
Na raiz do domínio, como https://example.com/robots.txt. Os rastreadores não o procuram em subpastas, e cada subdomínio precisa do seu próprio arquivo.
Disallow remove uma página do Google?
Não. Ele impede o rastreamento, mas uma URL bloqueada pode ser indexada pelos links. Use uma tag noindex numa página rastreável para removê-la dos resultados.
Os rastreadores de IA respeitam o robots.txt?
As grandes empresas de IA dizem que sim, mas o cumprimento é voluntário e há relatos de rastreadores que o ignoram. O arquivo gerado avisa isso num comentário.