Gerador de robots.txt
Crie um robots.txt correto com regras allow/disallow, crawl-delay e diretivas de sitemap usando predefinições úteis. Grátis e funciona no seu navegador.
Crie um robots.txt limpo diretamente no seu navegador. Nada é enviado — tudo é gerado localmente.
Coloque este ficheiro na raiz do seu site para que seja acessível em https://your-site.com/robots.txt
Sobre Gerador de robots.txt
Este gerador de robots.txt cria um arquivo robots.txt sintaticamente correto a partir de grupos de user-agent, cada um com seus próprios caminhos Allow e Disallow e um Crawl-delay opcional. Adicione quantos grupos precisar — um grupo curinga * para todos os rastreadores mais regras específicas para bots individuais — e liste uma ou mais diretivas Sitemap no final.
Predefinições rápidas cobrem os pontos de partida mais comuns: permitir tudo, bloquear tudo, uma configuração sensata para WordPress e uma lista de bloqueio para bots comuns. Comece por uma predefinição e depois ajuste os caminhos à estrutura do seu site.
O arquivo é gerado localmente no seu navegador e nunca é enviado. Copie o resultado ou baixe robots.txt, depois coloque-o na raiz do seu site para que os rastreadores o encontrem em https://seu-site.com/robots.txt — esse local exato é o único que os mecanismos de busca verificam.
Como usar Gerador de robots.txt
- Opcionalmente, comece por uma predefinição: Permitir tudo, Bloquear tudo, WordPress ou Bloquear bots comuns.
- Edite o user-agent de cada grupo (por exemplo * ou Googlebot) e adicione caminhos Disallow e Allow.
- Defina um Crawl-delay opcional em segundos e adicione mais grupos para outros rastreadores, se necessário.
- Adicione as URLs do seu sitemap para que os rastreadores possam descobri-las.
- Copie o resultado ou baixe robots.txt e envie-o para a raiz do seu site.