Generador de robots.txt
Crea un robots.txt correcto con reglas allow/disallow, crawl-delay y directivas de sitemap usando prácticos ajustes predefinidos. Gratis y se ejecuta en tu navegador.
Crea un robots.txt limpio directamente en tu navegador. No se sube nada — todo se genera localmente.
Coloca este archivo en la raíz de tu sitio para que sea accesible en https://tu-sitio.com/robots.txt
Acerca de Generador de robots.txt
Este generador de robots.txt construye un archivo robots.txt sintácticamente correcto a partir de grupos de user-agent, cada uno con sus propias rutas Allow y Disallow y un Crawl-delay opcional. Añade tantos grupos como necesites: un grupo comodín * para todos los rastreadores más reglas específicas para bots individuales, y lista una o más directivas Sitemap al final.
Los ajustes preestablecidos rápidos cubren los puntos de partida comunes: permitir todo, bloquear todo, una configuración sensata para WordPress y una lista de bloqueo para bots comunes. Parte de un preset y luego ajusta las rutas a la estructura de tu sitio.
El archivo se genera localmente en tu navegador y nunca se sube. Copia el resultado o descarga robots.txt, y luego colócalo en la raíz de tu sitio para que los rastreadores lo encuentren en https://tu-sitio.com/robots.txt: esa ubicación exacta es la única que verifican los motores de búsqueda.
Cómo usar Generador de robots.txt
- Opcionalmente parte de un preset: Permitir todo, Bloquear todo, WordPress o Bloquear bots comunes.
- Edita el user-agent de cada grupo (por ejemplo * o Googlebot) y añade rutas Disallow y Allow.
- Establece un Crawl-delay opcional en segundos y añade más grupos para otros rastreadores si es necesario.
- Añade las URL de tus sitemaps para que los rastreadores puedan descubrirlas.
- Copia el resultado o descarga robots.txt, y súbelo a la raíz de tu sitio.