Générateur robots.txt
Créez un robots.txt correct avec des règles allow/disallow, crawl-delay et des directives sitemap grâce à des préréglages pratiques. Gratuit et fonctionne dans votre navigateur.
Créez un robots.txt propre directement dans votre navigateur. Rien n'est téléversé — tout est généré localement.
Placez ce fichier à la racine de votre site afin qu'il soit accessible à https://votre-site.com/robots.txt
À propos de Générateur robots.txt
Ce générateur de robots.txt construit un fichier robots.txt syntaxiquement correct à partir de groupes user-agent, chacun avec ses propres chemins Allow et Disallow et un Crawl-delay optionnel. Ajoutez autant de groupes que nécessaire — un groupe générique * pour tous les robots plus des règles spécifiques pour certains bots — et listez une ou plusieurs directives Sitemap à la fin.
Des préréglages rapides couvrent les points de départ courants : tout autoriser, tout bloquer, une configuration WordPress sensée, et une liste de blocage pour les bots courants. Partez d'un préréglage, puis ajustez les chemins pour correspondre à la structure de votre site.
Le fichier est généré localement dans votre navigateur et jamais téléversé. Copiez le résultat ou téléchargez robots.txt, puis placez-le à la racine de votre site pour que les robots le trouvent à https://votre-site.com/robots.txt — cet emplacement exact est le seul que les moteurs de recherche vérifient.
Comment utiliser Générateur robots.txt
- Partez éventuellement d'un préréglage : Tout autoriser, Tout bloquer, WordPress, ou Bloquer les bots courants.
- Modifiez le user-agent de chaque groupe (par exemple * ou Googlebot) et ajoutez des chemins Disallow et Allow.
- Définissez un Crawl-delay optionnel en secondes et ajoutez d'autres groupes pour d'autres robots si nécessaire.
- Ajoutez les URL de vos sitemaps pour que les robots puissent les découvrir.
- Copiez le résultat ou téléchargez robots.txt, et téléversez-le à la racine de votre site.