robots.txt-generator
Bouw een correcte robots.txt met allow/disallow-regels, crawl-delay en sitemap-directieven met handige presets. Gratis en draait in je browser.
Bouw een schone robots.txt rechtstreeks in je browser. Niets wordt geüpload — alles wordt lokaal gegenereerd.
Plaats dit bestand in de root van je site zodat het bereikbaar is op https://your-site.com/robots.txt
Over robots.txt-generator
Deze robots.txt-generator bouwt een syntactisch correct robots.txt-bestand op basis van user-agentgroepen, elk met eigen Allow- en Disallow-paden en een optionele Crawl-delay. Voeg zoveel groepen toe als nodig — een wildcard-*-groep voor alle crawlers plus specifieke regels voor individuele bots — en vermeld één of meer Sitemap-richtlijnen aan het einde.
Snelle presets dekken de gangbare startpunten: alles toestaan, alles blokkeren, een verstandige WordPress-configuratie, en een blokkeerlijst voor veelvoorkomende bots. Begin met een preset en pas vervolgens de paden aan je sitestructuur aan.
Het bestand wordt lokaal in je browser gegenereerd en nooit geüpload. Kopieer de uitvoer of download robots.txt, en plaats het in de root van je site zodat crawlers het vinden op https://jouw-site.com/robots.txt — die exacte locatie is de enige die zoekmachines controleren.
Hoe gebruik je robots.txt-generator
- Start eventueel met een preset: Alles toestaan, Alles blokkeren, WordPress, of Veelvoorkomende bots blokkeren.
- Bewerk de user-agent voor elke groep (bijvoorbeeld * of Googlebot) en voeg Disallow- en Allow-paden toe.
- Stel eventueel een Crawl-delay in seconden in en voeg indien nodig meer groepen toe voor andere crawlers.
- Voeg je sitemap-URL's toe zodat crawlers ze kunnen ontdekken.
- Kopieer het resultaat of download robots.txt, en upload het naar de root van je site.