robots.txt-generator
Bygg en korrekt robots.txt med allow/disallow-regler, crawl-delay och sitemap-direktiv med hjälp av smidiga förinställningar. Gratis och körs i din webbläsare.
1Snabbval
2User-agent-grupper
3Sitemaps
Placera den här filen i webbplatsens rot så att den nås på https://your-site.com/robots.txt
Bygg en ren robots.txt direkt i din webbläsare. Inget laddas upp: allt genereras lokalt.
Om robots.txt-generator
Denna robots.txt-generator bygger en syntaktiskt korrekt robots.txt-fil från user-agent-grupper, var och en med egna Allow- och Disallow-sökvägar och en valfri Crawl-delay. Lägg till så många grupper du behöver, en jokergrupp * för alla sökrobotar plus specifika regler för enskilda bottar, och lista en eller flera Sitemap-direktiv i slutet.
Snabba förinställningar täcker de vanligaste utgångspunkterna: tillåt allt, blockera allt, en förnuftig WordPress-konfiguration, och en blocklista för vanliga bottar. Börja med en förinställning och justera sedan sökvägarna efter din webbplatsstruktur.
Filen genereras lokalt i din webbläsare och laddas aldrig upp. Kopiera resultatet eller ladda ner robots.txt, och placera den sedan i din webbplats rot så att sökrobotar hittar den på https://din-webbplats.se/robots.txt: det exakta läget är det enda sökmotorer kontrollerar.
Så använder du robots.txt-generator
- Börja eventuellt med en förinställning: Tillåt allt, Blockera allt, WordPress, eller Blockera vanliga bottar.
- Redigera user-agent för varje grupp (till exempel * eller Googlebot) och lägg till Disallow- och Allow-sökvägar.
- Ställ in en valfri Crawl-delay i sekunder och lägg till fler grupper för andra sökrobotar vid behov.
- Lägg till dina sitemap-URL:er så att sökrobotar kan hitta dem.
- Kopiera resultatet eller ladda ner robots.txt, och ladda upp den till din webbplats rot.