robots.txt-generator
Bygg en korrekt robots.txt med allow/disallow-regler, crawl-delay och sitemap-direktiv med hjälp av smidiga förinställningar. Gratis och körs i din webbläsare.
Bygg en ren robots.txt direkt i din webbläsare. Inget laddas upp — allt genereras lokalt.
Placera den här filen i webbplatsens rot så att den nås på https://your-site.com/robots.txt
Om robots.txt-generator
Denna robots.txt-generator bygger en syntaktiskt korrekt robots.txt-fil från user-agent-grupper, var och en med egna Allow- och Disallow-sökvägar och en valfri Crawl-delay. Lägg till så många grupper du behöver — en jokergrupp * för alla sökrobotar plus specifika regler för enskilda bottar — och lista en eller flera Sitemap-direktiv i slutet.
Snabba förinställningar täcker de vanligaste utgångspunkterna: tillåt allt, blockera allt, en förnuftig WordPress-konfiguration, och en blocklista för vanliga bottar. Börja med en förinställning och justera sedan sökvägarna efter din webbplatsstruktur.
Filen genereras lokalt i din webbläsare och laddas aldrig upp. Kopiera resultatet eller ladda ner robots.txt, och placera den sedan i din webbplats rot så att sökrobotar hittar den på https://din-webbplats.se/robots.txt — det exakta läget är det enda sökmotorer kontrollerar.
Så använder du robots.txt-generator
- Börja eventuellt med en förinställning: Tillåt allt, Blockera allt, WordPress, eller Blockera vanliga bottar.
- Redigera user-agent för varje grupp (till exempel * eller Googlebot) och lägg till Disallow- och Allow-sökvägar.
- Ställ in en valfri Crawl-delay i sekunder och lägg till fler grupper för andra sökrobotar vid behov.
- Lägg till dina sitemap-URL:er så att sökrobotar kan hitta dem.
- Kopiera resultatet eller ladda ner robots.txt, och ladda upp den till din webbplats rot.