Generator robots.txt
Construiește un robots.txt corect cu reguli allow/disallow, crawl-delay și directive de sitemap folosind presetări utile. Gratuit și rulează în browserul tău.
Construiește un robots.txt curat chiar în browserul tău. Nimic nu este încărcat — totul este generat local.
Pune acest fișier în rădăcina site-ului tău, ca să fie accesibil la https://your-site.com/robots.txt
Despre Generator robots.txt
Acest generator robots.txt construiește un fișier robots.txt corect din punct de vedere sintactic din grupuri de agenți utilizator, fiecare cu propriile căi Allow și Disallow și un Crawl-delay opțional. Adaugă câte grupuri ai nevoie — un grup wildcard * pentru toți roboții plus reguli specifice pentru roboți individuali — și listează una sau mai multe directive Sitemap la final.
Presetările rapide acoperă punctele de pornire comune: permite totul, blochează totul, o configurație WordPress adecvată și o listă de blocare pentru roboții comuni. Pornește de la o presetare, apoi ajustează căile pentru a se potrivi structurii site-ului tău.
Fișierul este generat local în browserul tău și nu este niciodată încărcat. Copiază rezultatul sau descarcă robots.txt, apoi plasează-l la rădăcina site-ului tău pentru ca roboții să îl găsească la https://site-ul-tau.com/robots.txt — acea locație exactă este singura pe care o verifică motoarele de căutare.
Cum să utilizați Generator robots.txt
- Opțional, pornește de la o presetare: Permite tot, Blochează tot, WordPress sau Blochează roboții comuni.
- Editează agentul utilizator pentru fiecare grup (de exemplu * sau Googlebot) și adaugă căi Disallow și Allow.
- Setează un Crawl-delay opțional în secunde și adaugă mai multe grupuri pentru alți roboți dacă este nevoie.
- Adaugă URL-urile sitemap-ului tău pentru ca roboții să le poată descoperi.
- Copiază rezultatul sau descarcă robots.txt și încarcă-l la rădăcina site-ului tău.