Generator robots.txt
Zbuduj poprawny plik robots.txt z regułami allow/disallow, crawl-delay i dyrektywami sitemap za pomocą wygodnych ustawień. Za darmo i działa w Twojej przeglądarce.
Zbuduj czysty plik robots.txt bezpośrednio w przeglądarce. Nic nie jest przesyłane — wszystko generowane jest lokalnie.
Umieść ten plik w katalogu głównym witryny, aby był dostępny pod adresem https://your-site.com/robots.txt
O Generator robots.txt
Ten generator robots.txt tworzy poprawny składniowo plik robots.txt na podstawie grup user-agent, z których każda ma własne ścieżki Allow i Disallow oraz opcjonalne Crawl-delay. Dodaj tyle grup, ile potrzebujesz — grupę wieloznaczną * dla wszystkich robotów oraz konkretne reguły dla poszczególnych botów — i wypisz jedną lub więcej dyrektyw Sitemap na końcu.
Szybkie ustawienia predefiniowane obejmują typowe punkty wyjścia: zezwól na wszystko, zablokuj wszystko, rozsądną konfigurację dla WordPressa oraz listę blokującą typowe boty. Zacznij od ustawienia predefiniowanego, a następnie dostosuj ścieżki do struktury swojej witryny.
Plik jest generowany lokalnie w Twojej przeglądarce i nigdy nie jest przesyłany. Skopiuj wynik lub pobierz robots.txt, a następnie umieść go w katalogu głównym witryny, aby roboty znalazły go pod adresem https://twoja-strona.com/robots.txt — to dokładnie ta lokalizacja jest jedyną, którą sprawdzają wyszukiwarki.
Jak korzystać z Generator robots.txt
- Opcjonalnie zacznij od ustawienia predefiniowanego: Zezwól na wszystko, Zablokuj wszystko, WordPress lub Zablokuj typowe boty.
- Edytuj user-agent dla każdej grupy (na przykład * lub Googlebot) i dodaj ścieżki Disallow i Allow.
- Ustaw opcjonalne Crawl-delay w sekundach i dodaj kolejne grupy dla innych robotów, jeśli to potrzebne.
- Dodaj adresy URL swoich map witryny, aby roboty mogły je odkryć.
- Skopiuj wynik lub pobierz robots.txt i wgraj go do katalogu głównego swojej witryny.