Генератор robots.txt
Создайте корректный robots.txt с правилами allow/disallow, crawl-delay и директивами sitemap с помощью удобных пресетов. Бесплатно и работает в вашем браузере.
1Быстрые пресеты
2Группы user-agent
3Карты сайта
Разместите этот файл в корне сайта, чтобы он был доступен по адресу https://your-site.com/robots.txt
Создайте чистый robots.txt прямо в вашем браузере. Ничего не загружается: всё генерируется локально.
О Генератор robots.txt
Этот генератор robots.txt создаёт синтаксически корректный файл robots.txt из групп user-agent, каждая со своими путями Allow и Disallow и необязательным Crawl-delay. Добавьте столько групп, сколько нужно, группу с подстановочным знаком * для всех краулеров плюс отдельные правила для конкретных ботов, и укажите одну или несколько директив Sitemap в конце.
Быстрые готовые шаблоны покрывают распространённые отправные точки: разрешить всё, заблокировать всё, разумную конфигурацию для WordPress и список блокировки распространённых ботов. Начните с шаблона, затем скорректируйте пути под структуру вашего сайта.
Файл создаётся локально в вашем браузере и никогда не загружается на сервер. Скопируйте результат или скачайте robots.txt, затем разместите его в корне сайта, чтобы краулеры находили его по адресу https://your-site.com/robots.txt: это единственное место, которое проверяют поисковые системы.
Как использовать Генератор robots.txt
- При желании начните с готового шаблона: Allow all, Block all, WordPress или Block common bots.
- Отредактируйте user-agent для каждой группы (например, * или Googlebot) и добавьте пути Disallow и Allow.
- Задайте необязательный Crawl-delay в секундах и при необходимости добавьте ещё группы для других краулеров.
- Добавьте URL-адреса своих карт сайта, чтобы краулеры могли их найти.
- Скопируйте результат или скачайте robots.txt и загрузите его в корень своего сайта.