Генератор robots.txt
Создайте корректный robots.txt с правилами allow/disallow, crawl-delay и директивами sitemap с помощью удобных пресетов. Бесплатно и работает в вашем браузере.
Создайте чистый robots.txt прямо в вашем браузере. Ничего не загружается — всё генерируется локально.
Конструктор
Быстрые пресеты
Группы user-agent
Карты сайта
robots.txt
Разместите этот файл в корне сайта, чтобы он был доступен по адресу https://your-site.com/robots.txt
Нужна помощь?
Возникла проблема с этим инструментом? Сообщите нам.