Генератор robots.txt
Побудуйте коректний robots.txt із правилами allow/disallow, crawl-delay і директивами sitemap за допомогою зручних пресетів. Безкоштовно й працює у вашому браузері.
Створіть чистий robots.txt просто у вашому браузері. Нічого не завантажується — усе генерується локально.
Розмістіть цей файл у корені сайту, щоб він був доступний за адресою https://your-site.com/robots.txt
Про Генератор robots.txt
Цей генератор robots.txt створює синтаксично коректний файл robots.txt із груп user-agent, кожна з яких має власні шляхи Allow і Disallow та необов'язкову затримку Crawl-delay. Додайте стільки груп, скільки потрібно — групу з підстановкою * для всіх сканерів плюс окремі правила для конкретних ботів — і перелічіть одну чи кілька директив Sitemap наприкінці.
Швидкі шаблони охоплюють поширені варіанти початку: дозволити все, заблокувати все, розумну конфігурацію для WordPress та список блокування поширених ботів. Почніть із шаблону, а потім скоригуйте шляхи відповідно до структури вашого сайту.
Файл генерується локально у вашому браузері й ніколи не завантажується. Скопіюйте результат або завантажте robots.txt, а потім розмістіть його в корені вашого сайту, щоб сканери знаходили його за адресою https://ваш-сайт.com/robots.txt — саме це точне розташування перевіряють пошукові системи.
Як використовувати Генератор robots.txt
- За бажанням почніть із шаблону: Дозволити все, Заблокувати все, WordPress або Заблокувати поширених ботів.
- Відредагуйте user-agent для кожної групи (наприклад * або Googlebot) і додайте шляхи Disallow та Allow.
- Задайте необов'язкову Crawl-delay у секундах і за потреби додайте більше груп для інших сканерів.
- Додайте URL-адреси ваших sitemap, щоб сканери могли їх виявити.
- Скопіюйте результат або завантажте robots.txt і завантажте його в корінь вашого сайту.