تولیدکننده robots.txt
یک robots.txt درست با قوانین اجازه/عدم اجازه، crawl-delay و دستورهای sitemap با استفاده از پیشتنظیمهای کاربردی بسازید. رایگان و در مرورگر شما اجرا میشود.
یک robots.txt تمیز را درست در مرورگر خود بسازید. چیزی بارگذاری نمیشود — همه چیز بهصورت محلی تولید میشود.
سازنده
پیشتنظیمهای سریع
گروههای User-agent
نقشههای سایت
robots.txt
این فایل را در ریشه سایت خود قرار دهید تا در https://your-site.com/robots.txt قابل دسترسی باشد
به کمک نیاز دارید؟
با این ابزار مشکلی پیدا کردید؟ به تیم ما اطلاع دهید.