تولیدکننده robots.txt
یک robots.txt درست با قوانین اجازه/عدم اجازه، crawl-delay و دستورهای sitemap با استفاده از پیشتنظیمهای کاربردی بسازید. رایگان و در مرورگر شما اجرا میشود.
یک robots.txt تمیز را درست در مرورگر خود بسازید. چیزی بارگذاری نمیشود — همه چیز بهصورت محلی تولید میشود.
این فایل را در ریشه سایت خود قرار دهید تا در https://your-site.com/robots.txt قابل دسترسی باشد
درباره تولیدکننده robots.txt
این تولیدکننده robots.txt یک فایل robots.txt از نظر نحوی درست از گروههای user-agent میسازد که هرکدام مسیرهای Allow و Disallow خاص خود و یک Crawl-delay اختیاری دارند. هر تعداد گروه که لازم دارید اضافه کنید — یک گروه wildcard * برای همه خزندهها بههمراه قواعد خاص برای رباتهای مشخص — و یک یا چند دستورالعمل Sitemap در انتها فهرست کنید.
پیشتنظیمهای سریع نقاط شروع رایج را پوشش میدهند: اجازه به همه، مسدودکردن همه، پیکربندی مناسب برای WordPress، و فهرست مسدودی برای رباتهای رایج. از یک پیشتنظیم شروع کنید، سپس مسیرها را متناسب با ساختار سایت خود تنظیم کنید.
فایل بهصورت محلی در مرورگر شما تولید میشود و هرگز آپلود نمیشود. خروجی را کپی کنید یا robots.txt را دانلود کنید، سپس آن را در ریشه سایت خود قرار دهید تا خزندهها آن را در https://your-site.com/robots.txt پیدا کنند — آن آدرس دقیق تنها جایی است که موتورهای جستوجو بررسی میکنند.
نحوه استفاده از تولیدکننده robots.txt
- در صورت تمایل از یک پیشتنظیم شروع کنید: Allow all، Block all، WordPress یا Block common bots.
- user-agent هر گروه را ویرایش کنید (مثلاً * یا Googlebot) و مسیرهای Disallow و Allow اضافه کنید.
- در صورت نیاز یک Crawl-delay اختیاری بر حسب ثانیه تنظیم کنید و گروههای بیشتری برای خزندههای دیگر اضافه کنید.
- آدرسهای نقشه سایت خود را اضافه کنید تا خزندهها بتوانند آنها را پیدا کنند.
- نتیجه را کپی کنید یا robots.txt را دانلود کنید و آن را در ریشه سایت خود آپلود کنید.