מחולל robots.txt
בנו robots.txt תקין עם כללי allow/disallow, crawl-delay והנחיות sitemap בעזרת הגדרות נוחות. חינמי ורץ בדפדפן שלכם.
בנו robots.txt נקי ישירות בדפדפן שלכם. שום דבר לא מועלה — הכול נוצר מקומית.
מקמו את הקובץ הזה בשורש האתר שלכם כך שיהיה נגיש בכתובת https://your-site.com/robots.txt
אודות מחולל robots.txt
מחולל robots.txt זה בונה קובץ robots.txt תקין תחבירית מקבוצות user-agent, כל אחת עם נתיבי Allow ו-Disallow משלה ו-Crawl-delay אופציונלי. הוסיפו כמה קבוצות שתרצו — קבוצת תו כללי * לכל הרובוטים בתוספת כללים ספציפיים לרובוטים מסוימים — ורשמו הנחיה אחת או יותר של Sitemap בסוף.
תבניות מוכנות מהירות מכסות את נקודות ההתחלה הנפוצות: אפשר הכול, חסום הכול, תצורת WordPress הגיונית, ורשימת חסימה לרובוטים נפוצים. התחילו מתבנית ואז התאימו את הנתיבים למבנה האתר שלכם.
הקובץ נוצר מקומית בדפדפן שלכם ולעולם אינו מועלה. העתיקו את הפלט או הורידו את robots.txt, ואז מקמו אותו בשורש האתר שלכם כדי שרובוטים ימצאו אותו בכתובת https://your-site.com/robots.txt — המיקום המדויק הזה הוא היחיד שמנועי החיפוש בודקים.
כיצד להשתמש ב-מחולל robots.txt
- לבחירתכם, התחילו מתבנית: אפשר הכול, חסום הכול, WordPress, או חסום רובוטים נפוצים.
- ערכו את ה-user-agent עבור כל קבוצה (לדוגמה * או Googlebot) והוסיפו נתיבי Disallow ו-Allow.
- הגדירו Crawl-delay אופציונלי בשניות והוסיפו קבוצות נוספות עבור רובוטים אחרים לפי הצורך.
- הוסיפו את כתובות מפת האתר שלכם כדי שרובוטים יוכלו לגלות אותן.
- העתיקו את התוצאה או הורידו את robots.txt, והעלו אותו לשורש האתר שלכם.