מחולל robots.txt
בנו robots.txt תקין עם כללי allow/disallow, crawl-delay והנחיות sitemap בעזרת הגדרות נוחות. חינמי ורץ בדפדפן שלכם.
1הגדרות מהירות
2קבוצות user-agent
3מפות אתר
מקמו את הקובץ הזה בשורש האתר שלכם כך שיהיה נגיש בכתובת https://your-site.com/robots.txt
בנו robots.txt נקי ישירות בדפדפן שלכם. שום דבר לא מועלה: הכול נוצר מקומית.
אודות מחולל robots.txt
מחולל robots.txt זה בונה קובץ robots.txt תקין תחבירית מקבוצות user-agent, כל אחת עם נתיבי Allow ו-Disallow משלה ו-Crawl-delay אופציונלי. הוסיפו כמה קבוצות שתרצו, קבוצת תו כללי * לכל הרובוטים בתוספת כללים ספציפיים לרובוטים מסוימים, ורשמו הנחיה אחת או יותר של Sitemap בסוף.
תבניות מוכנות מהירות מכסות את נקודות ההתחלה הנפוצות: אפשר הכול, חסום הכול, תצורת WordPress הגיונית, ורשימת חסימה לרובוטים נפוצים. התחילו מתבנית ואז התאימו את הנתיבים למבנה האתר שלכם.
הקובץ נוצר מקומית בדפדפן שלכם ולעולם אינו מועלה. העתיקו את הפלט או הורידו את robots.txt, ואז מקמו אותו בשורש האתר שלכם כדי שרובוטים ימצאו אותו בכתובת https://your-site.com/robots.txt: המיקום המדויק הזה הוא היחיד שמנועי החיפוש בודקים.
כיצד להשתמש ב-מחולל robots.txt
- לבחירתכם, התחילו מתבנית: אפשר הכול, חסום הכול, WordPress, או חסום רובוטים נפוצים.
- ערכו את ה-user-agent עבור כל קבוצה (לדוגמה * או Googlebot) והוסיפו נתיבי Disallow ו-Allow.
- הגדירו Crawl-delay אופציונלי בשניות והוסיפו קבוצות נוספות עבור רובוטים אחרים לפי הצורך.
- הוסיפו את כתובות מפת האתר שלכם כדי שרובוטים יוכלו לגלות אותן.
- העתיקו את התוצאה או הורידו את robots.txt, והעלו אותו לשורש האתר שלכם.