robots.txt जेनरेटर
आसान प्रीसेट का उपयोग करके allow/disallow नियमों, crawl-delay और sitemap निर्देशों के साथ सही robots.txt बनाएँ। मुफ़्त और आपके ब्राउज़र में चलता है।
1क्विक प्रीसेट
2User-agent समूह
3साइटमैप
इस फ़ाइल को अपनी साइट रूट पर रखें ताकि यह https://your-site.com/robots.txt पर पहुँच योग्य हो
सीधे आपके ब्राउज़र में एक साफ-सुथरी robots.txt बनाएँ। कुछ भी अपलोड नहीं किया जाता: सब कुछ स्थानीय रूप से जेनरेट होता है।
robots.txt जेनरेटर के बारे में
यह robots.txt जेनरेटर user-agent समूहों से एक सिंटैक्टिक रूप से सही robots.txt फाइल बनाता है, हर समूह का अपना Allow और Disallow पथ और वैकल्पिक Crawl-delay होता है। जितने चाहें उतने समूह जोड़ें, सभी क्रॉलर के लिए एक वाइल्डकार्ड * समूह और अलग-अलग बॉट के लिए खास नियम, और आखिर में एक या ज़्यादा Sitemap डायरेक्टिव लिस्ट करें।
क्विक प्रीसेट सामान्य शुरुआती बिंदुओं को कवर करते हैं: सब कुछ allow करना, सब कुछ block करना, एक उपयुक्त WordPress कॉन्फ़िगरेशन, और सामान्य बॉट के लिए एक block-list। किसी प्रीसेट से शुरू करें, फिर अपनी साइट संरचना के अनुसार पथ एडजस्ट करें।
फाइल आपके ब्राउज़र में स्थानीय रूप से बनती है और कभी अपलोड नहीं होती। आउटपुट कॉपी करें या robots.txt डाउनलोड करें, फिर इसे अपनी साइट के रूट में रखें ताकि क्रॉलर इसे https://your-site.com/robots.txt पर पा सकें: यह वही एकमात्र स्थान है जिसे सर्च इंजन जांचते हैं।
robots.txt जेनरेटर का उपयोग कैसे करें
- चाहें तो एक प्रीसेट से शुरू करें: Allow all, Block all, WordPress, या Block common bots।
- हर समूह के लिए user-agent एडिट करें (उदाहरण के लिए * या Googlebot) और Disallow व Allow पथ जोड़ें।
- सेकंड में एक वैकल्पिक Crawl-delay सेट करें और ज़रूरत पड़ने पर अन्य क्रॉलर के लिए और समूह जोड़ें।
- अपने साइटमैप URL जोड़ें ताकि क्रॉलर उन्हें खोज सकें।
- रिजल्ट कॉपी करें या robots.txt डाउनलोड करें, और इसे अपनी साइट के रूट में अपलोड करें।