robots.txt জেনারেটর
সহজ প্রিসেট ব্যবহার করে allow/disallow নিয়ম, crawl-delay এবং sitemap নির্দেশনাসহ একটি সঠিক robots.txt তৈরি করুন। বিনামূল্যে এবং আপনার ব্রাউজারে চলে।
সরাসরি আপনার ব্রাউজারে একটি পরিচ্ছন্ন robots.txt তৈরি করুন। কিছুই আপলোড করা হয় না — সব কিছু স্থানীয়ভাবে জেনারেট হয়।
এই ফাইলটি আপনার সাইট রুটে রাখুন যাতে এটি https://your-site.com/robots.txt-এ পৌঁছানো যায়
robots.txt জেনারেটর সম্পর্কে
এই robots.txt জেনারেটর user-agent গ্রুপ থেকে একটি সিনট্যাক্টিকভাবে সঠিক robots.txt ফাইল তৈরি করে, প্রতিটির নিজস্ব Allow ও Disallow পাথ এবং ঐচ্ছিক Crawl-delay সহ। প্রয়োজন অনুযায়ী যত খুশি গ্রুপ যোগ করুন — সব ক্রলারের জন্য একটি wildcard * গ্রুপ এবং নির্দিষ্ট বটের জন্য আলাদা নিয়ম — এবং শেষে এক বা একাধিক Sitemap নির্দেশনা তালিকাভুক্ত করুন।
দ্রুত প্রিসেটগুলো সাধারণ শুরুর পয়েন্টগুলো কভার করে: সব অনুমতি দিন, সব ব্লক করুন, একটি যুক্তিসঙ্গত WordPress কনফিগারেশন, এবং সাধারণ বটের জন্য একটি ব্লক-লিস্ট। একটি প্রিসেট থেকে শুরু করুন, তারপর আপনার সাইট গঠনের সাথে মিলিয়ে পাথ সামঞ্জস্য করুন।
ফাইলটি আপনার ব্রাউজারে স্থানীয়ভাবে তৈরি হয় এবং কখনও আপলোড হয় না। আউটপুট কপি করুন বা robots.txt ডাউনলোড করুন, তারপর আপনার সাইট রুটে রাখুন যাতে ক্রলাররা এটি https://your-site.com/robots.txt-এ খুঁজে পায় — সার্চ ইঞ্জিন কেবল সেই সঠিক অবস্থানটিই চেক করে।
robots.txt জেনারেটর কীভাবে ব্যবহার করবেন
- ঐচ্ছিকভাবে একটি প্রিসেট থেকে শুরু করুন: Allow all, Block all, WordPress, বা Block common bots।
- প্রতিটি গ্রুপের জন্য user-agent সম্পাদনা করুন (যেমন * বা Googlebot) এবং Disallow ও Allow পাথ যোগ করুন।
- সেকেন্ডে একটি ঐচ্ছিক Crawl-delay সেট করুন এবং প্রয়োজনে অন্য ক্রলারের জন্য আরও গ্রুপ যোগ করুন।
- আপনার সাইটম্যাপ URL যোগ করুন যাতে ক্রলাররা সেগুলো খুঁজে পায়।
- ফলাফল কপি করুন বা robots.txt ডাউনলোড করুন, এবং এটি আপনার সাইট রুটে আপলোড করুন।