เครื่องสร้าง robots.txt
สร้าง robots.txt ที่ถูกต้องด้วยกฎ allow/disallow crawl-delay และคำสั่ง sitemap โดยใช้ค่าตั้งไว้ล่วงหน้าที่สะดวก ฟรีและทำงานในเบราว์เซอร์ของคุณ
สร้าง robots.txt ที่เรียบร้อยได้ในเบราว์เซอร์ของคุณ ไม่มีการอัปโหลดใด ๆ — ทุกอย่างถูกสร้างในเครื่อง
วางไฟล์นี้ที่รูทของเว็บไซต์เพื่อให้เข้าถึงได้ที่ https://your-site.com/robots.txt
เกี่ยวกับ เครื่องสร้าง robots.txt
เครื่องมือสร้าง robots.txt นี้สร้างไฟล์ robots.txt ที่ถูกต้องตามไวยากรณ์จากกลุ่ม user-agent แต่ละกลุ่มมี path Allow และ Disallow ของตัวเอง พร้อม Crawl-delay ที่เป็นตัวเลือกเสริม เพิ่มกลุ่มได้มากเท่าที่ต้องการ ทั้งกลุ่มไวด์การ์ด * สำหรับครอว์เลอร์ทั้งหมด และกฎเฉพาะสำหรับบอตแต่ละตัว และระบุ Sitemap directive หนึ่งรายการขึ้นไปในตอนท้าย
พรีเซ็ตด่วนครอบคลุมจุดเริ่มต้นทั่วไป: อนุญาตทั้งหมด บล็อกทั้งหมด การตั้งค่า WordPress ที่เหมาะสม และรายการบล็อกบอตทั่วไป เริ่มจากพรีเซ็ตแล้วปรับ path ให้ตรงกับโครงสร้างเว็บไซต์ของคุณ
ไฟล์นี้ถูกสร้างขึ้นในเบราว์เซอร์ของคุณและไม่มีการอัปโหลดเลย คัดลอกผลลัพธ์หรือดาวน์โหลด robots.txt แล้ววางไว้ที่รูทของเว็บไซต์ เพื่อให้ครอว์เลอร์พบไฟล์ที่ https://your-site.com/robots.txt ซึ่งเป็นตำแหน่งเดียวที่เสิร์ชเอนจินตรวจสอบ
วิธีใช้ เครื่องสร้าง robots.txt
- เริ่มต้นจากพรีเซ็ตได้ตามต้องการ: Allow all, Block all, WordPress หรือ Block common bots
- แก้ไข user-agent สำหรับแต่ละกลุ่ม (เช่น * หรือ Googlebot) และเพิ่ม path Disallow และ Allow
- ตั้งค่า Crawl-delay เป็นวินาทีตามต้องการ และเพิ่มกลุ่มอื่น ๆ สำหรับครอว์เลอร์รายอื่นหากจำเป็น
- เพิ่ม URL ของ sitemap เพื่อให้ครอว์เลอร์ค้นพบได้
- คัดลอกผลลัพธ์หรือดาวน์โหลด robots.txt แล้วอัปโหลดไปยังรูทของเว็บไซต์