Penjana robots.txt
Bina robots.txt yang betul dengan peraturan allow/disallow, crawl-delay, dan arahan sitemap menggunakan praset berguna. Percuma dan berjalan dalam pelayar anda.
Bina robots.txt yang kemas terus dalam pelayar anda. Tiada apa-apa dimuat naik — semuanya dijana secara setempat.
Letakkan fail ini di root laman anda supaya ia boleh dicapai di https://your-site.com/robots.txt
Mengenai Penjana robots.txt
Penjana robots.txt ini membina fail robots.txt yang betul dari segi sintaks daripada kumpulan user-agent, setiap satu dengan laluan Allow dan Disallow tersendiri serta Crawl-delay pilihan. Tambah seberapa banyak kumpulan yang diperlukan — kumpulan kad bebas * untuk semua perayap ditambah peraturan khusus untuk bot tertentu — dan senaraikan satu atau lebih arahan Sitemap di penghujung.
Pratetap pantas merangkumi titik permulaan biasa: benarkan semua, sekat semua, konfigurasi WordPress yang munasabah, dan senarai sekat untuk bot biasa. Mula daripada pratetap, kemudian laraskan laluan agar sepadan dengan struktur laman anda.
Fail ini dijana secara tempatan dalam pelayar anda dan tidak sesekali dimuat naik. Salin output atau muat turun robots.txt, kemudian letakkan di root laman anda supaya perayap menemuinya di https://laman-anda.com/robots.txt — lokasi tepat itu satu-satunya yang disemak oleh enjin carian.
Cara menggunakan Penjana robots.txt
- Secara pilihan, mulakan daripada pratetap: Allow all, Block all, WordPress, atau Block common bots.
- Sunting user-agent untuk setiap kumpulan (contohnya * atau Googlebot) dan tambah laluan Disallow serta Allow.
- Tetapkan Crawl-delay pilihan dalam saat dan tambah lebih banyak kumpulan untuk perayap lain jika perlu.
- Tambah URL peta laman (sitemap) anda supaya perayap dapat menemuinya.
- Salin hasilnya atau muat turun robots.txt, dan muat naik ke root laman anda.