Generator robots.txt
Buat robots.txt yang benar dengan aturan allow/disallow, crawl-delay, dan direktif sitemap menggunakan preset praktis. Gratis dan berjalan di browser Anda.
Buat robots.txt yang bersih langsung di browser Anda. Tidak ada yang diunggah — semuanya dihasilkan secara lokal.
Letakkan file ini di root situs Anda agar dapat diakses di https://your-site.com/robots.txt
Tentang Generator robots.txt
Generator robots.txt ini membuat file robots.txt yang secara sintaksis benar dari grup user-agent, masing-masing dengan path Allow dan Disallow sendiri serta Crawl-delay opsional. Tambahkan sebanyak yang Anda butuhkan — grup wildcard * untuk semua crawler plus aturan khusus untuk bot tertentu — dan cantumkan satu atau beberapa directive Sitemap di akhir.
Preset cepat mencakup titik awal yang umum: izinkan semua, blokir semua, konfigurasi WordPress yang wajar, dan daftar blokir untuk bot umum. Mulai dari preset, lalu sesuaikan path agar cocok dengan struktur situs Anda.
File dibuat secara lokal di browser Anda dan tidak pernah diunggah. Salin hasilnya atau unduh robots.txt, lalu letakkan di root situs Anda agar crawler menemukannya di https://situs-anda.com/robots.txt — lokasi itulah satu-satunya yang diperiksa mesin pencari.
Cara menggunakan Generator robots.txt
- Mulai dari preset jika diinginkan: Allow all, Block all, WordPress, atau Block common bots.
- Edit user-agent untuk setiap grup (misalnya * atau Googlebot) dan tambahkan path Disallow serta Allow.
- Atur Crawl-delay opsional dalam detik dan tambahkan grup lain untuk crawler lain jika diperlukan.
- Tambahkan URL sitemap Anda agar crawler bisa menemukannya.
- Salin hasilnya atau unduh robots.txt, lalu unggah ke root situs Anda.