Trình tạo robots.txt
Tạo một robots.txt chuẩn với các quy tắc allow/disallow, crawl-delay và chỉ thị sitemap bằng các mẫu tiện lợi. Miễn phí và chạy trong trình duyệt của bạn.
Tạo một robots.txt gọn gàng ngay trong trình duyệt của bạn. Không có gì được tải lên — mọi thứ được tạo cục bộ.
Đặt tệp này ở thư mục gốc của trang để có thể truy cập tại https://your-site.com/robots.txt
Giới thiệu về Trình tạo robots.txt
Công cụ tạo robots.txt này xây dựng một tệp robots.txt đúng cú pháp từ các nhóm user-agent, mỗi nhóm có đường dẫn Allow và Disallow riêng cùng Crawl-delay tùy chọn. Thêm bao nhiêu nhóm tùy ý — một nhóm ký tự đại diện * cho mọi trình thu thập dữ liệu cộng thêm các quy tắc riêng cho từng bot — và liệt kê một hoặc nhiều chỉ thị Sitemap ở cuối.
Các mẫu có sẵn nhanh bao gồm những điểm khởi đầu phổ biến: cho phép tất cả, chặn tất cả, cấu hình WordPress hợp lý, và danh sách chặn cho các bot phổ biến. Bắt đầu từ một mẫu, sau đó điều chỉnh đường dẫn cho phù hợp với cấu trúc trang web của bạn.
Tệp được tạo cục bộ trong trình duyệt của bạn và không bao giờ được tải lên. Sao chép kết quả hoặc tải xuống robots.txt, sau đó đặt tại thư mục gốc trang web để trình thu thập dữ liệu tìm thấy nó tại https://your-site.com/robots.txt — đó là vị trí chính xác duy nhất mà công cụ tìm kiếm kiểm tra.
Cách sử dụng Trình tạo robots.txt
- Tùy chọn bắt đầu từ một mẫu: Allow all, Block all, WordPress, hoặc Block common bots.
- Chỉnh sửa user-agent cho mỗi nhóm (ví dụ * hoặc Googlebot) và thêm đường dẫn Disallow, Allow.
- Đặt Crawl-delay tùy chọn theo giây và thêm các nhóm khác cho các trình thu thập dữ liệu khác nếu cần.
- Thêm URL sitemap của bạn để trình thu thập dữ liệu có thể khám phá.
- Sao chép kết quả hoặc tải xuống robots.txt, và tải lên thư mục gốc trang web của bạn.