robots.txt 產生器
使用便捷的預設，建立附 allow/disallow 規則、crawl-delay 和 sitemap 指令的正確 robots.txt。免費，在您的瀏覽器中執行。
直接在您的瀏覽器中建立一個整潔的 robots.txt。不會上傳任何內容——所有內容均在本機產生。
建構器
快捷預設
User-agent 群組
網站地圖
robots.txt
請將此檔案放在網站根目錄，以便可透過 https://your-site.com/robots.txt 存取
關於 robots.txt 產生器
這個 robots.txt 產生器可依 user-agent 群組建立語法正確的 robots.txt 檔案，每個群組都有各自的 Allow 與 Disallow 路徑，以及選填的 Crawl-delay。你可以新增任意數量的群組——例如針對所有爬蟲的萬用字元 * 群組，加上針對特定機器人的規則——並在最後列出一或多筆 Sitemap 指令。
快速預設集涵蓋常見的起始情境：全部允許、全部封鎖、合理的 WordPress 設定，以及常見機器人封鎖清單。從預設集開始，再依你的網站結構調整路徑即可。
檔案完全在你的瀏覽器中本機產生，絕不會上傳。複製輸出內容或下載 robots.txt，然後將它放到網站根目錄，讓爬蟲能在 https://your-site.com/robots.txt 找到它——這是搜尋引擎唯一會檢查的確切位置。
如何使用 robots.txt 產生器
- 可選擇從預設集開始：全部允許、全部封鎖、WordPress，或封鎖常見機器人。
- 編輯每個群組的 user-agent（例如 * 或 Googlebot），並加入 Disallow 與 Allow 路徑。
- 視需要設定以秒為單位的 Crawl-delay，並為其他爬蟲新增更多群組。
- 加入你的網站地圖網址，方便爬蟲發現它們。
- 複製結果或下載 robots.txt，並上傳到網站根目錄。
常見問題
必須放在主機的根目錄，例如 https://example.com/robots.txt。爬蟲只會請求這個路徑——放在子目錄中的 robots.txt 會被忽略。
Disallow 會阻擋該 user-agent 群組爬取符合的路徑；Allow 則可在被封鎖的區域中重新允許某個子路徑，例如在封鎖 /admin/ 的同時允許 /admin/help/。
不一定可靠。它只會阻止爬取，但已知的網址仍可能出現在結果中，只是沒有摘要。若要將頁面排除在索引之外，應使用 noindex robots meta 標籤，並讓該頁面仍可被爬取。
不會。有些爬蟲會遵守，但 Googlebot 會忽略這項指令——Google 的爬取速率是透過 Search Console 管理的。不過對其他機器人來說，這項設定仍然有用。
它是免費的，檔案完全在你的瀏覽器中產生——你輸入的規則絕不會傳送到伺服器。
需要協助？
使用此工具時遇到問題？請告訴我們的團隊。