robots.txt ジェネレーター
便利なプリセットを使い、allow/disallow ルール、crawl-delay、sitemap ディレクティブ付きの正しい robots.txt を作成。無料でブラウザ内で動作します。
ブラウザ内で整った robots.txt を作成します。何もアップロードされず、すべてローカルで生成されます。
ビルダー
クイックプリセット
User-agent グループ
サイトマップ
robots.txt
このファイルをサイトのルートに置き、https://your-site.com/robots.txt でアクセスできるようにしてください
robots.txt ジェネレーターについて
このrobots.txtジェネレーターは、ユーザーエージェントグループごとにAllowとDisallowのパス、任意のCrawl-delayを設定して、構文的に正しいrobots.txtファイルを作成します。必要な数だけグループを追加できます。すべてのクローラー向けのワイルドカード*グループに加え、個別のボット向けの特定のルールを追加し、末尾に1つ以上のSitemapディレクティブを記載できます。
クイックプリセットが一般的な出発点をカバーします：すべて許可、すべてブロック、標準的なWordPress設定、よくあるボットのブロックリストです。プリセットから始め、パスをサイト構造に合わせて調整してください。
ファイルはブラウザ内でローカルに生成され、アップロードされることはありません。出力をコピーするかrobots.txtをダウンロードし、サイトのルートに配置してください。https://your-site.com/robots.txt でクローラーが見つけられるようにするためです。この正確な場所だけを検索エンジンはチェックします。
robots.txt ジェネレーターの使い方
- 必要であればプリセット（すべて許可、すべてブロック、WordPress、よくあるボットをブロック）から始めます。
- 各グループのユーザーエージェント（例えば * や Googlebot）を編集し、DisallowとAllowのパスを追加します。
- 必要に応じてCrawl-delayを秒単位で設定し、他のクローラー向けにグループを追加します。
- クローラーが見つけられるよう、サイトマップのURLを追加します。
- 結果をコピーするかrobots.txtをダウンロードし、サイトのルートにアップロードします。
よくある質問
ホストのルート、例えば https://example.com/robots.txt です。クローラーはそのパスしかリクエストしないため、サブディレクトリにあるrobots.txtは無視されます。
Disallowはそのユーザーエージェントグループに対して、一致するパスのクロールをブロックします。Allowは、ブロックされた領域内のサブパスを再度許可するもので、例えば無効化された /admin/ の中で /admin/help/ を許可する場合に使います。
確実ではありません。クロールは止まりますが、既に知られているURLはスニペットなしで表示され続けることがあります。ページをインデックスから外したい場合は、noindexのrobotsメタタグを使い、クロールはさせるようにしてください。
いいえ。一部のクローラーは尊重しますが、Googlebotはこのディレクティブを無視します。Google向けのクロール速度はSearch Consoleで管理します。他のボットには依然として有用です。
無料です。ファイルはブラウザ内で完全に構築され、入力したルールがサーバーに送信されることはありません。
お困りですか？
このツールで問題が見つかりましたか？チームにお知らせください。