robots.txt作成・クロールルール確認
robots.txtを作成し、クロール許可・禁止ルールをURLごとに簡易シミュレーションできます。
入力・設定
パスは / で始めます。*(任意の文字列)と$(末尾)の簡易判定に対応します。空欄ならその種類のルールは出力しません。
プレビュー・出力
robots.txtを作成してクロールルールを確認
robots.txt作成・クロールルール確認ツールは、検索エンジンのクローラーに対してサイト内のどのパスのクロールを許可・制限するかを記述するrobots.txtのひな形を作成する無料ツールです。User-agent、Disallow、Allow、Sitemapの各項目を設定し、生成したテキストをコピーまたはファイル保存できます。
作成したルールをもとに、指定したURLやパスのクロール可否を画面内で簡易的に試算できます。実際のサイトへアクセスして既存のrobots.txtを取得・検査する機能ではありません。
使い方:入力からrobots.txt保存まで
- User-agentを選択:全クローラー向けの「*」、Googlebot、Bingbotからルールの対象を選びます。
- Disallowを入力:クロールを制限したいパスを1行に1件ずつ記載します。例:
/private/。 - Allowを入力:禁止パス内でも例外的に許可したいパスがあれば追加します。例:
/private/public/。 - Sitemap URLを設定:必要に応じて、
https://example.com/sitemap.xmlのような完全なURLを入力します。 - 判定を確認:調べたいページのURLまたは
/から始まるパスとクローラーを選び、判定と一致ルールを確認します。 - 出力を利用:生成したrobots.txtをコピーするか、
robots.txtとして保存します。
入力例:一部のフォルダを禁止し、公開用パスを許可
例えば、/private/以下を禁止しつつ、/private/public/以下だけを許可したい場合は、次のようなルールを作れます。
User-agent: *
Disallow: /private/
Allow: /private/public/
Sitemap: https://example.com/sitemap.xml
この設定では、/private/memo.htmlは「クロール禁止」、/private/public/guide.htmlは「クロール許可」と試算されます。実際の判定には検索エンジン側の解釈や、ほかのUser-agentグループなども影響します。
判定結果の見方とルールの考え方
Disallowはクロールしないよう伝える指定、Allowは特定パスのクロールを認める指定です。一般に一致するルールの具体性が優先され、条件によってはAllowが優先されます。本ツールは入力された1つのUser-agentグループを対象に、パスの一致状況を簡易試算します。
パターン中の*は任意の文字列、末尾の$はパスの終わりを表す形として扱います。各Allow・Disallowは最大80件まで入力できます。生成コードに警告が出たときは、パスの先頭の/やSitemap URLを見直してください。
公開前に確認したい注意点
- robots.txtはnoindexや認証の代わりになりません。検索結果に表示させたくないページの管理や機密情報の保護は、別の適切な方法が必要です。
- robots.txtは通常、サイトのルートに配置します。WordPressではSEOプラグインやサーバー設定が既存のrobots.txtを生成している場合があるため、重複・上書きを確認してください。
- 重要なCSS・JavaScriptや公開ページを誤ってDisallowすると、クロールやページ理解に悪影響が生じる可能性があります。
- 本ツールの結果はローカル入力に基づく参考判定です。実際の反映はSearch Console等で確認してください。
よくある質問(FAQ)
Q. robots.txtでページをGoogleの検索結果から消せますか?
いいえ。robots.txtは主にクロール制御のためのもので、検索結果からの除外を確実に指示するものではありません。検索への掲載を避けたい場合は、適切なnoindex設定などを検討してください。
Q. WordPressでもこのツールで作成できますか?
作成できます。ただしWordPressやSEOプラグインが生成するrobots.txtと重複しないよう、運用中の設定を確認してから反映してください。
Q. AllowとDisallowの両方に一致したらどうなりますか?
ルールの具体性などに基づいて評価されます。本ツールは一致したルールを示す簡易シミュレーターなので、複雑なグループ定義については実際のクローラー仕様に照らして確認してください。
Q. サイトのURLを入力すると実際のrobots.txtが読み込まれますか?
いいえ。入力欄のルールだけを使って判定し、外部サイトのrobots.txtは取得しません。
Q. Sitemapの設定は必須ですか?
必須ではありません。サイトマップがある場合にURLを指定でき、空欄ならSitemap行は出力されません。