FREE TOOL

robots.txt作成・クロールルール確認|Allow・Disallow・Sitemap

User-agent、Allow、Disallow、Sitemapを設定し、robots.txtを無料で生成。入力したURLパスのクロール許可・禁止を簡易シミュレーションして保存できます。

WEB LAB / SEO / CRAWLER

robots.txt作成・クロールルール確認

robots.txtを作成し、クロール許可・禁止ルールをURLごとに簡易シミュレーションできます。

LOCAL TOOLブラウザ内処理 / 登録不要
01 / SETTINGS

入力・設定

パスは / で始めます。*(任意の文字列)と$(末尾)の簡易判定に対応します。空欄ならその種類のルールは出力しません。

02 / PREVIEW & OUTPUT

プレビュー・出力

—

URLの判定は入力したルールのみを使う簡易シミュレーションです。実サイトのrobots.txtを取得しません。robots.txtは検索結果からの除外(noindex)を指定するものではありません。

robots.txtを作成してクロールルールを確認

robots.txt作成・クロールルール確認ツールは、検索エンジンのクローラーに対してサイト内のどのパスのクロールを許可・制限するかを記述するrobots.txtのひな形を作成する無料ツールです。User-agent、Disallow、Allow、Sitemapの各項目を設定し、生成したテキストをコピーまたはファイル保存できます。

作成したルールをもとに、指定したURLやパスのクロール可否を画面内で簡易的に試算できます。実際のサイトへアクセスして既存のrobots.txtを取得・検査する機能ではありません。

使い方:入力からrobots.txt保存まで

  1. User-agentを選択:全クローラー向けの「*」、Googlebot、Bingbotからルールの対象を選びます。
  2. Disallowを入力:クロールを制限したいパスを1行に1件ずつ記載します。例:/private/。
  3. Allowを入力:禁止パス内でも例外的に許可したいパスがあれば追加します。例:/private/public/。
  4. Sitemap URLを設定:必要に応じて、https://example.com/sitemap.xmlのような完全なURLを入力します。
  5. 判定を確認:調べたいページのURLまたは/から始まるパスとクローラーを選び、判定と一致ルールを確認します。
  6. 出力を利用:生成したrobots.txtをコピーするか、robots.txtとして保存します。

入力例:一部のフォルダを禁止し、公開用パスを許可

例えば、/private/以下を禁止しつつ、/private/public/以下だけを許可したい場合は、次のようなルールを作れます。

User-agent: *
Disallow: /private/
Allow: /private/public/

Sitemap: https://example.com/sitemap.xml

この設定では、/private/memo.htmlは「クロール禁止」、/private/public/guide.htmlは「クロール許可」と試算されます。実際の判定には検索エンジン側の解釈や、ほかのUser-agentグループなども影響します。

判定結果の見方とルールの考え方

Disallowはクロールしないよう伝える指定、Allowは特定パスのクロールを認める指定です。一般に一致するルールの具体性が優先され、条件によってはAllowが優先されます。本ツールは入力された1つのUser-agentグループを対象に、パスの一致状況を簡易試算します。

パターン中の*は任意の文字列、末尾の$はパスの終わりを表す形として扱います。各Allow・Disallowは最大80件まで入力できます。生成コードに警告が出たときは、パスの先頭の/やSitemap URLを見直してください。

公開前に確認したい注意点

  • robots.txtはnoindexや認証の代わりになりません。検索結果に表示させたくないページの管理や機密情報の保護は、別の適切な方法が必要です。
  • robots.txtは通常、サイトのルートに配置します。WordPressではSEOプラグインやサーバー設定が既存のrobots.txtを生成している場合があるため、重複・上書きを確認してください。
  • 重要なCSS・JavaScriptや公開ページを誤ってDisallowすると、クロールやページ理解に悪影響が生じる可能性があります。
  • 本ツールの結果はローカル入力に基づく参考判定です。実際の反映はSearch Console等で確認してください。

よくある質問(FAQ)

Q. robots.txtでページをGoogleの検索結果から消せますか?

いいえ。robots.txtは主にクロール制御のためのもので、検索結果からの除外を確実に指示するものではありません。検索への掲載を避けたい場合は、適切なnoindex設定などを検討してください。

Q. WordPressでもこのツールで作成できますか?

作成できます。ただしWordPressやSEOプラグインが生成するrobots.txtと重複しないよう、運用中の設定を確認してから反映してください。

Q. AllowとDisallowの両方に一致したらどうなりますか?

ルールの具体性などに基づいて評価されます。本ツールは一致したルールを示す簡易シミュレーターなので、複雑なグループ定義については実際のクローラー仕様に照らして確認してください。

Q. サイトのURLを入力すると実際のrobots.txtが読み込まれますか?

いいえ。入力欄のルールだけを使って判定し、外部サイトのrobots.txtは取得しません。

Q. Sitemapの設定は必須ですか?

必須ではありません。サイトマップがある場合にURLを指定でき、空欄ならSitemap行は出力されません。

参考:Googleのrobots.txt仕様

// INTERNAL LINK / SAME LAB

WEB LABをもっと見る

同じLABで公開している関連ツールへ続けて移動できます。

YUKI DIGITAL LABSYSTEM ONLINE