robots.txt作成

User-agent、許可・禁止パス、サイトマップURLからrobots.txtを作成。クローラーに伝えるルールを確認してコピーできます。

ブラウザー内で処理し、データはアップロードしません。

値を設定

User-agent

許可するパス（1行に1つ）

禁止するパス（1行に1つ）

サイトマップURL（任意）

対象のクローラーとパスを入力し、作成されたルールが必要なページやアセットを妨げないか確認してください。 robots.txtは認証や機密保護の仕組みではなく、URLの検索結果からの削除も保証しません。

ここに結果を表示します。

入力値やファイル内容を統計に含めず、どのツールが使われたかを集計します。プライバシー

入力

結果

User-agent: * Allow: / Disallow: /private/ Sitemap: https://example.com/sitemap.xml

制限と確認事項
項目	値
許可するパス（1行に1つ）	≤ 5000000文字
禁止するパス（1行に1つ）	≤ 5000000文字