- 入力
User-agent: * Disallow: /private/ Allow: /private/public/- 結果
/private/report → Disallow · /private/public/report → Allow
例では/private/reportは禁止され、/private/public/reportはより具体的なルールによって許可されます。クロール許可はインデックス登録を保証せず、機密情報の保護にもなりません。
robots.txtテスト：URLとクローラーの許可を確認
URLとユーザーエージェントを指定してrobots.txtの許可・拒否ルールを確認します。クロールが許可されても検索登録を保証するものではありません。
結果
入力値やファイル内容を統計に含めず、どのツールが使われたかを集計します。 プライバシー
使い方
robots.txtを貼り付け、パスとGooglebotなどのproduct tokenを入力します。サイトを取得せずにテキストを判定します。
確認の仕組み
product tokenに該当するグループのルールとパスを比較します。同じ対象のグループを結合し、最も具体的なルールを選び、同条件ではAllowを優先します。
結果の読み方
例では/private/reportは禁止され、/private/public/reportはより具体的なルールによって許可されます。クロール許可はインデックス登録を保証せず、機密情報の保護にもなりません。
説明用の例
テストデータによる例です。実際の応答は変わる場合があります。
制限とデータの取り扱い
同じproduct tokenのグループを統合し、最も具体的なルールを採用します。同点ではAllowを優先します。独自拡張は再現しません。robots.txtはアクセス制御ではなく、検索からの削除を保証しません。最大500 KiBです。
入力内容は確認のためサーバーへ送信されます。対象サイトへ認証情報は送信しません。
確認時点の結果です。
出典
よくある質問
確認にはどのような制限がありますか？
同じproduct tokenのグループを統合し、最も具体的なルールを採用します。同点ではAllowを優先します。独自拡張は再現しません。robots.txtはアクセス制御ではなく、検索からの削除を保証しません。最大500 KiBです。 確認時点の結果です。