Puffinmint
FR
Italiano English Español Français Deutsch Português (Brasil) 日本語 한국어 Polski Türkçe

Tester robots.txt : URL et robot

Testez les règles robots.txt pour une URL et un user agent. Identifiez la règle autorisant ou bloquant le chemin ; cela ne garantit pas l’indexation.

Paramètres

Saisissez un chemin comme /page ou un domaine avec chemin, avec ou sans HTTPS. Seul le robots.txt collé est analysé.

Les groupes du même product token sont fusionnés ; la règle la plus précise gagne, avec priorité à Allow en cas d’égalité. Les extensions propriétaires ne sont pas simulées. Robots.txt ne protège pas l’accès et ne garantit pas la désindexation. Maximum 500 KiB.

Les données sont envoyées au serveur pour vérification. Aucune authentification n’est transmise au site cible.

Résultat

Nous comptons les outils les plus utilisés, sans inclure les valeurs saisies ni le contenu des fichiers dans les statistiques. Confidentialité

Comment utiliser l’outil

Collez robots.txt, indiquez le chemin et le product token du robot, par exemple Googlebot. Le texte est analysé sans télécharger le site.

Méthode de vérification

Le testeur compare le chemin aux règles du groupe applicable au product token. Il fusionne les groupes équivalents et choisit la règle la plus spécifique ; Allow prévaut à égalité.

Interpréter le résultat

Dans l’exemple, /private/report est bloqué et /private/public/report est autorisé par la règle plus spécifique. Autoriser l’exploration ne garantit pas l’indexation et ne protège pas les données privées.

Exemple illustratif

Exemple illustratif avec des données de test : les réponses réelles peuvent changer.

Données saisies
User-agent: * Disallow: /private/ Allow: /private/public/
Résultat
/private/report → Disallow · /private/public/report → Allow

Dans l’exemple, /private/report est bloqué et /private/public/report est autorisé par la règle plus spécifique. Autoriser l’exploration ne garantit pas l’indexation et ne protège pas les données privées.

Limites et traitement des données

Les groupes du même product token sont fusionnés ; la règle la plus précise gagne, avec priorité à Allow en cas d’égalité. Les extensions propriétaires ne sont pas simulées. Robots.txt ne protège pas l’accès et ne garantit pas la désindexation. Maximum 500 KiB.

Les données sont envoyées au serveur pour vérification. Aucune authentification n’est transmise au site cible.

Les résultats décrivent le moment de la vérification.

Sources

Questions fréquentes

Quelles sont les limites de cette vérification ?

Les groupes du même product token sont fusionnés ; la règle la plus précise gagne, avec priorité à Allow en cas d’égalité. Les extensions propriétaires ne sont pas simulées. Robots.txt ne protège pas l’accès et ne garantit pas la désindexation. Maximum 500 KiB. Les résultats décrivent le moment de la vérification.

Ces outils pourraient aussi vous servir

Tout voir

DNS lookup : vérifier les enregistrements DNS

Consultez les enregistrements A, AAAA, MX, TXT, NS, CNAME et CAA d’un domaine. Une réponse d’un résolveur ne constitue pas un test de propagation mondial.

WHOIS domaine : consulter les données RDAP

Consultez bureau d’enregistrement, dates, statuts et serveurs de noms publiés via RDAP. Les données masquées ou indisponibles restent signalées.

Vérifier les en-têtes de sécurité HTTP

Examinez CSP, HSTS et les autres en-têtes HTTP d’une page. Consultez les valeurs et leur contexte ; ce contrôle ne certifie pas la sécurité du site.

Favoris