Générateur de robots.txt

Créez un fichier robots.txt avec les agents utilisateurs, chemins autorisés ou bloqués et sitemap. Relisez les règles avant de copier ou télécharger.

Traitement dans le navigateur : aucune donnée envoyée.

Configurez vos données

User-agent

Chemins Allow (un par ligne)

Chemins Disallow (un par ligne)

URL Sitemap (facultatif)

Remplissez un groupe User-agent avec chemins Allow/Disallow et Sitemap facultative. Téléchargez et vérifiez avant de remplacer un fichier existant.

Le résultat apparaîtra ici.

Nous comptons les outils les plus utilisés, sans inclure les valeurs saisies ni le contenu des fichiers dans les statistiques. Confidentialité

Vous pouvez saisir le domaine avec ou sans www, ainsi qu’un chemin et des paramètres. HTTPS est utilisé si le protocole est omis.
Remplissez un groupe User-agent avec chemins Allow/Disallow et Sitemap facultative.
Téléchargez et vérifiez avant de remplacer un fichier existant.

robots.txt contrôle l’exploration, pas l’accès ni la désindexation.

Placez-le à la racine du domaine et vérifiez les règles.

Données saisies

Résultat

User-agent: * Allow: / Disallow: /private/ Sitemap: https://example.com/sitemap.xml

Limites et vérifications
Paramètre	Valeur
Chemins Allow (un par ligne)	≤ 5000000 caractères
Chemins Disallow (un par ligne)	≤ 5000000 caractères