Generatore robots.txt

Crea un file robots.txt con user-agent, percorsi consentiti o bloccati e sitemap. Controlla le regole prima di copiarlo o scaricarlo.

Elaborazione nel browser: i dati non vengono caricati.

Imposta i dati

User-agent

Percorsi Allow (uno per riga)

Percorsi Disallow (uno per riga)

URL Sitemap (facoltativo)

Compila un gruppo User-agent con percorsi Allow/Disallow, uno per riga, e una Sitemap facoltativa. Scarica il file e controlla il risultato prima di sostituire quello esistente.

Risultato

Il risultato apparirà qui.

Contiamo quali strumenti sono più usati, senza includere nelle statistiche i valori inseriti o il contenuto dei file. Privacy

Come utilizzare lo strumento

Puoi inserire il dominio con o senza www e aggiungere percorso e parametri. Se ometti il protocollo viene usato HTTPS.
Compila un gruppo User-agent con percorsi Allow/Disallow, uno per riga, e una Sitemap facoltativa.
Scarica il file e controlla il risultato prima di sostituire quello esistente.

Metodo e principi

robots.txt gestisce la scansione: non protegge dati e non garantisce deindicizzazione.

Installa il file nella radice del dominio e verifica le regole.

Esempio pratico

Dati inseriti

User-agent: *
Percorsi Allow (uno per riga): /
Percorsi Disallow (uno per riga): /private/
URL Sitemap (facoltativo): https://example.com/sitemap.xml

Risultato

User-agent: * Allow: / Disallow: /private/ Sitemap: https://example.com/sitemap.xml

Limiti e controlli

Limiti e controlli
Parametro	Valore
Percorsi Allow (uno per riga)	≤ 5000000 caratteri
Percorsi Disallow (uno per riga)	≤ 5000000 caratteri

Fonti e approfondimenti

Google Search Central

Generatore robots.txt

Imposta i dati

Risultato

Come utilizzare lo strumento

Metodo e principi

Esempio pratico

Limiti e controlli

Fonti e approfondimenti

Potrebbero servirti anche

Generatore tag hreflang

Generatore di dati strutturati JSON-LD

Anteprima Google SERP: title e description