Puffinmint
IT
Italiano English Español Français Deutsch Português (Brasil) 日本語 한국어 Polski Türkçe

Robots.txt tester: prova URL e crawler

Prova le regole robots.txt con URL e user agent. Leggi la regola che consente o blocca il percorso; l’accesso del crawler non garantisce l’indicizzazione.

Impostazioni

Puoi inserire un percorso come /pagina o un dominio con percorso, anche senza HTTPS. Il test legge solo il robots.txt incollato.

Il tester applica il confronto del product token, i gruppi ripetuti, la regola più specifica e la precedenza di Allow a parità. Non simula estensioni proprietarie. Robots.txt non è un controllo di accesso e non garantisce la deindicizzazione. Massimo 500 KiB.

I dati inseriti sono inviati al server per il controllo. Nessuna autenticazione viene inviata al sito di destinazione.

Risultato

Contiamo quali strumenti sono più usati, senza includere nelle statistiche i valori inseriti o il contenuto dei file. Privacy

Come usare lo strumento

Incolla il robots.txt, indica il percorso e il product token del crawler, per esempio Googlebot. Il testo viene analizzato senza scaricare il sito.

Metodo della verifica

Il tester confronta il percorso con le regole del gruppo applicabile al product token. Unisce i gruppi equivalenti e sceglie la regola più specifica; a parità prevale Allow.

Come interpretare il risultato

Nell’esempio /private/report è vietato, mentre /private/public/report è consentito dalla regola più specifica. Consentire la scansione non garantisce l’indicizzazione e non protegge dati riservati.

Esempio illustrativo

Esempio illustrativo con dati di prova: le risposte reali possono cambiare.

Dati inseriti
User-agent: * Disallow: /private/ Allow: /private/public/
Risultato
/private/report → Disallow · /private/public/report → Allow

Nell’esempio /private/report è vietato, mentre /private/public/report è consentito dalla regola più specifica. Consentire la scansione non garantisce l’indicizzazione e non protegge dati riservati.

Limiti e gestione dei dati

Il tester applica il confronto del product token, i gruppi ripetuti, la regola più specifica e la precedenza di Allow a parità. Non simula estensioni proprietarie. Robots.txt non è un controllo di accesso e non garantisce la deindicizzazione. Massimo 500 KiB.

I dati inseriti sono inviati al server per il controllo. Nessuna autenticazione viene inviata al sito di destinazione.

I risultati descrivono il momento della verifica.

Fonti

Domande frequenti

Quali sono i limiti del controllo?

Il tester applica il confronto del product token, i gruppi ripetuti, la regola più specifica e la precedenza di Allow a parità. Non simula estensioni proprietarie. Robots.txt non è un controllo di accesso e non garantisce la deindicizzazione. Massimo 500 KiB. I risultati descrivono il momento della verifica.

Potrebbero servirti anche

Vedi tutti

DNS lookup: controlla i record di un dominio

Consulta record A, AAAA, MX, TXT, NS, CNAME e CAA di un dominio. Leggi risposte ed errori senza confondere una verifica con la propagazione globale.

WHOIS dominio: consulta i dati RDAP

Consulta registrar, date, stati e nameserver pubblicati per un dominio tramite RDAP. I dati oscurati o non disponibili restano indicati come tali.

Security headers check: verifica gli header HTTP

Esamina CSP, HSTS e altri header di risposta di una pagina. Consulta valori e spiegazioni contestuali: il controllo non certifica la sicurezza del sito.

Preferiti