Puffinmint
PT-BR
Italiano English Español Français Deutsch Português (Brasil) 日本語 한국어 Polski Türkçe

Testar robots.txt por URL e robô

Teste regras robots.txt para uma URL e um user agent. Identifique a regra que libera ou bloqueia o caminho; a permissão não garante a indexação.

Configurações

Insira um caminho como /pagina ou um domínio com caminho, mesmo sem HTTPS. Apenas o robots.txt colado é analisado.

Agrupa regras do mesmo product token, escolhe a mais específica e prioriza Allow no empate. Não simula extensões proprietárias. Robots.txt não controla acesso nem garante desindexação. Máximo de 500 KiB.

Os dados são enviados ao servidor para verificação. Nenhuma autenticação é enviada ao site de destino.

Resultado

Contamos quais ferramentas são mais usadas, sem incluir os valores informados nem o conteúdo dos arquivos nas estatísticas. Privacidade

Como usar a ferramenta

Cole robots.txt, informe o caminho e o product token do robô, como Googlebot. O texto é analisado sem baixar o site.

Método da verificação

O testador compara o caminho com as regras do grupo aplicável ao product token. Une grupos equivalentes e escolhe a regra mais específica; em empate, Allow prevalece.

Como interpretar o resultado

No exemplo, /private/report está bloqueado e /private/public/report é permitido pela regra mais específica. Permitir o rastreamento não garante indexação nem protege dados privados.

Exemplo ilustrativo

Exemplo ilustrativo com dados de teste: as respostas reais podem mudar.

Dados de entrada
User-agent: * Disallow: /private/ Allow: /private/public/
Resultado
/private/report → Disallow · /private/public/report → Allow

No exemplo, /private/report está bloqueado e /private/public/report é permitido pela regra mais específica. Permitir o rastreamento não garante indexação nem protege dados privados.

Limites e tratamento de dados

Agrupa regras do mesmo product token, escolhe a mais específica e prioriza Allow no empate. Não simula extensões proprietárias. Robots.txt não controla acesso nem garante desindexação. Máximo de 500 KiB.

Os dados são enviados ao servidor para verificação. Nenhuma autenticação é enviada ao site de destino.

Os resultados refletem o momento da verificação.

Fontes

Perguntas frequentes

Quais são os limites da verificação?

Agrupa regras do mesmo product token, escolhe a mais específica e prioriza Allow no empate. Não simula extensões proprietárias. Robots.txt não controla acesso nem garante desindexação. Máximo de 500 KiB. Os resultados refletem o momento da verificação.

Você também pode precisar

Ver todas

Consultar DNS: verificar registros do domínio

Consulte registros A, AAAA, MX, TXT, NS, CNAME e CAA de um domínio. Uma resposta do resolvedor não comprova a propagação mundial do DNS.

WHOIS domínio: consultar dados RDAP

Consulte registrador, datas, estados e servidores de nomes publicados por RDAP. Dados ocultos ou indisponíveis continuam identificados dessa forma.

Verificar cabeçalhos de segurança HTTP

Examine CSP, HSTS e outros cabeçalhos HTTP da página. Veja valores e explicações de contexto; a verificação não certifica a segurança completa do site.

Favoritos