Gerador de robots.txt

Crie um arquivo robots.txt com user-agents, caminhos permitidos ou bloqueados e sitemap. Revise as regras antes de copiar ou baixar o arquivo.

Processamento no navegador: os dados não são enviados.

Informe seus dados

User-agent

Caminhos Allow (um por linha)

Caminhos Disallow (um por linha)

URL do Sitemap (opcional)

Preencha um grupo User-agent com caminhos Allow/Disallow, um por linha, e Sitemap opcional. Baixe e confira antes de substituir o arquivo existente.

O resultado aparecerá aqui.

Contamos quais ferramentas são mais usadas, sem incluir os valores informados nem o conteúdo dos arquivos nas estatísticas. Privacidade

Você pode inserir o domínio com ou sem www e incluir um caminho e parâmetros. HTTPS é usado quando o protocolo é omitido.
Preencha um grupo User-agent com caminhos Allow/Disallow, um por linha, e Sitemap opcional.
Baixe e confira antes de substituir o arquivo existente.

robots.txt controla o rastreamento: não protege dados nem garante desindexação.

Instale na raiz do domínio e confira as regras.

Dados de entrada

Resultado

User-agent: * Allow: / Disallow: /private/ Sitemap: https://example.com/sitemap.xml

Limites e verificações
Parâmetro	Valor
Caminhos Allow (um por linha)	≤ 5000000 caracteres
Caminhos Disallow (um por linha)	≤ 5000000 caracteres