- 입력값
User-agent: * Disallow: /private/ Allow: /private/public/- 결과
/private/report → Disallow · /private/public/report → Allow
예시에서 /private/report는 차단되고 /private/public/report는 더 구체적인 규칙으로 허용됩니다. 크롤링 허용은 색인을 보장하거나 비공개 데이터를 보호하지 않습니다.
robots.txt 검사: URL과 크롤러 규칙
URL과 사용자 에이전트에 적용되는 robots.txt 허용·차단 규칙을 확인합니다. 크롤링 허용이 검색 색인 등록을 보장하는 것은 아닙니다.
결과
입력값과 파일 내용은 포함하지 않고 어떤 도구를 자주 사용하는지 집계합니다. 개인정보
사용 방법
robots.txt를 붙여 넣고 경로와 Googlebot 같은 product token을 입력합니다. 사이트를 내려받지 않고 텍스트를 분석합니다.
확인 원리
product token에 적용되는 그룹의 규칙과 경로를 비교합니다. 같은 대상의 그룹을 합치고 가장 구체적인 규칙을 선택하며 동률이면 Allow를 우선합니다.
결과 해석
예시에서 /private/report는 차단되고 /private/public/report는 더 구체적인 규칙으로 허용됩니다. 크롤링 허용은 색인을 보장하거나 비공개 데이터를 보호하지 않습니다.
설명용 예시
테스트 데이터 예시입니다. 실제 응답은 달라질 수 있습니다.
제한 사항과 데이터 처리
같은 product token 그룹을 합치고 가장 구체적인 규칙을 사용하며 동률이면 Allow가 우선합니다. 독점 확장은 모방하지 않습니다. robots.txt는 접근 제어나 검색 제외 보장이 아닙니다. 최대 500 KiB입니다.
검사를 위해 입력이 서버로 전송됩니다. 대상 사이트에 인증 정보는 보내지 않습니다.
검사 시점의 결과입니다.
참고 자료
자주 묻는 질문
이 검사에는 어떤 제한이 있나요?
같은 product token 그룹을 합치고 가장 구체적인 규칙을 사용하며 동률이면 Allow가 우선합니다. 독점 확장은 모방하지 않습니다. robots.txt는 접근 제어나 검색 제외 보장이 아닙니다. 최대 500 KiB입니다. 검사 시점의 결과입니다.