robots.txt 생성기

User-agent, 허용·차단 경로와 사이트맵 주소로 robots.txt를 작성하세요. 공개할 규칙을 확인하고 파일 내용을 복사할 수 있습니다.

브라우저 안에서 처리하며 데이터를 업로드하지 않습니다.

데이터 설정

데이터 설정

크롤러와 경로를 입력하고 필요한 페이지나 리소스를 차단하지 않는지 확인하세요. robots.txt는 인증이나 보안 장치가 아닙니다. 검색 결과에서 URL이 제거되는 것도 보장하지 않습니다.

결과

여기에 결과가 표시됩니다.

입력값과 파일 내용은 포함하지 않고 어떤 도구를 자주 사용하는지 집계합니다. 개인정보

도구 사용 방법

  1. www 포함 여부와 관계없이 도메인을 입력할 수 있으며 경로와 쿼리도 지정할 수 있습니다. 프로토콜을 생략하면 HTTPS가 사용됩니다.
  2. 크롤러와 경로를 입력하고 필요한 페이지나 리소스를 차단하지 않는지 확인하세요.
  3. robots.txt는 인증이나 보안 장치가 아닙니다.
  4. 검색 결과에서 URL이 제거되는 것도 보장하지 않습니다.

구체적인 사용 예

입력값
  • User-agent: *
  • 허용 경로 (한 줄에 하나): /
  • 차단 경로 (한 줄에 하나): /private/
  • 사이트맵 URL (선택): https://example.com/sitemap.xml
결과
User-agent: * Allow: / Disallow: /private/ Sitemap: https://example.com/sitemap.xml

제한 및 확인 사항

제한 및 확인 사항
항목값
허용 경로 (한 줄에 하나)≤ 5000000자
차단 경로 (한 줄에 하나)≤ 5000000자

출처와 참고 자료

즐겨찾기