robots.txt 생성기
편리한 프리셋을 사용하여 allow/disallow 규칙, crawl-delay, sitemap 지시문이 포함된 올바른 robots.txt를 만드세요. 무료이며 브라우저에서 실행됩니다.
브라우저에서 바로 깔끔한 robots.txt를 만드세요. 아무것도 업로드되지 않으며 모든 것이 로컬에서 생성됩니다.
빌더
빠른 프리셋
User-agent 그룹
Sitemaps
robots.txt
https://your-site.com/robots.txt 에서 접근할 수 있도록 이 파일을 사이트 루트에 배치하세요
robots.txt 생성기 소개
이 robots.txt 생성기는 각각 고유한 Allow/Disallow 경로와 선택적 Crawl-delay를 가진 사용자 에이전트 그룹으로부터 문법적으로 올바른 robots.txt 파일을 만듭니다. 필요한 만큼 그룹을 추가하세요 - 모든 크롤러를 위한 와일드카드 * 그룹과 개별 봇을 위한 특정 규칙 - 그리고 마지막에 하나 이상의 Sitemap 지시어를 나열하세요.
빠른 프리셋으로 흔한 시작점을 다룹니다: 전체 허용, 전체 차단, 합리적인 WordPress 구성, 흔한 봇 차단 목록. 프리셋에서 시작한 다음 사이트 구조에 맞게 경로를 조정하세요.
파일은 브라우저에서 로컬로 생성되며 업로드되지 않습니다. 결과를 복사하거나 robots.txt를 다운로드한 다음 사이트 루트에 배치하면 크롤러가 https://your-site.com/robots.txt에서 찾을 수 있습니다 - 검색엔진이 확인하는 위치는 정확히 그곳뿐입니다.
robots.txt 생성기 사용 방법
- 선택적으로 프리셋에서 시작하세요: 전체 허용, 전체 차단, WordPress 또는 흔한 봇 차단.
- 각 그룹의 사용자 에이전트(예: * 또는 Googlebot)를 편집하고 Disallow, Allow 경로를 추가하세요.
- 선택적으로 초 단위 Crawl-delay를 설정하고, 필요하면 다른 크롤러를 위한 그룹을 추가하세요.
- 사이트맵 URL을 추가하여 크롤러가 찾을 수 있게 하세요.
- 결과를 복사하거나 robots.txt를 다운로드하여 사이트 루트에 업로드하세요.
자주 묻는 질문
호스트의 루트에, 예: https://example.com/robots.txt. 크롤러는 그 경로만 요청합니다 - 하위 디렉터리의 robots.txt는 무시됩니다.
Disallow는 해당 사용자 에이전트 그룹에 대해 일치하는 경로의 크롤링을 차단하고, Allow는 차단된 영역 내 하위 경로를 다시 허용합니다. 예를 들어 차단된 /admin/ 아래 /admin/help/를 허용하는 식입니다.
확실하지 않습니다. 크롤링은 막지만, 이미 알려진 URL은 스니펫 없이 여전히 나타날 수 있습니다. 페이지를 색인에서 완전히 제외하려면 noindex robots 메타 태그를 사용하고 크롤링을 허용하세요.
아니요. 일부 크롤러는 이를 존중하지만 Googlebot은 이 지시어를 무시합니다 - Google의 크롤링 속도는 대신 Search Console을 통해 관리됩니다. 다른 봇에는 여전히 유용합니다.
무료이며, 파일은 전적으로 브라우저에서 만들어집니다 - 입력한 규칙은 서버로 전송되지 않습니다.
도움이 필요하신가요?
이 도구에서 문제를 발견하셨나요? 저희 팀에 알려주세요.