Robots.txt 생성기
검색 엔진과 다른 봇이 사이트의 어느 부분을 방문해도 되는지 알려 주세요.
이 기기 안에서 봉인됨
브라우저에서 실행돼요. 아무것도 업로드되지 않아요.
봉인됨
규칙
한 줄에 경로 하나씩, /로 시작하세요. *는 와일드카드, $는 주소의 끝을 뜻해요.
선택 사항이에요. Bing 등 일부 봇은 따르지만 Google은 무시해요.
특정 크롤러
한 줄에 전체 주소 하나씩 입력하세요. 예: https://example.com/sitemap.xml
내 robots.txt
확인할 사항
주소 테스트
비워 두면 이 크롤러에 대해 사이트 전체가 차단돼요.
사용 방법
-
기본 규칙 고르기
모두 허용, 모두 차단 중에서 고르거나 크롤러가 건너뛸 경로를 나열하세요. 프리셋으로 쉽게 시작할 수 있어요.
-
AI 봇, 크롤러, 사이트맵 추가하기
클릭 한 번으로 AI 학습용 크롤러를 차단하고, 특정 봇의 규칙을 추가하고, 사이트맵을 나열하세요.
-
테스트하고 게시하기
주소 몇 개를 테스트한 뒤 파일을 다운로드해 사이트 루트(example.com/robots.txt)에 올리세요.
자주 묻는 질문
robots.txt 파일은 어디에 두나요?
https://your-site.com/robots.txt로 접근할 수 있도록 도메인 루트에 두세요. 하위 도메인마다 별도의 파일이 필요해요. 크롤러는 다른 위치에서는 찾지 않아요.
robots.txt로 Google에서 페이지를 숨길 수 있나요?
아니요. 크롤러에게 페이지를 방문하지 말라고 요청할 뿐이라서, 다른 사이트가 링크하면 검색 결과에 여전히 나올 수 있어요. Google에서 페이지를 빼려면 크롤링은 허용하고 noindex 메타 태그를 추가하거나, 비밀번호로 보호하세요.
GPTBot 같은 AI 크롤러는 어떻게 차단하나요?
“AI 학습용 크롤러 차단”을 체크하세요. 그러면 파일이 GPTBot, ClaudeBot, Google-Extended 등 학습용 봇에게 사이트 전체에 접근하지 말라고 알려요. 규칙을 지키는 봇은 따르지만, robots.txt는 잠금이 아니라 요청이에요.
Allow와 Disallow 규칙이 충돌하면 어떻게 되나요?
Google과 대부분의 최신 크롤러는 가장 구체적인 규칙, 즉 일치하는 경로가 가장 긴 규칙을 적용해요. 두 규칙의 길이가 같으면 Allow가 우선해요. 이 페이지의 테스트 기능도 같은 방식을 따라요.
경로의 *와 $는 무슨 뜻인가요?
별표는 어떤 문자열과도 일치하므로 /*.pdf는 모든 PDF와 일치해요. 달러 기호는 주소의 끝을 나타내므로 /*.pdf$는 정확히 .pdf로 끝나는 주소와 일치해요.
사이트맵을 robots.txt에 추가해야 하나요?
네. 모든 검색 엔진이 사이트맵을 찾도록 돕는 간단한 방법이에요. https://를 포함한 전체 주소를 쓰세요. 사이트맵을 여러 개 나열할 수도 있어요.