robots.txt는 사이트 루트(domain.com/robots.txt)에 위치하는 평문 텍스트 파일로, User-agent별로 어떤 디렉터리를 크롤링해도 되는지 규칙을 선언한다. 로그인 페이지나 관리자 화면처럼 크롤러가 굳이 방문할 필요 없는 영역을 차단해 한정된 크롤 예산을 중요한 페이지에 집중시키는 데 효과적이다. 다만 robots.txt로 차단된 페이지도 다른 사이트가 링크를 걸면 URL 자체는 색인에 노출될 수 있어(스니펫 없이), 검색결과에서 완전히 빼려면 noindex 태그와 크롤링 허용을 함께 사용해야 한다.
실무 적용 및 비즈니스 영향
- 관리자 페이지 등 민감 영역 차단 및 크롤 버짓 효율화 달성
구현 가이드 및 주의사항
- 검색결과 제외 목적으로 쓰면 안 되며 색인 차단은 noindex 태그를 사용해야 함