크롤링은 검색엔진 로봇이 이미 알고 있는 페이지의 링크를 따라 새로운 URL을 발견하고 그 내용을 가져오는 발견 단계로, 색인·랭킹보다 앞서 일어나는 첫 관문이다. robots.txt로 특정 경로가 차단되어 있거나, 사이트 내부에 해당 페이지로 향하는 링크가 하나도 없는 ‘고아 페이지’ 상태라면 아무리 좋은 콘텐츠라도 크롤러가 영영 발견하지 못할 수 있다. 서치 콘솔의 크롤링 통계 보고서로 구글봇의 일일 크롤링 요청 수와 응답 시간을 확인하면 크롤링 관련 병목을 조기에 진단할 수 있다.
실무 적용 및 비즈니스 영향
- 크롤러가 접근하지 못하는 페이지는 검색엔진에 결코 반영될 수 없음
구현 가이드 및 주의사항
- robots.txt 차단 여부와 내부 링크 연결 상태를 철저히 검토