robots meta tag는 <meta name="robots" content="noindex, nofollow">처럼 페이지 HTML head 안에 직접 삽입해, 그 페이지 하나만 세밀하게 색인·링크 추적 여부를 제어할 수 있는 태그다. noimageindex, max-snippet:-1, notranslate 같은 세부 지시자를 조합하면 이미지 색인 제외나 스니펫 길이 제한도 가능하다. 다만 robots.txt에서 해당 경로 전체를 차단해버리면 크롤러가 애초에 그 페이지에 접근하지 못해 meta 태그 자체를 읽을 수 없으므로, noindex를 적용하려면 반드시 크롤링은 허용한 채로 두어야 한다.
실무 적용 및 비즈니스 영향
- 개별 페이지 단위로 색인 방지(noindex) 및 스니펫 제한 등을 유연하게 제어
구현 가이드 및 주의사항
- robots.txt에서 차단된 페이지는 로봇 메타 태그를 읽을 수 없음에 주의