리랭커

리랭커는 1차 검색으로 후보에 오른 수십~수백 개의 문서를 벡터 유사도 같은 단순 지표보다 훨씬 정교한 교차 인코더(Cross-Encoder) 모델로 다시 채점해, 질문과 실제로 가장 관련성 높은 소수의 문서만 골라내는 RAG 파이프라인의 핵심 구성 요소다. 리랭킹 단계를 생략하면 관련 없는 노이즈 문서가 LLM의 프롬프트에 섞여 들어가 답변 품질이 저하되거나 할루시네이션이 늘어날 수 있다. Cohere Rerank, BGE-Reranker 같은 오픈소스·상용 리랭커 모델이 실무에서 널리 채택되고 있으며, 연관성 점수의 임계값을 설정해 낮은 점수의 문서를 아예 제외하는 필터링이 함께 쓰인다.

실무 적용 및 비즈니스 영향

• RAG 시스템에서 가장 관련성 높은 문맥만 선별해 LLM에 제공함으로써 답변 품질 극대화

구현 가이드 및 주의사항

• 연관성 점수 임계값을 설정해 관련 없는 노이즈 문서가 프롬프트에 들어가지 않도록 차단