RAG(검색 증강 생성)는 LLM이 자체 학습 지식만으로 답하는 대신, 질문이 들어올 때마다 외부 문서 저장소나 웹에서 관련 자료를 실시간으로 검색해 온 뒤 그 내용을 프롬프트에 함께 주입해 답변을 생성하는 기법이다. 이 방식은 모델의 지식 컷오프 이후 최신 정보나 회사 내부 비공개 문서처럼 애초에 학습되지 않은 데이터도 정확하게 반영할 수 있게 해 할루시네이션(환각)을 크게 줄여준다. RAG 시스템의 성능은 결국 얼마나 관련성 높은 문서를 정확히 찾아오느냐(검색·리랭킹 품질)에 좌우되므로, 청킹 전략과 임베딩 모델 선택이 전체 답변 품질을 좌우하는 핵심 변수다.
실무 적용 및 비즈니스 영향
- AI 모델의 할루시네이션을 방지하고 최신 사내 지식을 실시간으로 답변에 반영
구현 가이드 및 주의사항
- 검색기의 청킹 및 리랭킹 품질이 전체 생성 답변의 정확도를 결정함