6강 · RAG

오늘 끝나면

RAG

✓RAG의 핵심 문제를 한 문장으로 설명한다
✓오른쪽 실습에서 RAG이 어떻게 움직이는지 관찰한다
✓다음 강의와 이어지는 한계를 말할 수 있다

실습 미션

사내 문서로 답하게 — 검색 증강 생성 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.

성공 조건

□실습의 기본값을 먼저 관찰
□입력값이나 모드를 한 번 이상 바꿔 결과 비교
□왜 결과가 바뀌었는지 한 문장으로 설명

Enterprise LLM · 06

사내 문서로
답하게, RAG

모델은 사내 규정을 모른다. 학습한 적이 없다.
RAG는 질문이 올 때마다 사내 문서를 검색해 프롬프트에 끼워 넣는다.
파인튜닝 없이 최신 사내 지식을 답에 반영하고, 환각을 줄인다.

P.01Enterprise LLM · 06

왜 RAG인가, 모델은 사내를 모른다

파운데이션 모델은 공개 데이터로 학습된다. 우리 회사 휴가정책이나 보안규정은 들어있지 않다.

게다가 학습은 특정 시점에 멈춘다. 어제 바뀐 규정이나 오늘 올라온 계약서는 모른다.
그냥 물으면 모델은 모른다고 하거나, 더 나쁘게는 그럴듯하게 지어낸다.

선택지는 둘이다.
하나는 모델을 사내 데이터로 다시 학습하는 파인튜닝이다. 비싸고 느린 데다, 데이터가 바뀔 때마다 다시 해야 한다.
다른 하나는 답할 때마다 관련 문서를 찾아 같이 넣어주는 것이다. 후자가 RAG다.

모델 머릿속 ↔ 사내 진실의 간극

모델이 아는 것 vs 우리가 묻는 것

모델 머릿속

공개 웹·책 (학습 시점까지)
일반 상식
우리 휴가정책은 모른다
어제 바뀐 규정도 모른다

우리가 묻는 것

연차 며칠 이월돼?
이 고객 계약 조건은?
출장비 한도는?

간극에선 모르거나 지어낸다. 그 간극을 RAG가 메운다

P.02Enterprise LLM · 06

검색 + 생성, 네 박자

RAG는 Retrieval-Augmented Generation이다.
검색으로 보강한 생성, 딱 그 뜻이다.

흐름은 네 박자다.
질문을 받고, 사내 문서에서 관련 조각을 검색하고, 그 조각을 프롬프트에 넣으면, 모델이 그걸 근거로 답한다.

핵심은 모델을 안 건드린다는 것이다.
모델은 그대로 두고, 매 질문마다 근거 문서를 옆에 붙여줄 뿐이다.
그래서 문서만 갱신하면 답도 즉시 최신이 된다. 재학습이 필요 없다.

질문 → 검색 → 주입 → 답

Retrieval-Augmented Generation

질문연차 며칠 이월돼?

사용자 입력

↓

검색휴가정책 v3 찾음

직접 돌려보기, 검색 ON/OFF

사내 질문을 고르고 검색을 켰다 껐다 해본다.

검색이 ON이면 질문 키워드로 사내 문서를 뒤져 관련 조각을 찾고, 그걸 프롬프트에 넣어 출처 붙은 정확한 답을 낸다.
검색이 OFF면 모델 머릿속만 쓴다. 사내 정책을 모르니 일반론으로 지어낸다.

같은 모델, 같은 질문이다. 바뀐 건 근거 문서를 넣었느냐 하나뿐이다. 이 한 단계가 답의 신뢰도를 가른다.

검색을 끄면 답이 어떻게 망가지나

RAG 흐름 · 검색 ON/OFF

① 질문, 사내에 물어본다

② 검색(Retrieval)

HR-2026-03match 3

사내규정 / 휴가정책 v3

연차는 회계연도 기준으로 부여하며 미사용분은 최대 5일까지 익년 이월. 3년 차마다 리프레시 휴가 5일 추가.

③ 프롬프트, LLM에 넣는 내용

[근거] 연차는 회계연도 기준으로 부여하며 미사용분은 최대 5일까지 익년 이월. 3년 차마다 리프레시 휴가 5일 추가.

[질문] 안 쓴 연차 며칠까지 이월돼?

④ 답

근거 있음 · 환각↓

회계연도 기준으로 미사용 연차는 최대 5일까지 익년 이월됩니다. (출처: 휴가정책 v3 / HR-2026-03)

검색이 찾은 사내 문서를 근거로 답한다. 출처가 붙고 최신 정책을 반영한다.

P.04Enterprise LLM · 06

환각을 줄인다, 근거에 묶기

환각은 모델이 모르면서 아는 척 지어내는 것이다. 사내 챗봇에선 치명적이다.

RAG는 답의 재료를 모델 기억이 아니라 검색된 문서로 바꾼다.
모델한테 “아는 대로 말해” 대신 “이 문서를 근거로만 답해”라고 시키는 셈이다.
근거에 묶이니 지어낼 여지가 줄고, 답마다 출처를 달 수 있다.

완전히 없애진 못한다. 검색이 엉뚱한 문서를 가져오면 답도 틀린다. 그래서 검색 품질이 곧 RAG 품질이다(다음 강 벡터DB).
그래도 “모르면 모른다고 해”를 시키기 훨씬 쉬워진다. 근거가 없으면 답을 비울 수 있으니까.

지어냄 ↔ 출처에 근거함

같은 질문, 다른 답

검색 없이지어냄

보통 모두 이월되거나 정산됩니다

RAG로근거 있음

최대 5일 이월 (출처: 휴가정책 v3)

근거에 묶을수록 환각↓ · 출처로 검증 가능

P.05Enterprise LLM · 06

정리, RAG 한 문장

RAG는 답할 때마다 관련 사내 문서를 찾아 프롬프트에 넣어 근거로 삼는 것이다.

모델을 재학습하지 않고도 최신 사내 지식을 반영한다.
문서가 바뀌면 답도 즉시 바뀐다. 출처가 붙어 검증이 된다. 환각이 줄어든다.

다만 검색이 좋아야 답이 좋다. 어떻게 “의미로” 잘 찾는지가 다음 강의 임베딩과 벡터DB다.

Q. RAG가 파인튜닝 없이 어떻게 최신 지식을 답에 넣나?

답할 때 관련 사내 문서를 검색해서 프롬프트에 끼워 넣는다.
모델은 안 건드린다. 매 질문마다 근거 문서를 붙여주는 게 전부다.
그래서 문서만 갱신하면 재학습 없이도 답이 즉시 최신이 된다.

파인튜닝 ↔ RAG 결정표

파인튜닝 vs RAG

기준	파인튜닝	RAG
최신 사내 지식	재학습 필요	문서만 갱신
비용·속도	비싸고 느림	싸고 즉시
출처 추적	어려움	문서 인용
말투·형식 고정	강함	약함

지식 최신성과 출처가 중요하면 RAG, 말투 고정이 중요하면 파인튜닝 (8강)