6강 · RAG

오늘 끝나면

RAG

✓RAG의 핵심 문제를 한 문장으로 설명한다
✓오른쪽 실습에서 RAG이 어떻게 움직이는지 관찰한다
✓다음 강의와 이어지는 한계를 말할 수 있다

실습 미션

사내 문서로 답하게 — 검색 증강 생성 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.

성공 조건

□실습의 기본값을 먼저 관찰
□입력값이나 모드를 한 번 이상 바꿔 결과 비교
□왜 결과가 바뀌었는지 한 문장으로 설명

Enterprise LLM · 06

사내 문서로
답하게, RAG

모델은 사내 규정을 모름. 학습한 적이 없음.
RAG는 질문이 올 때마다 사내 문서를 검색해 프롬프트에 끼워 넣음.
파인튜닝 없이 최신·사내 지식을 답에 반영하고, 환각을 줄임.

P.01Enterprise LLM · 06

왜 RAG인가 — 모델은 사내를 모른다

파운데이션 모델은 공개 데이터로 학습됨. 우리 회사 휴가정책·보안규정은 들어있지 않음.

게다가 학습은 특정 시점에 멈춤. 어제 바뀐 규정, 오늘 올라온 계약서는 모름.
그냥 물으면 모델은 모른다고 하거나, 더 나쁘게는 그럴듯하게 지어냄.

선택지는 둘임.
모델을 사내 데이터로 다시 학습(파인튜닝)하거나 — 비싸고 느리고, 데이터 바뀔 때마다 다시 해야 함.
아니면 답할 때마다 관련 문서를 찾아 같이 넣어주거나. 후자가 RAG임.

모델 머릿속 ↔ 사내 진실의 간극

모델이 아는 것 vs 우리가 묻는 것

모델 머릿속

공개 웹·책 (학습 시점까지)
일반 상식
우리 휴가정책 — 모름
어제 바뀐 규정 — 모름

우리가 묻는 것

연차 며칠 이월돼?
이 고객 계약 조건은?
출장비 한도는?

간극 = 모르거나 지어냄 → RAG가 메움

P.02Enterprise LLM · 06

검색 + 생성 — 네 박자

RAG는 Retrieval-Augmented Generation임.
검색으로 보강한 생성, 딱 그 뜻임.

흐름은 네 박자임.
질문을 받음 → 사내 문서에서 관련 조각을 검색함 → 그 조각을 프롬프트에 넣음 → 모델이 그걸 근거로 답함.

핵심은 모델을 안 건드린다는 것임.
모델은 그대로 두고, 매 질문마다 근거 문서를 옆에 붙여줄 뿐임.
그래서 문서만 갱신하면 답도 즉시 최신이 됨 — 재학습이 필요 없음.

질문 → 검색 → 주입 → 답

Retrieval-Augmented Generation

질문연차 며칠 이월돼?

사용자 입력

↓

검색휴가정책 v3 찾음

직접 돌려보기 — 검색 ON/OFF

오른쪽에서 직접 함. 사내 질문을 고르고, 검색을 켰다 껐다 해봄.

검색 ON이면 질문 키워드로 사내 문서를 뒤져 관련 조각을 찾고, 그걸 프롬프트에 넣어 출처 붙은 정확한 답을 냄.
검색 OFF면 모델 머릿속만 씀. 사내 정책을 모르니 일반론으로 지어냄.

같은 모델, 같은 질문임. 바뀐 건 근거 문서를 넣었느냐 하나뿐임.
이 한 단계가 답의 신뢰도를 가름. 그게 RAG가 하는 일의 전부임.

검색을 끄면 답이 어떻게 망가지나

RAG 흐름 · 검색 ON/OFF

① 질문 — 사내에 물어봄

② 검색(Retrieval)

HR-2026-03match 3

사내규정 / 휴가정책 v3

연차는 회계연도 기준으로 부여하며 미사용분은 최대 5일까지 익년 이월. 3년 차마다 리프레시 휴가 5일 추가.

③ 프롬프트 — LLM에 넣는 것

[근거] 연차는 회계연도 기준으로 부여하며 미사용분은 최대 5일까지 익년 이월. 3년 차마다 리프레시 휴가 5일 추가.

[질문] 안 쓴 연차 며칠까지 이월돼?

④ 답

근거 있음 · 환각↓

회계연도 기준으로 미사용 연차는 최대 5일까지 익년 이월됩니다. (출처: 휴가정책 v3 / HR-2026-03)

검색이 찾은 사내 문서를 근거로 답함. 출처가 붙고 최신 정책을 반영함.

P.04Enterprise LLM · 06

환각을 줄인다 — 근거에 묶기

환각은 모델이 모르면서 아는 척 지어내는 것임. 사내 챗봇에선 치명적임.

RAG는 답의 재료를 모델 기억이 아니라 검색된 문서로 바꿈.
모델한테 “아는 대로 말해” 대신 “이 문서를 근거로만 답해”라고 시키는 셈임.
근거에 묶이니 지어낼 여지가 줄고, 답마다 출처를 달 수 있음.

완전히 없애진 못함. 검색이 엉뚱한 문서를 가져오면 답도 틀림 / 그래서 검색 품질이 RAG 품질임(다음 강 벡터DB).
그래도 “모르면 모른다고 해”를 시키기 훨씬 쉬워짐. 근거가 없으면 비울 수 있으니까.

지어냄 ↔ 출처에 근거함

같은 질문, 다른 답

검색 없이지어냄

보통 모두 이월되거나 정산됩니다

RAG로근거 있음

최대 5일 이월 (출처: 휴가정책 v3)

근거에 묶을수록 환각↓ · 출처로 검증 가능

P.05Enterprise LLM · 06

정리 — RAG 한 문장

RAG = 답할 때마다 관련 사내 문서를 찾아 프롬프트에 넣어 근거로 삼는 것임.

모델을 재학습하지 않고도 최신·사내 지식을 반영함.
문서가 바뀌면 답도 즉시 바뀜. 출처가 붙어 검증이 됨. 환각이 줄음.

다만 검색이 좋아야 답이 좋음. 어떻게 “의미로” 잘 찾는지가 다음 강 임베딩·벡터DB임.

Q. RAG가 파인튜닝 없이 어떻게 최신 지식을 답에 넣나?

답할 때 관련 사내 문서를 검색해서 프롬프트에 끼워 넣음.
모델은 안 건드림. 매 질문마다 근거 문서를 붙여주는 게 전부임.
그래서 문서만 갱신하면 재학습 없이도 답이 즉시 최신이 됨.

파인튜닝 ↔ RAG 결정표

파인튜닝 vs RAG

기준	파인튜닝	RAG
최신 사내 지식	재학습 필요	문서만 갱신
비용·속도	비싸고 느림	싸고 즉시
출처 추적	어려움	문서 인용
말투·형식 고정	강함	약함

지식 최신성·출처 → RAG · 말투 고정 → 파인튜닝 (8강)