파인튜닝 vs RAG
vs 프롬프트

모델을 우리 일에 맞추는 세 갈래

“우리 회사에 맞게 LLM 좀 학습시켜줘.” 막상 보면 손댈 자리가 셋임.

프롬프트는 모델은 그대로 두고 지시문만 바꿈.
RAG는 답할 때마다 사내 문서를 검색해 근거로 끼워 줌.
파인튜닝은 모델 가중치를 우리 데이터로 더 학습시킴.

건드리는 깊이가 다름. 프롬프트는 입력만, RAG는 입력 옆에 지식을, 파인튜닝은 모델 자체를 바꿈.
깊이 들어갈수록 효과는 커지지만 비용·갱신 난이도도 같이 커짐.

각 방법이 잘하는 것, 못하는 것

셋은 잘하는 결이 다름. 한 방법으로 다 덮으려 하면 비싸거나 안 맞음.

프롬프트는 즉시 · 가장 쌈. 코드 배포도 학습도 없음.
대신 넣을 수 있는 지식이 맥락 창 크기만큼이고, 말투를 강하게 고정하긴 약함.

RAG는 최신·사내 지식을 답에 끌어옴. 문서가 바뀌면 인덱스만 갈면 됨.
출처를 같이 줄 수 있어 환각도 줄임. 단, 검색이 빗나가면 답도 빗나감.

파인튜닝은 말투·형식·출력 포맷을 몸에 새김.
대신 데이터 준비·GPU 학습이 비싸고, 새 사실이 생기면 다시 학습해야 해서 갱신이 느림.

언제 무엇을 — 요구가 방법을 정함

방법부터 고르지 않음. 업무가 뭘 요구하는지 보고 거기서 역산함.

최신 사내 정보를 답에 반영해야 하면 RAG임.
가격표·정책·메뉴얼처럼 자주 바뀌는 지식은 파인튜닝으로 못 따라감.

출력 말투·형식을 항상 똑같이 찍어내야 하면 파인튜닝이 강함.
분류·상담 톤·사내 보고서 포맷 같은 정해진 틀이 그런 경우임.

빠르게 일단 써보고 싶으면 프롬프트로 시작함.
대부분의 사내 과제는 프롬프트로 70%를 맞추고, 모자란 부분을 RAG·파인튜닝으로 채움.

직접 골라보기

오른쪽에서 직접 정해 보셈.
최신성 · 말투 고정 · 비용 민감도를 슬라이더로 올리면 추천이 바뀜.

최신성을 올리면 RAG가 위로 올라옴.
말투 고정을 올리면 파인튜닝이 따라 올라옴.
비용만 높이면 프롬프트가 1위로 내려옴.

최신성과 말투를 둘 다 높이면 한 방법으로 안 끝남.
그땐 RAG로 지식을 주입하고 파인튜닝으로 말투를 고정하는 조합이 뜸.
실무 결정도 이렇게 점수가 아니라 요구에서 출발함.

비용·유지보수 — 올라갈수록 무거움

순서가 프롬프트 → RAG → 파인튜닝인 이유는 효과 순이 아니라 무게 순임.

프롬프트는 도입도 갱신도 거의 공짜임. 지시문만 고치면 끝.
RAG는 벡터DB·임베딩 파이프라인을 세워야 하지만, 한 번 세우면 문서 교체로 갱신함.

파인튜닝은 학습 데이터 수천 건 준비 · GPU 학습 · 검증이 들어감.
새 정보가 생길 때마다 재학습이라 운영 부담이 제일 큼.
그래서 파인튜닝은 “프롬프트·RAG로 못 맞추는 게 확인됐을 때”의 마지막 카드임.