파인튜닝 vs RAG
vs 프롬프트

모델을 우리 일에 맞추는 세 갈래

“우리 회사에 맞게 LLM 좀 학습시켜줘.” 막상 보면 손댈 자리가 셋이다.

프롬프트는 모델은 그대로 두고 지시문만 바꾼다.
RAG는 답할 때마다 사내 문서를 검색해 근거로 끼워 준다.
파인튜닝은 모델 가중치를 우리 데이터로 더 학습시킨다.

건드리는 깊이가 다르다. 프롬프트는 입력만, RAG는 입력 옆에 지식을, 파인튜닝은 모델 자체를 바꾼다.
깊이 들어갈수록 효과는 커지지만 비용과 갱신 난이도도 같이 커진다.

각 방법이 잘하는 것, 못하는 것

셋은 잘하는 결이 다르다. 한 방법으로 다 덮으려 하면 비싸지거나 안 맞는다.

프롬프트는 즉시 쓰고 가장 싸다. 코드 배포도 학습도 없다.
대신 넣을 수 있는 지식이 맥락 창 크기만큼이고, 말투를 강하게 고정하기엔 약하다.

RAG는 최신 사내 지식을 답에 끌어온다. 문서가 바뀌면 인덱스만 갈면 된다.
출처를 같이 줄 수 있어 환각도 줄인다. 단, 검색이 빗나가면 답도 빗나간다.

파인튜닝은 말투와 형식, 출력 포맷을 몸에 새긴다.
대신 데이터 준비와 GPU 학습이 비싸고, 새 사실이 생기면 다시 학습해야 해서 갱신이 느리다.

언제 무엇을, 요구가 방법을 정한다

방법부터 고르지 않는다. 업무가 뭘 요구하는지 보고 거기서 역산한다.

최신 사내 정보를 답에 반영해야 하면 RAG다.
가격표, 정책, 매뉴얼처럼 자주 바뀌는 지식은 파인튜닝으로 못 따라간다.

출력 말투와 형식을 항상 똑같이 찍어내야 하면 파인튜닝이 강하다.
분류, 상담 톤, 사내 보고서 포맷처럼 정해진 틀이 그런 경우다.

빠르게 일단 써보고 싶으면 프롬프트로 시작한다.
대부분의 사내 과제는 프롬프트로 70%를 맞추고, 모자란 부분을 RAG와 파인튜닝으로 채운다.

직접 골라보기

최신성, 말투 고정, 비용 민감도를 슬라이더로 올리면 추천이 바뀐다.

최신성을 올리면 RAG가 위로 올라온다.
말투 고정을 올리면 파인튜닝이 따라 올라온다.
비용만 높이면 프롬프트가 1위로 내려온다.

최신성과 말투를 둘 다 높이면 한 방법으로 끝나지 않는다.
그땐 RAG로 지식을 주입하고 파인튜닝으로 말투를 고정하는 조합이 뜬다.
실무 결정도 이렇게 점수가 아니라 요구에서 출발한다.

비용·유지보수, 올라갈수록 무거워진다

순서가 프롬프트, RAG, 파인튜닝인 이유는 효과 순이 아니라 무게 순이다.

프롬프트는 도입도 갱신도 거의 공짜다. 지시문만 고치면 끝난다.
RAG는 벡터DB와 임베딩 파이프라인을 세워야 하지만, 한 번 세우면 문서 교체로 갱신한다.

파인튜닝은 학습 데이터 수천 건 준비와 GPU 학습, 검증이 들어간다.
새 정보가 생길 때마다 재학습이라 운영 부담이 제일 크다.
그래서 파인튜닝은 프롬프트와 RAG로 못 맞추는 게 확인됐을 때 꺼내는 마지막 카드다.