오늘 끝나면
도입 방식 선택
- ✓도입 방식 선택의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 도입이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
오픈소스 vs API vs 클라우드 — 트레이드오프 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
Enterprise LLM · 02
도입 방식
선택
사내 LLM은 모델을 직접 띄울 수도, 남의 API를 부를 수도 있음.
선택지는 셋임 — 오픈소스 셀프호스팅 · API 직접 · 클라우드 매니지드.
정답은 없고, 네 축의 트레이드오프가 있을 뿐임.
갈림길은 셋이다
“우리도 LLM 써보자”에서 첫 갈림길은 모델을 어디서 굴리느냐임.
크게 셋임.
하나, 오픈소스 셀프호스팅 — Llama·Qwen·Mistral 같은 공개 가중치 모델을 우리 GPU(온프렘 또는 VPC)에 직접 올려 굴림.
둘, API 직접 — OpenAI·Anthropic의 엔드포인트를 그대로 호출함. 모델은 벤더가 가짐.
셋, 클라우드 매니지드 — AWS Bedrock·Azure OpenAI처럼 우리 클라우드 계정 안에서 벤더 모델을 호출함.
셋 다 같은 LLM을 부르는 방식임. 다른 건 모델이 어디에 있고, 데이터가 어디로 흐르고, 누가 운영을 떠안느냐임.
네 개의 축으로 본다
세 방식을 직관이 아니라 같은 자로 재야 함. 자는 네 개임.
통제 — 모델 가중치·파인튜닝·버전을 내가 쥐나, 벤더가 쥐나.
비용 — 초기 GPU·라이선스부터 토큰 단가·운영 인건비까지.
데이터 위치 — 프롬프트와 사내 문서가 우리 경계 안에 머무나, 밖으로 나가나.
운영 부담 — GPU 증설·배포·장애 당직을 우리가 지나, 벤더가 지나.
이 넷은 동시에 다 가질 수 없음. 통제·데이터를 쥐면 운영을 떠안고, 운영을 덜면 데이터가 밖으로 나감. 그래서 도입 방식 선택은 “무엇을 포기할지”의 문제임.
| 방식 | 통제 | 비용 | 데이터 | 운영부담↓ |
|---|---|---|---|---|
| 오픈소스 | ||||
| API 직접 | ||||
| 매니지드 |
한 줄이 다 차는 방식은 없음 — 고르면 포기가 따라옴
트레이드오프를 직접 굴려본다
말로는 감이 안 옴. 오른쪽에서 우리 상황의 우선순위를 직접 매겨봄.
네 축의 가중치를 0(상관없음)~3(절대)으로 밀면, 세 방식의 적합도 점수가 즉시 다시 계산되고 1등이 바뀜.
데이터 위치를 ×3으로 올려보셈 — 셀프호스팅이 위로 올라옴.
운영 부담 낮음을 ×3으로 올리면 — API 직접이 치고 올라옴.
숫자는 절대값이 아니라 상대 비교용임. 핵심은 “무엇을 가장 못 포기하느냐”가 정해지면 답이 거의 따라온다는 것임.
| 방식 | 통제 | 비용 | 데이터 위치 | 운영 부담 낮음 |
|---|---|---|---|---|
| 오픈소스 셀프호스팅 | ||||
| API 직접 호출 | ||||
| 클라우드 매니지드 |
지금 우선순위면 오픈소스 셀프호스팅 — 데이터를 안 내보내고 통제를 쥐는 대신 운영을 떠안음.
데이터가 흐르는 길이 다르다
세 방식의 진짜 차이는 데이터가 우리 경계를 넘느냐에서 갈림.
오픈소스 셀프호스팅은 프롬프트가 우리 GPU 밖으로 안 나감 — 망분리·온프렘이면 외부 트래픽이 0임.
API 직접은 프롬프트가 공용 인터넷을 타고 벤더 서버로 감 — 계약상 학습 제외를 받아도 데이터 자체는 경계를 넘음.
클라우드 매니지드는 그 중간임. Bedrock·Azure OpenAI는 우리 클라우드 리전·VPC 안에서 처리되고, 입력을 모델 학습에 쓰지 않음.
규제 산업(금융·의료·공공)이면 이 한 줄이 사실상 방식을 정함. “데이터가 어디까지 나가도 되나”를 먼저 못 박고 나머지를 고르는 게 순서임.
무엇을 언제 고르나
그래서 결론. 상황이 방식을 고르지, 취향이 고르는 게 아님.
데이터를 절대 밖에 못 보냄 → 오픈소스 셀프호스팅(온프렘).
빨리 검증부터, PoC 단계 → API 직접.
이미 AWS·Azure에 다 올라가 있고 컴플라이언스도 맞춰야 함 → 클라우드 매니지드.
대부분은 한 방식에 못 박지 않음. PoC는 API로 빠르게, 민감 데이터 워크로드만 매니지드나 셀프호스팅으로 옮기는 식의 혼합이 현실적임. 다음 강부터 가장 무거운 길인 오픈소스 셀프호스팅을 깊게 팜.
Q. 데이터를 규정상 절대 외부로 못 내보낼 때, 첫 후보는? (API 직접 · 클라우드 매니지드 · 오픈소스 셀프호스팅)
정답은 오픈소스 셀프호스팅(온프렘)임.공개 가중치 모델을 우리 GPU에 올리면 프롬프트가 경계 밖으로 안 나감.
API 직접은 데이터가 벤더 서버로 나가고, 클라우드 매니지드도 우리 클라우드 안이긴 해도 외부 반출이 0이어야 하는 망분리 요건은 못 맞추는 경우가 많음.
대신 GPU·배포·운영 부담을 전부 떠안는 게 대가임.
현실은 혼합 — PoC는 API, 민감 워크로드만 안쪽으로