오늘 끝나면
도입 방식 선택
- ✓도입 방식 선택의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 도입이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
오픈소스 vs API vs 클라우드 — 트레이드오프 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
Enterprise LLM · 02
도입 방식
선택
사내 LLM은 모델을 직접 띄울 수도 있고 남의 API를 부를 수도 있다.
선택지는 오픈소스 셀프호스팅, API 직접, 클라우드 매니지드 셋이다.
정답은 없고 네 축의 트레이드오프가 있을 뿐이다.
갈림길은 셋이다
“우리도 LLM 써보자”에서 마주치는 첫 갈림길은 모델을 어디서 굴리느냐다.
크게 세 가지다.
첫째는 오픈소스 셀프호스팅이다. Llama, Qwen, Mistral 같은 공개 가중치 모델을 우리 GPU에 직접 올려서 굴린다. 온프렘일 수도 VPC일 수도 있다.
둘째는 API 직접이다. OpenAI나 Anthropic의 엔드포인트를 그대로 호출한다. 모델은 벤더가 가진다.
셋째는 클라우드 매니지드다. AWS Bedrock이나 Azure OpenAI처럼 우리 클라우드 계정 안에서 벤더 모델을 호출한다.
셋 다 같은 LLM을 부르는 방식이다. 다른 점은 모델이 어디에 있는지, 데이터가 어디로 흐르는지, 운영을 누가 떠안는지다.
네 개의 축으로 본다
세 방식을 직관이 아니라 같은 자로 재야 한다. 자는 네 개다.
통제는 모델 가중치와 파인튜닝, 버전을 내가 쥐느냐 벤더가 쥐느냐다.
비용은 초기 GPU와 라이선스부터 토큰 단가와 운영 인건비까지를 본다.
데이터 위치는 프롬프트와 사내 문서가 우리 경계 안에 머무느냐 밖으로 나가느냐다.
운영 부담은 GPU 증설과 배포, 장애 당직을 우리가 지느냐 벤더가 지느냐다.
이 넷을 동시에 다 가질 수는 없다. 통제와 데이터를 쥐면 운영을 떠안고, 운영을 덜면 데이터가 밖으로 나간다. 그래서 도입 방식 선택은 결국 “무엇을 포기할지”의 문제다.
| 방식 | 통제 | 비용 | 데이터 | 운영부담↓ |
|---|---|---|---|---|
| 오픈소스 | ||||
| API 직접 | ||||
| 매니지드 |
한 줄이 다 차는 방식은 없다. 고르면 포기가 따라온다
트레이드오프를 직접 굴려본다
말로는 감이 안 온다. 우리 상황의 우선순위를 직접 매겨본다.
네 축의 가중치를 0(상관없음)에서 3(절대)까지 밀면, 세 방식의 적합도 점수가 즉시 다시 계산되고 1등이 바뀐다. 데이터 위치를 올리면 셀프호스팅이, 운영 부담 낮음을 올리면 API 직접이 위로 올라온다.
숫자는 절대값이 아니라 상대 비교용이다. 핵심은 “무엇을 가장 못 포기하느냐”가 정해지면 답이 거의 따라온다는 것이다.
| 방식 | 통제 | 비용 | 데이터 위치 | 운영 부담 낮음 |
|---|---|---|---|---|
| 오픈소스 셀프호스팅 | ||||
| API 직접 호출 | ||||
| 클라우드 매니지드 |
지금 우선순위면 오픈소스 셀프호스팅, 데이터를 안 내보내고 통제를 쥐는 대신 운영을 떠안는다.
데이터가 흐르는 길이 다르다
세 방식의 진짜 차이는 데이터가 우리 경계를 넘느냐에서 갈린다.
오픈소스 셀프호스팅은 프롬프트가 우리 GPU 밖으로 안 나간다. 망분리된 온프렘이면 외부 트래픽이 0이다.
API 직접은 프롬프트가 공용 인터넷을 타고 벤더 서버로 간다. 계약상 학습 제외를 받아도 데이터 자체는 경계를 넘는다.
클라우드 매니지드는 그 중간이다. Bedrock과 Azure OpenAI는 우리 클라우드 리전과 VPC 안에서 처리되고, 입력을 모델 학습에 쓰지 않는다.
금융이나 의료, 공공 같은 규제 산업이면 이 한 줄이 사실상 방식을 정한다. “데이터가 어디까지 나가도 되나”를 먼저 못 박고 나머지를 고르는 것이 순서다.
무엇을 언제 고르나
그래서 결론은 이렇다. 방식은 상황이 고르지 취향이 고르는 것이 아니다.
데이터를 절대 밖에 못 보내면 오픈소스 셀프호스팅, 그중에서도 온프렘이다.
빨리 검증부터 하는 PoC 단계라면 API 직접이다.
이미 AWS나 Azure에 다 올라가 있고 컴플라이언스도 맞춰야 한다면 클라우드 매니지드다.
대부분은 한 방식에 못 박지 않는다. PoC는 API로 빠르게 돌리고, 민감 데이터 워크로드만 매니지드나 셀프호스팅으로 옮기는 혼합이 현실적이다.
Q. 데이터를 규정상 절대 외부로 못 내보낼 때, 첫 후보는? (API 직접 · 클라우드 매니지드 · 오픈소스 셀프호스팅)
정답은 오픈소스 셀프호스팅(온프렘)이다.공개 가중치 모델을 우리 GPU에 올리면 프롬프트가 경계 밖으로 안 나간다.
API 직접은 데이터가 벤더 서버로 나가고, 클라우드 매니지드도 우리 클라우드 안이긴 해도 외부 반출이 0이어야 하는 망분리 요건은 못 맞추는 경우가 많다.
대신 GPU와 배포, 운영 부담을 전부 떠안는 것이 대가다.
현실은 혼합이다. PoC는 API로, 민감 워크로드만 안쪽으로