1강 · Enterprise LLM이란

오늘 끝나면

Enterprise LLM이란

✓Enterprise LLM이란의 핵심 문제를 한 문장으로 설명한다
✓오른쪽 실습에서 Enterprise이 어떻게 움직이는지 관찰한다
✓다음 강의와 이어지는 한계를 말할 수 있다

실습 미션

사내 도입의 가치와 위험 — 왜 지금인가 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.

성공 조건

□실습의 기본값을 먼저 관찰
□입력값이나 모드를 한 번 이상 바꿔 결과 비교
□왜 결과가 바뀌었는지 한 문장으로 설명

Enterprise LLM · 01

Enterprise
LLM이란

사내에 LLM을 들여 업무에 쓰는 일이다.
가치는 생산성과 지식 접근이고, 위험은 유출과 환각과 비용이다.
외부 챗봇과 다른 핵심은 사내 데이터 활용과 통제다.

P.01Enterprise LLM · 01

사내 LLM은 회사 일에 LLM을 들이는 것이다

Enterprise LLM은 거창한 게 아니다. 회사 업무에 LLM을 붙여 쓰는 것이다.

직원이 ChatGPT 창에 질문하는 건 개인 도구를 쓰는 것이다.
그걸 회사 차원으로 끌어올려 사내 문서 위에서 답하게 하고, 누가 무엇을 묻는지 통제하면 그게 Enterprise LLM이다.

핵심은 두 단어로 정리된다.
업무에 활용하고, 회사가 통제한다.
활용의 가치와 통제할 위험을 같은 저울에 올리는 것이 출발점이다.

개인 도구에서 회사 시스템으로

직원이 개인 챗봇에

“이 계약서 요약해줘”

회사 밖으로 데이터가 나간다 · 통제 없음

↓

회사가 들인 사내 LLM에

“이 계약서 요약해줘”

사내 데이터 위에서 답한다 · 로그와 권한 통제

같은 질문, 다른 시스템. 활용과 통제가 더해진다

P.02Enterprise LLM · 01

가치, 왜 지금 들이나

도입 이유는 결국 두 축이다. 생산성과 지식 접근이다.

생산성은 반복 업무를 줄인다. 초안 작성, 긴 문서 요약, 코드 보조, 1차 응대까지 사람이 쥐던 시간을 모델이 당겨온다.
숫자로 잡히는 효과라 경영진을 설득하는 근거가 된다.

지식 접근은 더 깊은 가치다. 회사 안에 흩어진 문서와 매뉴얼과 과거 이력을 자연어로 묻고 바로 답을 받는다.
신입이 베테랑의 지식에 질문 한 줄로 닿게 되는 것이다.
그래서 도입은 비용 절감이 아니라 일하는 방식을 바꾸는 투자에 가깝다.

LLM이 회사에서 만드는 두 축

도입이 만드는 두 축

생산성체감 70%

초안·요약코드 보조1차 응대

지식 접근체감 85%

사내 문서 검색과거 이력 질의매뉴얼 답변

비용 절감이 아니라 일하는 방식의 변화

P.03Enterprise LLM · 01

가치만큼 위험을 같이 저울에

가치만 보면 무조건 도입이 답처럼 보인다. 그게 함정이다.

위험도 같은 무게로 올려야 한다. 사내 데이터가 외부 모델로 새는 유출, 그럴듯한 거짓을 사실처럼 내놓는 환각, 토큰과 호출이 통제를 벗어나는 비용 폭증, PII와 감사 추적이 빠진 규정 위반이다.

가치만 켜면 추진으로, 위험만 켜면 보류로 기운다. 둘을 같이 올려야 도입과 보류와 조건부 중 어디인지 드러난다.

도입 효과 vs 리스크, 직접 토글

가치 vs 위험 저울 · 직접 토글

가치, 켤수록 무거워진다+6

위험, 켤수록 무거워진다−3

판정, 저울이 기운 쪽

도입 추진+3

가치가 분명히 크다. 단 켜진 위험은 통제 장치로 막고 시작한다.

가치만 켜면 무조건 추진, 위험만 켜면 무조건 보류로 보인다. 둘을 같이 올려야 진짜 결정이 보인다.

P.04Enterprise LLM · 01

외부 챗봇과 다른 점

회사 일에서는 외부 챗봇과 두 가지가 결정적으로 다르다.

첫째는 데이터다. 외부 챗봇은 인터넷으로 학습한 일반 지식만 안다. 우리 회사 계약서와 재고와 고객 이력은 모른다.
사내 LLM은 그 사내 데이터 위에서 답한다. 같은 질문이라도 우리 맥락으로 답이 나온다.

둘째는 통제다. 개인 챗봇은 무엇을 입력하고 무슨 답이 나가는지 회사가 못 본다.
사내 LLM은 접근 권한과 로그와 정책을 회사가 쥔다. 누가 무엇을 묻고 어떤 데이터가 오갔는지 남는다.
정리하면 사내 데이터 활용과 보안 통제, 이 둘이 Enterprise LLM의 본질이다.

개인 챗봇 ↔ 사내 LLM 대조

개인 챗봇 ↔ 사내 LLM

기준	외부 챗봇	사내 LLM
아는 데이터	인터넷 일반 지식	사내 문서·이력
입출력 가시성	회사가 못 봄	로그로 남음
접근 통제	없음	권한·정책 적용
책임 소재	개인	회사 거버넌스

다른 점은 사내 데이터 활용과 보안 통제다

P.05Enterprise LLM · 01

도입은 결정의 문제다

그래서 1강의 결론은 기술이 아니라 결정이다.

가치가 크다고 무턱대고 들이면 유출과 환각으로 사고가 난다.
위험이 무섭다고 막기만 하면 경쟁사는 이미 일하는 방식을 바꾸고 있다.
답은 가치를 살리되 위험을 통제 장치로 누른 채 시작하는 것이다.

도입 방식 선택, RAG로 사내 데이터 붙이기, 게이트웨이와 거버넌스와 비용과 평가는 모두 위험을 줄이며 가치를 키우는 통제 장치다.

Q. 사내 LLM이 외부 챗봇과 다른 핵심 두 가지는?

정답은 사내 데이터 활용과 보안 통제다.
외부 챗봇은 일반 지식만 알고 회사가 입출력을 못 본다.
사내 LLM은 우리 데이터 위에서 답하고, 접근과 로그와 정책을 회사가 쥔다.
이 둘이 빠지면 그건 그냥 개인 챗봇이다.

가치와 위험을 저울에 올린 뒤

도입은 결정의 문제

가치만 본다무조건 추진

→ 유출과 환각 사고

위험만 본다무조건 보류

→ 경쟁에서 뒤처진다

둘을 저울에조건부 도입

→ 통제로 위험을 누른다

가치를 살리되 위험을 통제 장치로 눌러 시작한다