1강 · Enterprise LLM이란

오늘 끝나면

Enterprise LLM이란

✓Enterprise LLM이란의 핵심 문제를 한 문장으로 설명한다
✓오른쪽 실습에서 Enterprise이 어떻게 움직이는지 관찰한다
✓다음 강의와 이어지는 한계를 말할 수 있다

실습 미션

사내 도입의 가치와 위험 — 왜 지금인가 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.

성공 조건

□실습의 기본값을 먼저 관찰
□입력값이나 모드를 한 번 이상 바꿔 결과 비교
□왜 결과가 바뀌었는지 한 문장으로 설명

Enterprise LLM · 01

Enterprise
LLM이란

사내에 LLM을 들여 업무에 쓰는 일임.
가치는 생산성과 지식 접근, 위험은 유출·환각·비용임.
외부 챗봇과 다른 핵심은 사내 데이터 활용과 통제임.

P.01Enterprise LLM · 01

사내 LLM = 회사 일에 LLM을 들이는 것

Enterprise LLM은 거창한 게 아님. 회사 업무에 LLM을 붙여 쓰는 것임.

직원이 ChatGPT 창에 질문하는 건 개인 도구를 쓰는 것임.
그걸 회사 차원으로 끌어올려 사내 문서 위에서 답하게 하고, 누가 무엇을 묻는지 통제하면 그게 Enterprise LLM임.

핵심은 두 단어로 정리됨.
업무에 활용하고, 회사가 통제함.
이 강은 그 활용의 가치와 통제할 위험을 같이 저울에 올리는 것부터 시작함.

개인 도구 → 회사 시스템

직원이 개인 챗봇에

“이 계약서 요약해줘”

회사 밖으로 데이터가 나감 · 통제 없음

↓

회사가 들인 사내 LLM에

“이 계약서 요약해줘”

사내 데이터 위에서 답 · 로그·권한 통제

같은 질문, 다른 시스템 — 활용 + 통제가 더해짐

P.02Enterprise LLM · 01

가치 — 왜 지금 들이나

도입 이유는 결국 두 축임. 생산성과 지식 접근임.

생산성은 반복 업무를 줄임. 초안 작성, 긴 문서 요약, 코드 보조, 1차 응대 — 사람이 쥐던 시간을 모델이 당겨옴.
숫자로 잡히는 효과라 경영진을 설득하는 근거가 됨.

지식 접근은 더 깊은 가치임. 회사 안에 흩어진 문서·매뉴얼·과거 이력을 자연어로 묻고 바로 답을 받음.
신입이 베테랑의 지식에 질문 한 줄로 닿게 되는 것임.
그래서 도입은 비용 절감이 아니라 일하는 방식을 바꾸는 투자에 가까움.

LLM이 회사에서 만드는 두 축

도입이 만드는 두 축

생산성체감 70%

초안·요약코드 보조1차 응대

지식 접근체감 85%

사내 문서 검색과거 이력 질의매뉴얼 답변

비용 절감이 아니라 일하는 방식의 변화

P.03Enterprise LLM · 01

가치만큼 위험을 같이 저울에

가치만 보면 무조건 도입이 답처럼 보임. 그게 함정임.

위험도 같은 무게로 올려야 함. 사내 데이터가 외부 모델로 새는 유출, 그럴듯한 거짓을 사실처럼 내놓는 환각, 토큰·호출이 통제를 벗어나는 비용 폭증, PII·감사 추적이 빠진 규정 위반임.

오른쪽 저울에서 직접 해봄.
가치와 위험 항목을 켜고 끄면 균형추가 기욺.
가치만 켜면 추진, 위험만 켜면 보류로 기우는 게 보임. 둘을 같이 올려야 도입·보류·조건부 중 어디인지 드러남.

도입 효과 vs 리스크 — 직접 토글

가치 vs 위험 저울 · 직접 토글

가치 — 켤수록 무거움+6

위험 — 켤수록 무거움−3

판정 — 저울이 기운 쪽

도입 추진+3

가치가 분명히 큼. 단 켜진 위험은 통제 장치로 막고 시작함.

가치만 켜면 무조건 추진, 위험만 켜면 무조건 보류로 보임. 둘을 같이 올려야 진짜 결정이 보임.

P.04Enterprise LLM · 01

외부 챗봇과 다른 점

그냥 ChatGPT 쓰면 되지 않나? 회사 일에선 두 가지가 결정적으로 다름.

첫째는 데이터임. 외부 챗봇은 인터넷으로 학습한 일반 지식만 앎. 우리 회사 계약서·재고·고객 이력은 모름.
사내 LLM은 그 사내 데이터 위에서 답함. 같은 질문이라도 우리 맥락으로 답이 나옴.

둘째는 통제임. 개인 챗봇은 무엇을 입력하고 무슨 답이 나가는지 회사가 못 봄.
사내 LLM은 접근 권한·로그·정책을 회사가 쥠. 누가 무엇을 묻고 어떤 데이터가 오갔는지 남음.
정리하면 사내 데이터 활용 + 보안·통제 — 이 둘이 Enterprise LLM의 본질임.

개인 챗봇 ↔ 사내 LLM 대조

개인 챗봇 ↔ 사내 LLM

기준	외부 챗봇	사내 LLM
아는 데이터	인터넷 일반 지식	사내 문서·이력
입출력 가시성	회사가 못 봄	로그로 남음
접근 통제	없음	권한·정책 적용
책임 소재	개인	회사 거버넌스

다른 점 = 사내 데이터 활용 + 보안·통제

P.05Enterprise LLM · 01

도입은 결정의 문제다

그래서 1강의 결론은 기술이 아니라 결정임.

가치가 크다고 무턱대고 들이면 유출·환각으로 사고가 남.
위험이 무섭다고 막기만 하면 경쟁사는 이미 일하는 방식을 바꾸고 있음.
답은 가치를 살리되 위험을 통제 장치로 누른 채 시작하는 것임.

다음 강부터 그 통제 장치를 하나씩 쌓음.
도입 방식 선택, RAG로 사내 데이터 붙이기, 게이트웨이·거버넌스·비용·평가까지 — 전부 위험을 줄이며 가치를 키우는 도구임.

Q. 사내 LLM이 외부 챗봇과 다른 핵심 두 가지는?

정답은 사내 데이터 활용과 보안·통제임.
외부 챗봇은 일반 지식만 알고 회사가 입출력을 못 봄.
사내 LLM은 우리 데이터 위에서 답하고, 접근·로그·정책을 회사가 쥠.
이 둘이 빠지면 그건 그냥 개인 챗봇임.

가치·위험을 저울에 올린 뒤

도입은 결정의 문제

가치만 봄무조건 추진

→ 유출·환각 사고

위험만 봄무조건 보류

→ 경쟁에서 뒤처짐

둘을 저울에조건부 도입

→ 통제로 위험 누름

가치를 살리되 위험을 통제 장치로 눌러 시작함