오늘 끝나면
AWS Bedrock
- ✓AWS Bedrock의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 AWS이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
매니지드 파운데이션 모델 — 관리 부담 줄이기 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
Enterprise LLM · 04
AWS
Bedrock
AWS의 매니지드 파운데이션 모델 서비스임.
여러 회사 모델을 API 하나로 부름. GPU 서버는 안 봄.
보안은 VPC·IAM, 비용은 쓴 토큰만큼.
매니지드 = 인프라를 AWS가 떠안음
3강 셀프호스팅은 GPU·드라이버·스케일링·패치를 직접 떠안았음. Bedrock은 그걸 다 AWS가 가짐.
매니지드(managed)는 운영 책임을 클라우드에 넘긴다는 뜻임.
서버 프로비저닝·모델 가중치 로딩·GPU 클러스터 확장·장애 복구 — 전부 AWS 몫임.
쓰는 쪽은 API 호출 한 줄만 신경 씀.
그래서 도입 속도가 다름. 셀프호스팅이 GPU 조달·세팅에 몇 주 걸린다면,
Bedrock은 IAM 권한 켜고 SDK 부르면 그날 동작함.
단, 가중치를 손에 못 쥠 / 모델 내부는 AWS 관할임.
| 운영 항목 | 셀프 | Bedrock |
|---|---|---|
| GPU 조달·드라이버 | 나 | AWS |
| 모델 가중치 로딩 | 나 | AWS |
| 오토스케일링 | 나 | AWS |
| 보안 패치·복구 | 나 | AWS |
| 프롬프트 설계 | 나 | 나 |
| API 호출 | 나 | 나 |
여러 회사 모델을 API 하나로
Bedrock의 핵심은 단일 모델이 아니라 모델 마켓플레이스라는 점임.
Anthropic Claude, Meta Llama, Mistral, Amazon Titan, Cohere — 여러 벤더 모델이 같은 Bedrock API 뒤에 꽂혀 있음.
코드는 그대로 두고 modelId만 갈아끼우면 모델이 바뀜.
이게 실무에서 큰 이유 —
요약은 싼 모델, 추론은 센 모델로 작업별 분리가 쉬움.
한 벤더에 묶이는 락인(lock-in)도 줄음 / 더 나은 모델이 나오면 ID만 바꾸면 됨.
modelId만 갈면 모델 교체 — 코드는 그대로
앱 → Bedrock → 모델, VPC 안에서
오른쪽에서 직접 호출해 봄. 요청을 보내면 패킷이 단계를 지나 모델까지 갔다 돌아옴.
흐름은 단순함.
사내 앱이 SDK로 부름 → IAM이 권한 검사 → Bedrock 런타임이 받음 → 모델이 추론 → 응답이 되돌아옴.
전 구간이 점선 VPC·IAM 경계 안에서 처리됨.
모델 버튼을 바꿔도 흐름·코드는 같음 / 단가만 바뀜.
요청을 누를 때마다 입력·출력 토큰만큼 과금이 누적됨.
이 두 가지 — 모델 교체와 사용량 과금 — 이 Bedrock의 감각임.
Claude 단가 · 입력 1200 + 출력 400 토큰 기준.
서버 0대 — 쓴 토큰만큼만 과금됨. 모델을 바꿔도 코드는 그대로임.
보안은 VPC·IAM, 데이터는 학습에 안 씀
사내 도입에서 제일 먼저 묻는 건 “우리 데이터가 새지 않나”임. Bedrock의 답은 세 겹임.
첫째 경계 — VPC 엔드포인트(PrivateLink)로 트래픽이 퍼블릭 인터넷을 안 탐.
둘째 권한 — IAM으로 누가 어떤 모델을 부를지 정책으로 제어함.
셋째 데이터 — 프롬프트·응답은 모델 학습에 쓰이지 않고 다른 고객과 공유되지 않음.
저장 시 KMS 암호화, 전송 시 TLS가 기본임.
이 격리가 있어야 규제 산업(금융·의료)도 도입 검토에 올림.
VPC · PrivateLink
IAM 정책
학습 미사용 · KMS
이 격리가 규제 산업 도입의 전제임
과금은 서버 시간 아니라 토큰
셀프호스팅은 GPU를 안 써도 켜둔 시간만큼 돈이 나감. Bedrock은 호출당 토큰으로 과금됨.
단위는 입력 토큰 1,000개당, 출력 토큰 1,000개당 단가임.
트래픽이 0이면 비용도 0임 / 유휴 GPU를 떠안지 않음.
예측 가능한 대량 트래픽이면 프로비전드 처리량으로 단가를 낮출 수도 있음.
그래서 의사결정은 이렇게 갈림.
트래픽이 들쭉날쭉하거나 시작 단계 → 사용량 과금의 Bedrock이 유리함.
트래픽이 크고 일정하며 가중치 통제가 필요 → 셀프호스팅이 단가에서 역전될 수 있음.
Q. Bedrock이 줄여주는 건? (모델 정확도 · 인프라 관리 부담 · 프롬프트 길이 · 토큰 단가)
정답은 인프라 관리 부담임.GPU 조달·스케일링·패치를 AWS가 떠안고, 쓰는 쪽은 모델을 API 한 줄로 부름.
정확도나 토큰 단가는 고른 모델이 정함 / Bedrock이 깎아주는 게 아님.
핵심은 매니지드 — 운영을 클라우드에 넘기는 것임.
파란 막대 = 쓴 토큰 · 트래픽 0이면 0원