오늘 끝나면
AWS Bedrock
- ✓AWS Bedrock의 핵심 문제를 한 문장으로 설명한다
- ✓오른쪽 실습에서 AWS이 어떻게 움직이는지 관찰한다
- ✓다음 강의와 이어지는 한계를 말할 수 있다
실습 미션
매니지드 파운데이션 모델 — 관리 부담 줄이기 이 문장이 실제로 무슨 뜻인지 실습에서 한 번 손으로 확인한다.
성공 조건
- □실습의 기본값을 먼저 관찰
- □입력값이나 모드를 한 번 이상 바꿔 결과 비교
- □왜 결과가 바뀌었는지 한 문장으로 설명
Enterprise LLM · 04
AWS
Bedrock
AWS의 매니지드 파운데이션 모델 서비스다.
여러 회사 모델을 API 하나로 부른다. GPU 서버는 직접 보지 않는다.
보안은 VPC·IAM으로 잡고, 비용은 쓴 토큰만큼 낸다.
매니지드 = 인프라를 AWS가 떠안음
3강 셀프호스팅은 GPU와 드라이버, 스케일링, 패치를 직접 떠안았다. Bedrock은 그걸 전부 AWS가 가진다.
매니지드(managed)는 운영 책임을 클라우드에 넘긴다는 뜻이다.
서버 프로비저닝, 모델 가중치 로딩, GPU 클러스터 확장, 장애 복구가 전부 AWS 몫이다.
쓰는 쪽은 API 호출 한 줄만 신경 쓴다.
그래서 도입 속도가 다르다. 셀프호스팅이 GPU 조달과 세팅에 몇 주 걸린다면,
Bedrock은 IAM 권한을 켜고 SDK를 부르면 그날 동작한다.
단, 가중치를 손에 쥐지 못한다. 모델 내부는 AWS 관할이다.
| 운영 항목 | 셀프 | Bedrock |
|---|---|---|
| GPU 조달·드라이버 | 나 | AWS |
| 모델 가중치 로딩 | 나 | AWS |
| 오토스케일링 | 나 | AWS |
| 보안 패치·복구 | 나 | AWS |
| 프롬프트 설계 | 나 | 나 |
| API 호출 | 나 | 나 |
여러 회사 모델을 API 하나로
Bedrock의 핵심은 단일 모델이 아니라 모델 마켓플레이스라는 점이다.
Anthropic Claude, Meta Llama, Mistral, Amazon Titan, Cohere 같은 여러 벤더 모델이 같은 Bedrock API 뒤에 꽂혀 있다.
코드는 그대로 두고 modelId만 갈아끼우면 모델이 바뀐다.
이게 실무에서 큰 이유는 작업별 분리가 쉬워지기 때문이다.
요약은 싼 모델로, 추론은 센 모델로 나눠 돌린다.
한 벤더에 묶이는 락인(lock-in)도 줄어든다. 더 나은 모델이 나오면 ID만 바꾸면 된다.
modelId만 갈면 모델이 바뀐다. 코드는 그대로다
앱 → Bedrock → 모델, VPC 안에서
요청을 보내면 패킷이 단계를 지나 모델까지 갔다 돌아온다.
사내 앱이 SDK로 부르면 IAM이 권한을 검사하고, Bedrock 런타임이 받아 모델이 추론한 뒤 응답이 되돌아온다.
전 구간이 점선 VPC·IAM 경계 안에서 처리된다.
모델 버튼을 바꿔도 흐름과 코드는 같다. 단가만 바뀐다.
요청을 누를 때마다 입력과 출력 토큰만큼 과금이 누적된다.
Claude 단가 · 입력 1200 + 출력 400 토큰 기준.
서버 0대, 쓴 토큰만큼만 과금된다. 모델을 바꿔도 코드는 그대로다.
보안은 VPC·IAM, 데이터는 학습에 안 씀
사내 도입에서 제일 먼저 묻는 건 “우리 데이터가 새지 않나”다. Bedrock의 답은 세 겹이다.
첫째는 경계다. VPC 엔드포인트(PrivateLink)로 트래픽이 퍼블릭 인터넷을 타지 않는다.
둘째는 권한이다. IAM으로 누가 어떤 모델을 부를지 정책으로 제어한다.
셋째는 데이터다. 프롬프트와 응답은 모델 학습에 쓰이지 않고 다른 고객과 공유되지 않는다.
저장할 때는 KMS 암호화, 전송할 때는 TLS가 기본이다.
이 격리가 있어야 금융이나 의료 같은 규제 산업도 도입 검토에 올린다.
VPC · PrivateLink
IAM 정책
학습 미사용 · KMS
이 격리가 규제 산업 도입의 전제다
과금은 서버 시간 아니라 토큰
셀프호스팅은 GPU를 안 써도 켜둔 시간만큼 돈이 나간다. Bedrock은 호출당 토큰으로 과금된다.
단위는 입력 토큰 1,000개당, 출력 토큰 1,000개당 단가다.
트래픽이 0이면 비용도 0이다. 유휴 GPU를 떠안지 않는다.
예측 가능한 대량 트래픽이면 프로비전드 처리량으로 단가를 낮출 수도 있다.
그래서 의사결정은 이렇게 갈린다.
트래픽이 들쭉날쭉하거나 시작 단계라면 사용량 과금의 Bedrock이 유리하다.
트래픽이 크고 일정하며 가중치 통제가 필요하면 셀프호스팅이 단가에서 역전될 수 있다.
Q. Bedrock이 줄여주는 건? (모델 정확도 · 인프라 관리 부담 · 프롬프트 길이 · 토큰 단가)
정답은 인프라 관리 부담이다.GPU 조달과 스케일링, 패치를 AWS가 떠안고, 쓰는 쪽은 모델을 API 한 줄로 부른다.
정확도나 토큰 단가는 고른 모델이 정한다. Bedrock이 깎아주는 게 아니다.
핵심은 매니지드, 즉 운영을 클라우드에 넘기는 것이다.
파란 막대 = 쓴 토큰 · 트래픽 0이면 0원