비용
관리

토큰이 곧 비용이다

사내 LLM 청구서는 한 줄로 요약된다. 처리한 토큰 수에 단가를 곱한 값이다.

토큰은 모델이 글을 자르는 조각이다. 영어는 단어보다 조금 잘게, 한국어는 더 잘게 쪼갠다.
대략 한국어 1글자가 토큰 1~2개, 영어 단어 하나가 토큰 약 1.3개라고 보면 된다.

비용은 두 묶음으로 나뉜다.
입력 토큰은 프롬프트와 붙인 문서, 대화 기록 전부다.
출력 토큰은 모델이 생성한 답변이다.
단가는 보통 1M(백만) 토큰당으로 매겨지고, 출력이 입력보다 3~5배 비싸다.

그래서 비용 감각은 단순하다. 길게 넣고 길게 받으면 비싸진다.
줄일 자리도 결국 같은 데서 나온다. 넣는 양과 받는 양, 그리고 단가다.

요청 하나의 원가 분해

큰 청구서도 결국 요청 한 건의 원가가 쌓인 결과다. 한 건부터 뜯어본다.

요청 한 건의 비용은 (입력 토큰 ÷ 1M × 입력 단가) 더하기 (출력 토큰 ÷ 1M × 출력 단가)다.
여기에 월 요청 수를 곱하면 월 비용이 나온다.

핵심은 출력 토큰이다. 같은 토큰 수라도 출력이 훨씬 비싸서, 답을 장황하게 뽑으면 원가가 빠르게 분다.
그래서 “간결하게 답하라” 한 줄도 비용 정책이 된다.

한 건이 0.01달러라도 월 6만 건이면 600달러다.
단위가 작아 방심하기 쉽지만, 요청 수를 곱하는 순간 규모가 드러난다.

캐싱과 모델 선택, 줄이는 세 자리

비용을 줄이는 길은 화려하지 않다. 토큰을 덜 쓰거나 싼 단가로 처리하거나, 둘뿐이다.

프롬프트 단축은 안 쓰는 예시와 중복 설명, 통째로 붙인 문서를 덜어내는 것이다.
RAG로 필요한 조각만 골라 넣으면 입력 토큰이 바로 줄어든다.

프롬프트 캐싱은 시스템 프롬프트나 긴 매뉴얼처럼 매번 똑같이 들어가는 입력을 캐시하는 것이다.
캐시 히트 분량은 단가가 1/10 수준으로 떨어진다. 반복 입력이 많을수록 효과가 크다.

작은 모델 라우팅은 모든 요청에 최상위 모델을 쓰지 않는 것이다.
분류와 추출, 간단한 답변은 소형 모델로 보내고 어려운 추론만 프런티어 모델로 올린다.
단가가 수십 배 차이라, 쉬운 요청을 옮기는 것만으로 총비용이 크게 빠진다.

직접 계산해보기

모델과 일 요청 수, 요청당 입력 토큰과 출력 토큰을 정하면 월 비용이 나온다.

프롬프트 단축은 입력 토큰을, 캐싱은 반복 입력의 단가를, 라우팅은 모델 단가 자체를 낮춘다.
세 개를 다 켜면 같은 요청량에도 비용이 절반 이하로 떨어진다.

출력 토큰을 늘릴 때 청구액이 가장 빨리 오른다.
실무 의사결정도 이렇게 추정을 먼저 하고 절감 카드를 얹는 순서를 따른다.

모니터링으로 폭주를 막는다

비용 사고는 단가가 아니라 통제 안 된 사용량에서 터진다. 그래서 줄이는 만큼 지켜보는 일이 중요하다.

요청마다 팀과 기능, 모델별 토큰 수를 로그로 남긴다.
어디서 토큰을 많이 쓰는지 보여야 어디를 줄일지 정할 수 있다.
무한 루프나 폭주하는 배치 작업은 토큰 추적이 없으면 청구서로만 발견된다.

한도와 알림을 같이 건다. 팀별 월 예산과 사용자별 분당 요청 상한(레이트 리밋), 예산 80% 도달 시 알림이다.
상한이 있어야 버그 하나가 하루 만에 한 달 예산을 태우는 일을 막는다.