이번 달 LLM 청구서, 어디서 이만큼 나왔는지 설명할 수 있나요?
모델·팀·기능별로 지출을 나눠 보여 주고, 더 싼 모델로 바꿔도 되는 곳을 짚어 주는 비용 관측 도구를 준비하고 있습니다.
대기자 등록출시 전입니다. 베타가 열리면 먼저 알려 드립니다.
- 8월 지출
- 842만 원
- 7월 대비
- +22.7%
- 줄일 수 있어 보이는 금액
- 월 220만 원
8월 LLM 지출 리포트
기능별로 나눠 보는 중. 합계는 8,420,000원으로 같습니다.
| 기능 | 7월 | 8월 | 증감 | 절감 제안 |
|---|---|---|---|---|
| 고객 상담 챗봇CS팀, 상위 모델 | 2,980,000 | 3,120,000 | +4.7% | |
| 계약서 요약운영팀, 상위 모델월 1,300,000원중형 모델로 충분해 보임 | 1,020,000 | 1,860,000 | +82.4% | 월 1,300,000원중형 모델로 충분해 보임 |
| 코드 리뷰 봇개발팀, 중형 모델 | 1,350,000 | 1,210,000 | −10.4% | |
| 리뷰 감정 분류데이터팀, 상위 모델월 900,000원소형 모델로 충분해 보임 | 910,000 | 940,000 | +3.3% | 월 900,000원소형 모델로 충분해 보임 |
| 태그 없음알 수 없음, 여러 모델팀이 지정되지 않은 API 키 2개 | 240,000 | 910,000 | +279.2% | 팀이 지정되지 않은 API 키 2개 |
| 사내 문서 검색개발팀, 임베딩 | 360,000 | 380,000 | +5.6% | |
| 합계 | 6,860,000 | 8,420,000 | +22.7% | 월 2,200,000원 |
LLM 비용 이야기가 나오면 이런 말이 오갑니다
실제 고객 후기가 아니라, 만들면서 확인하려는 문제들입니다.
재무 담당의 고민
LLM 비용이 석 달 만에 두 배가 됐는데, 개발팀도 이유를 설명하지 못합니다.
공급사 청구서에는 모델별 합계만 있고, 어느 팀의 어떤 기능이 썼는지는 나오지 않습니다.
CTO의 고민
비싼 모델을 필요 이상으로 쓰는 것 같은데, 어디를 바꿔도 되는지 모르겠어요.
요약이나 분류처럼 단순한 작업도 가장 비싼 모델로 돌고 있을 수 있지만, 확인할 방법이 없습니다.
개발 리드의 고민
API 키가 여러 개라 월말마다 스프레드시트로 비용을 합칩니다.
공급사마다 청구 화면과 단위가 달라서, 팀별로 나누는 데만 반나절이 걸립니다.
이렇게 쓰게 될 예정입니다
청구 내역과 API 키 연결
쓰고 있는 LLM 공급사의 사용 내역을 읽기 전용으로 연결하는 방식을 준비하고 있습니다.
연결 예시 공급사 A 사용 내역 읽기 연결됨 공급사 B 사용 내역 읽기 연결됨 클라우드 AI 서비스 청구 내보내기 대기 팀과 기능 이름 붙이기
API 키나 프로젝트마다 어느 팀, 어느 기능인지 한 번만 지정하는 방식을 생각하고 있습니다.
API 키 이름표 예시 sk-…3f9a CS팀고객 상담 챗봇 sk-…71c2 운영팀계약서 요약 proj_review 데이터팀리뷰 감정 분류 sk-…09bd 지정 안 됨 sk-…e41a 지정 안 됨 월간 리포트와 교체 제안 받기
팀·기능·모델별 지출과 함께, 더 작은 모델로 바꿔도 될 만한 곳과 예상 절감액을 제안할 계획입니다.
계약서 요약
- 지금
- 상위 모델
- 제안
- 중형 모델
- 근거
- 요청당 입력 평균 3,200토큰, 출력 180토큰인 요약 작업
- 예상 절감
- 월 1,300,000원
바꿀지는 팀이 판단하고 직접 적용합니다.
연결 방식과 화면은 예시이며 베타 전에 바뀔 수 있습니다.
이런 팀을 위해 만들고 있습니다
| 기준 | 잘 맞는 팀 | 아직은 맞지 않을 수 있는 팀 |
|---|---|---|
| 월 LLM 비용 | 수백만 원을 넘어선 스타트업 | 수십만 원 이하인 팀 |
| 모델 공급사 | 두 곳 이상의 모델 공급사를 함께 쓰는 팀 | 모델을 직접 호스팅해 API 청구서가 없는 팀 |
| 필요한 숫자 | 기능별 원가를 알아야 가격을 정할 수 있는 팀 | 해당 없음 |
| 보고 | LLM 예산을 매달 보고해야 하는 CTO와 재무 담당 | 해당 없음 |
베타가 열리면
가장 먼저 알려 드릴게요
- 받는 사람
- 업무용 이메일을 남긴 분
- 보내는 것
- 베타 초대와 출시 소식만
- 보내는 때
- 베타가 열릴 때
자주 묻는 질문
- 프롬프트나 응답 내용도 보게 되나요?
- 비용 계산에는 토큰 수, 모델, 팀·기능 태그 같은 사용 기록만 쓰도록 설계하고 있습니다. 프롬프트와 응답 본문은 저장하지 않는 것을 기본으로 할 계획입니다.
- 더 싼 모델로 자동으로 바꿔 주나요?
- 아니요. 바꿔도 될 만한 곳과 예상 절감액을 제안하는 데까지만 합니다. 실제로 바꿀지는 팀이 판단하고 직접 적용합니다.
- 언제부터 쓸 수 있고, 비용은 얼마인가요?
- 지금은 출시 전입니다. 대기자에게 먼저 베타 초대를 보내고, 가격은 베타 기간에 정해 대기자에게 가장 먼저 알려 드립니다.