AI 코딩 · 비용 평가
코딩 AI 비용, 토큰 단가보다 해결한 작업을 봅니다
AWS는 11월 13일 Bedrock·LiteLLM·NeMo Switchyard를 결합한 코딩 요청 라우팅 평가 샘플을 공개했습니다. 실패한 시도의 비용까지 합산하며 운영용 완제품이 아닌 실험용 코드입니다.
이 글에서 다룰 내용
토큰 단가의 한계, Stage·Random의 역할, 평가 샘플 아키텍처, 비용 비교와 도입 전 확인 사항
새 모델 출시보다 평가 기준에 주목합니다
AI 코딩에서 저렴한 모델을 쓰면 최종 개발비도 줄어들까요? AWS가 한국시간 2026년 11월 14일 공개한 기술글은 이 질문을 요청 한 번이 아니라 작업 전체로 바라봅니다.
이번 공개는 기존 오픈소스 NeMo Switchyard를 Amazon Bedrock과 연결하는 평가 샘플과 기술 설명입니다. 새 AI 모델이나 Switchyard 자체의 첫 출시, 상용 서비스 정식 출시로 해석하면 안 됩니다.
토큰이 싸도 작업은 비싸질 수 있습니다
코딩 AI 에이전트는 파일을 읽고, 코드를 수정하고, 테스트하는 과정을 여러 턴 반복합니다. 매번 대화 이력을 다시 보내고 실패한 시도에도 비용이 들기 때문에 토큰 단가가 낮아도 재시도가 많으면 전체 지출은 커질 수 있습니다.
그래서 핵심 지표는 전체 실행비용 합계 ÷ 테스트를 통과한 실행 수입니다. 실패 비용도 분자에 넣어야 실제로 해결된 작업당 비용을 비교할 수 있습니다.
결과표에서는 단일 모델 기준선과 모델 라우팅 그룹의 SOLVED, 즉 성공 수부터 확인합니다. 그다음 COST/SOLVED를 비교하며 전부 실패했다면 분모가 0이므로 계산할 수 없는 것이지 가장 저렴하다는 뜻은 아닙니다.
Stage는 실패 신호를 보고 모델을 고릅니다
NeMo Switchyard는 요청마다 처리 모델을 선택하는 오픈소스 라이브러리입니다. 이번 LiteLLM 실험적 통합의 Stage 전략은 최근 도구 실행 이력과 실패 신호를 살펴 고성능 모델과 저비용 모델, 정확히 두 후보 중 하나를 선택합니다.
어려운 과제를 시작 전에 완벽히 분류하는 기능은 아닙니다. 매 요청에 지원되는 전체 대화 이력이 필요하며 실패 후 고성능 모델로 넘어가면 실패 이력까지 재전송하므로 복구 비용이 커질 수 있습니다.
Random 전략은 두 개 이상 후보에 설정한 가중치로 요청을 나눠 A/B 비교에 활용합니다. 둘 다 별도 판정 모델을 호출하지 않으며 중간 분류 모델 호출이 필요한 Task·Composite는 이번 통합에서 지원하지 않습니다. 이를 Switchyard 전체 전략의 한계로 일반화해서는 안 됩니다.
연결 구조보다 먼저 API 호환성을 봅니다
CDK 샘플은 AWS 계정의 사설 서브넷에 LiteLLM과 플러그인을 ECS/Fargate 컨테이너로 배포합니다. 요청은 HTTPS 로드밸런서와 WAF, LiteLLM의 모델 선택을 거쳐 Bedrock Converse 또는 ConverseStream으로 전달됩니다.
게이트웨이는 공유 키를 검증하고, Bedrock 호출은 태스크 IAM 역할과 VPC 엔드포인트를 사용합니다. 다만 이 글은 구조와 평가 기준을 설명하는 뉴스 분석이며, 서버를 실제 배포해 검증한 결과는 아닙니다.
클라이언트 샘플의 경로는 OpenAI 호환 Chat Completions입니다. Responses API와 Anthropic Messages 경로는 기본 전달 대상이 아니므로 Claude Code나 Codex라는 이름만 보고 무수정 연결을 단정하면 안 됩니다.
연동 전에는 클라이언트가 사용하는 API와 모델·리전 접근 권한을 확인해야 합니다. 샘플에서 시험한 조합이 모든 리전에서 제공된다는 의미도 아닙니다.
비용표의 빈칸은 무료가 아닙니다
실제로 응답한 모델은 x-litellm-model-name 헤더로 확인합니다. 응답 본문의 model 값은 switchyard로 유지되므로 이 값만 보고 모델별 비용을 계산하면 안 됩니다.
비용은 토큰 사용량과 코드의 PRICES 표로 구한 추정치이며 실제 청구 확정치가 아닙니다. 캐시 입력, 가격 미등록 모델, 헤더나 토큰 사용량 누락은 무료로 집계하지 않고 unpriced 또는 n/a로 남깁니다.
최종 지출을 따질 때는 컨테이너 등 클라우드 인프라와 NAT 게이트웨이, 로드밸런서 비용도 별도로 고려해야 합니다. 모델 호출비만 낮다고 운영비 전체가 낮아지는 것은 아닙니다.
작은 실험을 비용 절감 증거로 읽지 않습니다
샘플은 작은 코딩 과제를 반복 실행해 성공률과 비용을 단일 모델 그룹과 비교합니다. 소수의 실행만으로 성능 우위나 비용 절감을 확정할 수는 없습니다.
어려운 과제는 따로 나누고 반복 실행의 변동, 턴 상한, 출력 잘림을 함께 확인해야 합니다. 필요하면 통계검정을 적용하고, 모델·프롬프트·라우팅 설정을 바꿨다면 다시 측정해야 합니다.
테스트 환경도 비용만큼 중요합니다
테스트 하위 프로세스에서 환경변수 자격증명을 제거해도 운영체제 샌드박스가 되는 것은 아닙니다. 생성 코드가 사용자 권한으로 로컬 파일과 네트워크에 접근할 수 있으므로 민감 파일과 장기 AWS 자격증명이 없는 폐기 가능한 환경이 필요합니다.
실행 기록에는 프롬프트, 모델 응답, 도구 결과, 생성 코드도 남습니다. 기록 보관과 접근 권한까지 함께 관리해야 합니다.
공식 설명도 비운영용 샘플과 실험적 통합임을 명시합니다. HTTPS·허용 IP·키 검증만으로 보안이 완성되지는 않으며 운영 전 보안·법무·준수 검토와 권한 통제가 필요합니다.
이번 공개의 가치는 절감률을 약속하는 데 있지 않습니다. 우리 업무에서 성공 수를 유지하면서 작업당 비용을 낮추는지 판단할 비교 기준을 제시한다는 데 있습니다.
한 줄 요약: AI 코딩 비용은 토큰이 얼마나 싼지가 아니라, 실패 비용까지 합쳐 작업 하나를 성공시키는 데 얼마가 드는지로 비교해야 합니다.
참고 출처
AWS가 2026년 11월 13일 발행한 기술 글과 공식 샘플 저장소, Google News RSS의 제목·출처·발행일을 대조했습니다. 이 글은 배포 실측 보고서가 아닌 공식 자료 기반 분석입니다.
