엔비디아, NeMo 스위치야드 공개: 모델 라우팅으로 AI 에이전트 비용 74% 절감

AI 에이전트를 실무에 투입할 때 가장 먼저 부딪히는 장벽은 눈덩이처럼 불어나는 API 비용입니다. 디렉터리 경로를 확인하거나 에러 로그를 한 줄 파싱하는 단순 반복 작업에도 가장 비싼 플래그십 모델이 호출되는 경우가 많기 때문입니다.

엔비디아는 이 같은 자원 낭비를 줄이기 위해 오픈소스 모델 라우팅 프레임워크인 'NeMo 스위치야드(NeMo Switchyard)'를 공개했습니다. 이와 함께 에이전트의 반복 작업 처리에 특화된 300억 파라미터 규모의 경량 MoE 모델 '네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)'도 선보였습니다.

스위치야드는 에이전트 시스템 내부의 교통정리 역할을 맡습니다. 워크플로의 모든 요청을 단 하나의 초대형 모델로 몰아넣지 않고, 각 단계의 난이도와 상황에 맞춰 모델 풀에서 가장 비용 효율적인 모델을 골라 작업을 전달합니다.

어려운 순간에만 최고급 모델을 부른다

복잡한 다단계 에이전트 작업이라도 모든 순간에 고도의 추론이 필요한 것은 아닙니다. 코드 탐색이나 파일 수정 같은 일상적 작업은 작은 모델로도 충분히 처리할 수 있으며, 최고 성능의 모델은 심각한 에러나 병목이 생겼을 때만 투입해도 됩니다.

스위치야드는 별도 학습 없이 바로 쓸 수 있는 튜닝 프리 라우터를 지원합니다. 저비용 모델로 작업을 시작하다가 연속된 오류나 루프가 감지되면 상위 모델로 전환하는 에스컬레이션 라우터, 도구 사용 내역을 감시해 난이도에 맞춰 모델을 바꾸는 스테이지 라우터가 대표적입니다.

더 정교한 제어를 원할 경우 사전 학습된 프리필 라우터도 제공합니다. 프롬프트 프리필 단계에서 모델 내부 잔여 스트림 신호를 추출해 각 모델이 작업을 완수할 확률을 예측하고, 비용 및 지연 시간 기준에 따라 가장 균형 잡힌 모델을 자동 선택합니다.

내부적으로는 공급자 중립적인 SDK 아키텍처를 갖췄습니다. OpenAI나 Anthropic API 형식을 그대로 수용하는 게이트웨이 형태로 동작하기 때문에, 백엔드 모델을 바꾸더라도 서비스 코드를 뜯어고칠 필요가 없습니다.

비용 74% 절감, 최고급 모델 호출은 7%에 불과

라우팅의 실효성은 실제 벤치마크 수치로 입증됐습니다. 랭체인(LangChain)은 고객 지원, 장애 조사 등 프로덕션 환경을 반영한 145개의 멀티턴 에이전트 태스크를 통해 성능을 측정했습니다.

네모트론 3.5 라이트닝과 클로드 오퍼스 4.8을 에스컬레이션 라우터로 엮어 테스트한 결과, 오퍼스 단독 실행 대비 운영 비용이 74% 줄었습니다.

테스트 전반에서 오퍼스로 전달된 호출은 전체의 7%에 불과했으며, 정확도 하락 폭은 약 6%포인트 수준으로 제한됐습니다.

코딩 에이전트 데빈을 개발한 코그니션 역시 스테이지 라우팅 방식을 테스트했습니다. 오퍼스 5와 키미 K2.7을 교차 배치해 50.6%의 정확도를 유지하면서도 평균 작업 비용을 3.11달러로 묶어 오퍼스 전용 대비 약 28%의 비용을 절감했습니다.

현재 LiteLLM과 API 게이트웨이 콩(Kong) 등에 플러그인이 제공되고 있으며, 지멘스와 케이던스 등 산업용 에이전트 워크플로에도 빠르게 통합되고 있습니다.

왜 중요한가

상시 가동되는 AI 에이전트를 운영하는 기업에게 토큰 경제학은 서비스 생존을 결정짓는 핵심 지표입니다. 단순 도구 호출 하나마다 수십 센트씩 비용이 빠져나간다면 에이전트 비즈니스는 지속되기 어렵습니다.

그동안 업계는 모든 작업을 단일 프런티어 모델 하나로 해결하려는 경향이 강했습니다. 하지만 모델마다 강점이 다른 만큼, 스위치야드 같은 다중 모델 협업 방식은 에이전트 개발을 단순 모델 스펙 경쟁에서 실용적인 시스템 엔지니어링 단계로 진화시킵니다.

엔비디아의 이 같은 행보는 매우 영리해 보입니다. 고객들이 막대한 API 비용에 지쳐 에이전트 도입을 멈추지 않도록 라우팅 표준을 제시하면서, 자사의 경량 오픈 모델을 대량 추론 파이프라인의 기본 축으로 안착시키고 있습니다.

다만 라우팅 판단 과정에서 생기는 미세한 지연 시간과 서로 다른 모델 간 프롬프트 호환성 관리는 개발자가 직접 검증하고 풀어야 할 과제로 남아 있습니다.