레반토 Sage2 공개: 스트리밍 의사결정 지원 및 추출 비용 166배 절감

AI 상담원이나 자동화 에이전트를 개발해 본 사람이라면 사용자가 대화 도중 말을 바꾸는 상황이 얼마나 까다로운지 잘 알고 있을 것입니다. 처음에는 환불을 요구하다가 중간에 사이즈 교환으로 말을 바꾸는 경우가 대표적입니다.

기존 방식에서는 바뀐 의도를 파악하기 위해 전체 대화 내역을 매번 거대 언어 모델에 다시 보내야 했습니다. 이로 인해 응답 지연이 길어지고 토큰 비용도 눈덩이처럼 불어났습니다.

레반토는 이러한 문제를 해결하기 위해 정형 데이터 추출과 스트리밍 의사결정을 지원하는 Sage2를 정식 공개했습니다.

대화가 이어질 때마다 실시간 판단, 전체 내역 재전송 불필요

Sage2의 핵심 기능 중 하나는 웹소켓 기반의 스트리밍 결정 API입니다. 단일 세션에서 최대 32개의 질문과 16384토큰의 문맥 및 질문을 지원합니다.

예를 들어 고객이 견적을 수락했는지 여부를 단일 세션에 등록해 둘 수 있습니다. 고객이 망설이거나 조건을 거부할 때는 부정 상태를 유지하다가, 수정 제안을 받아들이는 순간 즉시 긍정으로 상태가 바뀝니다.

서버가 누적 문맥을 자체적으로 유지하기 때문에 클라이언트는 새로 추가된 대화 텍스트만 전송하면 됩니다. 레반토는 문맥이 계속해서 늘어나는 환경에서 의사결정 속도가 기존 대비 3배 빨라졌다고 밝혔습니다.

추출 비용은 Opus 5.5 대비 166분의 1 수준

또 다른 축인 추출 API는 자연어에서 원하는 형태의 정형 데이터를 직접 뽑아내는 기능입니다.

월 450달러 이하의 중형 SUV를 원한다는 문장을 넣으면 차종과 예산 정보를 추출하고, 언급되지 않은 할부 기간은 빈값으로 처리합니다. 이후 사용자가 60개월 할부를 덧붙이면 이를 표준 ISO 8601 기간 형식으로 깔끔하게 변환합니다.

레반토는 이 추출 기능이 클라우드플레어의 Clairic을 능가하며, 비용은 Claude Opus 5.5 대비 166분의 1 수준에 불과하다고 설명했습니다. 현재 추론, 웹 검색 연동, 비전 기능이 베타로 제공되며, 개발자에게는 2000만 토큰의 무료 혜택이 제공됩니다.

왜 중요한가

우리는 Sage2가 고비용 프론티어 모델에 모든 작업을 의존하던 기존 에이전트 구조의 군더더기를 덜어낸 똑똑한 시도라고 평가합니다.

실제 프로덕션 환경에서 가장 빈번하게 일어나는 작업은 상태 추적, 파라미터 추출, 조건 분기 라우팅입니다. 이런 단순하고 반복적인 판단을 매번 최고 사양 모델에 맡기는 것은 비용 낭비일 뿐 아니라 응답 속도를 떨어뜨리는 주범이었습니다.

Sage2처럼 판단을 실시간 스트리밍으로 쪼개고 추출 비용을 대폭 낮춘 인터페이스를 도입하면, 실시간 음성 상담이나 챗봇 라우팅의 지연 시간을 획기적으로 줄일 수 있습니다. 거대 모델 앞단에 두는 가벼운 신호등 역할을 톡톡히 해낼 수 있는 셈입니다.

다만 업무 흐름의 상태와 분기 조건을 사전에 명확히 정의해 두지 않으면 효과를 보기 어렵습니다. 세션당 등록 가능한 질문이 32개로 제한되어 있는 만큼, 매우 복잡하고 정형화되지 않은 대화에서도 추출 정확도가 안정적으로 유지되는지는 실제 현장에서 꼼꼼히 검증해 볼 필요가 있습니다.