흄AI, 음성 감정·특징 실시간 분석하는 '오디오 디시전 API' 출시

고객센터 통화에서 가장 중요한 신호는 고객이 내뱉은 말보다, 말문이 막힌 순간의 짧은 한숨이나 미묘하게 굳어진 목소리 톤인 경우가 많습니다.

하지만 지금까지 대다수 음성 AI와 통화 품질 평가 도구는 음성을 먼저 텍스트로 변환해 처리했습니다. 활자로 바꾸고 나면 "알겠습니다"라는 한마디가 만족의 표현인지, 폭발 직전의 체념인지 구분할 길이 없습니다. 텍스트 변환 과정에서 소리 속에 담긴 핵심 맥락이 전부 사라져 버렸기 때문입니다.

감정 과학 연구 기업 흄AI(Hume AI)는 원본 오디오에서 직접 감정과 소리의 특징을 판단하는 '오디오 디시전 API(Audio Decision API)'를 발표했습니다.

JSON 한 줄로 오디오에 직접 질문 던지기

기존 콜센터에서 평가 지표 하나를 바꾸려면 평가지 재작성, 파이프라인 개편, 모델 재학습 등 수일에서 수주가 걸리는 대규모 작업이 필요했습니다.

오디오 디시전 API는 이 과정을 극적으로 단순화했습니다. 원본 오디오 파일이나 실시간 스트림을 넣고 질문과 선택지만 정의하면, 모델이 각 선택지에 대한 확률값을 구조화된 데이터로 곧바로 반환합니다. 별도의 라벨링이나 재학습 없이 JSON 코드 한 줄만 추가하면 새로운 질문을 던질 수 있습니다.

질문 방식은 네 가지를 지원합니다. 고객의 짜증 여부를 묻는 'Yes/No', 상담원의 어조를 고르는 '객관식 선택', 상담원의 인내심을 점수화하는 '척도 평가', 그리고 웃음이나 한숨이 발생한 정확한 시작·종료 구간을 찾는 '구간 감지'입니다. 감정뿐 아니라 배경의 사이렌 소리, 발화자 수, 심지어 목소리가 AI로 생성되었는지 여부까지 동시에 판별할 수 있습니다.

4만 개 통화 녹음을 몇 분 만에 검색

이 API의 진가는 압도적인 처리 속도에서 드러납니다.

실시간 통화 중에 몇 초마다 수십 개의 질문을 동시에 처리할 수 있을 만큼 빠르며, 4만 건에 달하는 대규모 녹음 파일 라이브러리를 몇 분 만에 검색해 냅니다. 사전 텍스트 변환이나 인덱싱 없이도 "고객이 화가 난 모든 통화"를 오디오 상태 그대로 빠르게 찾아낼 수 있는 셈입니다.

성능의 배경에는 흄AI가 수년간 축적한 감정 과학 연구와 수천만 건의 인간 지각 평가 데이터가 있습니다. 초기 벤치마크에서 이 모델은 인간 평가 패널의 평균 판단과 70.7%의 일치율을 기록했습니다. 이는 개별 인간 평가자의 기준 일치율인 56.5%를 웃도는 수치입니다. 흄AI는 기존 음성 처리 방식과 비교해 정확도, 처리 속도, 비용 등 세 가지 핵심 지표 모두에서 우위를 점했다고 강조했습니다.

현재 흄AI 공식 홈페이지에서 대기자 명단을 받고 있으며, 플레이그라운드를 통해 파일 업로드 및 실시간 오디오 테스트를 체험해 볼 수 있습니다.

왜 중요한가

우리는 흄AI가 무거운 텍스트 생성 모델 대신 가벼운 '구조화된 의사결정 계층'을 택한 점을 매우 현실적이고 영리한 전략으로 봅니다.

오디오 전체를 범용 멀티모달 LLM에 넣어 줄글로 설명을 듣는 방식은 느리고 비용이 많이 들며 환각 위험도 큽니다. 반면 흄의 API는 간결한 확률값을 반환하므로, 고객의 불만 지수가 일정 수준을 넘으면 즉시 숙련된 상담원에게 호를 넘기는 식의 비즈니스 자동화 룰을 즉각 구현할 수 있습니다.

보이스 에이전트를 구축하는 개발팀에게도 매우 유용한 도구입니다. 텍스트 전사본에만 의존하던 기존 봇은 사용자의 머뭇거림이나 비꼬는 어조를 알아채지 못해 엉뚱하고 기계적인 대답을 내놓기 일쑤였습니다. 전사 텍스트와 함께 실시간 감정 데이터를 LLM에 전달할 수 있다면, 훨씬 더 눈치 빠르고 자연스러운 음성 상호작용이 가능해집니다.

다만 문화권이나 억양에 따른 편차를 얼마나 극복할 수 있을지는 검증이 필요합니다. 목소리 톤에 대한 해석은 언어와 문화적 맥락에 따라 크게 달라집니다. 통제된 평가 패널에서 70.7%의 일치율을 보였더라도, 다양한 국가와 방언이 섞인 실제 현장에서도 신뢰성 있는 판단을 유지할 수 있을지가 상용화의 관건이 될 것입니다.