본문으로 건너뛰기
IFAI

오픈소스

Perplexity, 의사결정 AI 모델 2종 오픈소스 공개…백만 토큰당 1센트

게시 확산 지수 51

Perplexity가 멀티모달 의사결정 모델인 4B 규모의 flash 버전과 27B 모델을 오픈소스로 공개했다. 백만 토큰당 각각 1센트와 2센트의 저렴한 가격에 추론 속도를 최대 5배 끌어올렸다. 모델 가중치는 Hugging Face에서 내려받을 수 있으며 API로도 제공된다.

Perplexity, 의사결정 AI 모델 2종 오픈소스 공개…백만 토큰당 1센트
이미지: x.com

Perplexity가 멀티모달 의사결정 모델인 pplx-decider-flash-v1.2와 pplx-decider-v1.2 2종을 오픈소스로 공개했습니다. 고빈도 라우팅과 의사결정 작업에 최적화된 경량 모델입니다.

파라미터 크기는 각각 4B와 27B로, Hugging Face에서 모델 가중치를 내려받을 수 있으며 Perplexity Decisions API를 통해서도 즉시 사용할 수 있습니다. API 가격은 백만 토큰당 4B 모델이 1센트, 27B 모델이 2센트로 책정되었습니다. Aravind Srinivas CEO는 향후 입력 캐싱과 서빙 최적화를 통해 비용을 더 낮출 계획이라고 밝혔습니다.

추론 속도 향상과 벤치마크 결과

새 모델은 텍스트와 비전 평가 점수가 모두 향상되었습니다. 구조적으로는 한 번의 요청에 포함된 모든 질문을 단일 패스로 처리하도록 설계되어 추론 속도가 최대 5배 빨라졌습니다.

Hugging Face Decision Index 벤치마크에서 4B flash 모델은 동급 4B 모델 중 1위를 기록했고, 27B 모델은 전체 종합 순위 2위에 올랐습니다. 자체 서버에 배포하려면 Hugging Face에서 가중치를 받아 구동하면 되며, 인프라 관리 없이 쓰려면 API를 연동하면 됩니다.

왜 중요한가

AI 에이전트 루프나 워크플로 라우팅을 구축하는 개발자라면 당장 테스트해 볼 가치가 있습니다. 의사결정 모델은 호출 빈도가 매우 높은데, 백만 토큰당 1~2센트 수준의 비용과 단일 패스 처리 방식은 시스템의 지연 시간과 청구 비용을 크게 덜어줍니다.

의사결정 레이어 모델을 오픈 가중치로 풀면서 극단적인 저비용 API로 제공한 Perplexity의 전략은 매우 실용적입니다. 엔터프라이즈 예산이 없는 소규모 팀도 고빈도 다단계 에이전트 시스템을 부담 없이 실험할 수 있게 되었습니다.

출처 (1)

  1. [1]
    x.com(새 탭에서 열림)원문x.com

매일 AI 콘텐츠 픽