本文へスキップ
IFAI

オープンソース

Perplexityが意思決定モデルをオープンソース化、百万トークン1セントから

公開 拡散指数 51

Perplexityはマルチモーダル意思決定モデル「pplx-decider-flash-v1.2」(4B)と「pplx-decider-v1.2」(27B)をオープンソース公開した。価格は百万トークンあたり1セントおよび2セントで、推論速度は最大5倍に向上した。重みはHugging Faceで提供され、APIからも利用できる。

Perplexityが意思決定モデルをオープンソース化、百万トークン1セントから
画像:x.com

Perplexityは、マルチモーダル意思決定モデル「pplx-decider-flash-v1.2」と「pplx-decider-v1.2」の2種類をオープンソースで公開しました。軽量なタスク判断やエージェントのルーティング向けに設計されています。

パラメータ数はそれぞれ4Bと27Bで、Hugging Faceにてモデルの重みが提供されているほか、Perplexity Decisions API経由でも利用できます。API価格は百万トークンあたり4B版が1セント、27B版が2セントです。CEOのAravind Srinivas氏によると、今後は入力キャッシュや配信最適化によってさらなる低コスト化を図る計画です。

推論の高速化とベンチマーク実績

今回のバージョンではテキストと視覚の両スコアが向上しています。最大の特徴はスループットで、1回のリクエストに含まれるすべての質問を1回のパスで処理できるため、推論速度は最大5倍に達します。

Hugging FaceのDecision Indexにおいて、4Bのflash版は4Bクラスで首位を獲得し、27B版は総合2位にランクインしました。ローカル環境で動かしたい場合はHugging Faceから重みを取得でき、手軽に使いたいならAPI経由ですぐに組み込めます。

なぜ重要か

AIエージェントや自動化パイプラインを組んでいる開発者にとって、すぐに試す価値のある選択肢です。意思決定タスクは呼び出し頻度が高くなりがちですが、百万トークンあたり1〜2セントという価格設定とリクエスト一括処理の仕組みにより、レイテンシと運用コストを大幅に抑えられます。

意思決定レイヤーの軽量モデルをこの水準の低価格とオープン重みで提供してきたPerplexityの手法は非常に実用的です。中小規模のチームでも、コストを気にせず多段エージェント構成を組みやすくなります。

情報源 (1)

  1. [1]
    x.com(新しいタブで開きます)原文x.com

毎日のAIピックアップ