跳到正文
IFAI

AI工具

Perplexity 推出端侧 Agent 框架 Computer:默认全本地运行,告别 API 计费

首次发布 传播指数 39

Perplexity 推出端侧优先的 AI Agent 框架 Computer。它针对本地小模型协同设计运行框架,对话、工具和推理全在本地设备完成,零 API 费用且隐私不出设备;仅在联网搜索或遇难题向云端顾问模型求助时需用户授权。内部测试跑分达 82.6%,大幅领先开源竞品。

Perplexity 推出端侧 Agent 框架 Computer:默认全本地运行,告别 API 计费
图:perplexity.ai

把自家商业机密和个人隐私一股脑喂给云端 AI,这事正在让很多企业和个人打退堂鼓。一方面是每敲一次回车都在燃烧的 API 账单,另一方面是数据一旦离开设备就再也管不住的合规风险。

Perplexity 给出了他们的解法:为 Perplexity Portable Computer 推出了一套名为 Computer 的本地优先智能体系统。这套系统把模型、工作流调度框架、对话记录和执行轨迹全部搬到了用户本地设备上。只有在需要联网搜索、调用连接器或者请示云端更聪明的高阶模型时,才会经由用户明确授权访问外部网络。

别让小模型背大模型的包袱

开源模型和端侧硬件最近跑得极快。像 27B 参数的 Qwen 3.8、30B 的 NVIDIA Nemotron 3.5 Lightning,配合 NVIDIA DGX Spark 这样的本地硬件,已经能在桌面上跑起来了。

问题在于,业界现有的开源 Agent 框架(比如 Pi 和 Hermes)原本都是给百亿甚至千亿级别的云端旗舰模型设计的。这些框架假设模型可以轻松吞下几十万 tokens 的上下文,也能熟练调度复杂的工具树。但一旦换成端侧小模型,它们很容易在过载的信息里迷航。

Perplexity 的实测发现,像 Qwen 3.8 27B 这种模型标称支持 260K 上下文,但实际跑到 100K 以上时性能就会明显下滑。为此,他们把核心框架做了极致精简:系统提示词尽量压小,只保留核心工具,其他能力拆分成独立技能,随用随加载、用完就释放,轨迹太长时自动压缩上下文。

连日常用到的 Gmail、GitHub、Outlook 和 Google Calendar 这些连接器,他们也放弃了极其消耗上下文的 MCP 协议定义,直接改写成了轻量级的命令行工具。

安全策略上也更狠。Pi 和 Hermes 默认以用户当前权限直接跑脚本,而 Computer 强制开启操作系统级沙盒,严格限制进程、路径和网络。一旦沙盒环境不可用,系统会直接停机拒绝执行,宁可罢工也不裸奔。

跑在 DGX Spark 上的战绩

在统一搭载 Qwen 3.8 27B 模型的 NVIDIA DGX Spark 上,Computer 与传统开源框架拉开了显著差距。

在 Perplexity 内部的 53 项本地知识工作基准测试中,Computer 拿到了 82.6% 的得分,超过了 Pi 的 77.6% 和 Hermes 的 74.0%。如果换上 Perplexity 自己基于该模型后训练的 PPLX 27B,成绩进一步升到了 85.4%。

而在 1266 项 BrowseComp 网页研究任务中,Computer 凭借接入 Perplexity 的 Search as Code 接口,跑出了 66.7% 的准确率,远高于依赖 Brave 搜索的 Pi(50.2%)和 Hermes(43.9%)。更夸张的是资源消耗:Computer 平均每项任务耗时 402.1 秒、消耗 85.2 万 tokens,比起 Hermes 节省了 61% 的时间,比起 Pi 更是省掉了 70% 的 tokens。

针对 PDF、扫描件和图表的 ParseBench-100 多模态测试同样体现出端侧处理的优势。Computer 取得了 65.1% 的平均分,而 Hermes 只有 34.6%,Pi 仅有 13.9%。其中 Computer 在图表理解上达到了 76.5%,不过版面布局理解依然是所有框架的短板,最高也只有 16.2%。

为什么重要

我们认为,Perplexity 这次展示的其实是个人计算的一个重要转折点:不再把端侧当成云端的弱智简化版,而是围绕端侧硬件与小模型的实际极限,重构整套软件调度栈。

对用户来说,这意味着那些涉及财务账目、未公开代码和敏感合同的分析工作,终于可以在没有隐私外泄风险、也不需要掐着计算器算 token 成本的前提下交给 AI 处理。虽然你可能需要先买一台能跑动 27B 模型的硬件设备,但后续的使用成本几乎趋近于零。

这给整个 Agent 框架生态提了个醒。之前大家热衷于通过标准化的 MCP 协议无休止地扩充外部工具库,结果就是几千个 token 的工具说明塞进去,端侧小模型连任务目标都记不清了。Perplexity 把它改写为命令行工具、动态装卸技能的做法,看起来要务实得多。

当然隐患也不是没有。目前版面布局解析依然孱弱,复杂排版文档很难保证万无一失;而且整套方案高度绑定了类似 DGX Spark 级别的高性能硬件,距离在普通轻薄笔记本上普及,中间显然还隔着好几代硬件迭代。

来源 (1)

  1. [1]
    perplexity.ai(在新标签页打开)原文perplexity.ai

每日 AI 内容精选