hunch:在 CPU 上跑毫秒级语义决策,把大模型高频任务接过去
开源项目 hunch 基于 EmbeddingGemma 2 打造本地语义决策系统,可在普通 CPU 上实现毫秒级判断。它像快反应系统向大模型边用边学,逐步接管工具调用监控、日志分析等高频任务。文本判断仅需 22 毫秒,大幅砍掉 API 延迟与调用成本且无需 GPU。
开源项目 hunch 基于 EmbeddingGemma 2 打造本地语义决策系统,可在普通 CPU 上实现毫秒级判断。它像快反应系统向大模型边用边学,逐步接管工具调用监控、日志分析等高频任务。文本判断仅需 22 毫秒,大幅砍掉 API 延迟与调用成本且无需 GPU。
Google 发布实验性笔记应用 Google AI Edge Foresight。它搭载端侧 EmbeddingGemma 2 模型,专为 Apple Silicon 的 Mac 优化,能在完全断网的情况下转录会议、将速记润色为结构化笔记,并支持基于本地文件的问答,音频与笔记全程不出电脑。
Google 发布开源多模态嵌入模型 EmbeddingGemma 2。该模型仅 7.4 亿参数,采用 Apache 2.0 协议,能将文本、代码、图像、音频和视频映射进统一向量空间。在 Pixel 11 Pro 上运行全模态仅需 567MB 内存,方便开发者直接在本地做完全离线的跨模态搜索与 RAG。