header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP

PrismML把90亿参数模型权重压到2GB:iPhone本地每秒生成34个Token

动察 Beating AI 快讯,美国 AI 公司 PrismML 为 Bonsai 2 家族新增 2B、4B、9B 三款模型,全部基于阿里 Qwen3.5。团队把语言模型的主要权重限制为 -1、0、+1 三种取值,使模型文件分别缩至 0.43GB、0.95GB 和 2GB,体积约为原版 16 位权重的九分之一。新模型仍支持推理、图像理解和工具调用,主要面向手机、个人电脑等设备上的本地 Agent。


PrismML 称,在 iPhone 18 Pro Max 上,9B 模型每秒最多生成 34 个 Token,2B 则达到 120 个。


在官方测试中,9B 的编程和指令遵循能力几乎追平同规模的原版 Qwen3.5,但复杂任务差距明显。测试多轮对话和工具操作的 Tau2Bench 中,Bonsai 2 9B 得分为 73.02,原版达到 85.25;复杂文档解析得分则为 73.8,原版达到 88.73。


三款模型已按 Apache 2.0 协议开放权重。

AI 解读
PrismML由加州理工数学家 Babak Hassibi 联合创立,此前已把 Qwen3.6/3.8 的 27B 压进手机,苹果曾接触其技术。此次 Bonsai 2 补齐 2B/4B/9B,以 -1/0/+1 三值权重将 Qwen3.5 压至 0.43/0.95/2GB,Apache 2.0 开放,瞄准手机、PC 本地 Agent。Liquid AI、蚂蚁 Ling-3.0-tiny 也在抢同一入口。

最值得看的是压缩代价:9B 在 Tau2Bench 仅 73.02,原版 Qwen3.5 为 85.25;复杂文档解析 73.8 对 88.73。编程和指令遵循“几乎追平”掩盖了多轮工具操作与复杂文档的缺口。iPhone 18 Pro Max 上 9B 每秒 34 Token、2B 120,证明能跑,但端侧 Agent 接手任务仍卡在复杂推理与工具可靠性。
展开
举报 纠错/举报
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成