加州理工开源真1-bit模型Bonsai：8B参数仅1.15GB，iPhone上跑到44token/s

据 1M AI News 监测，加州理工学院数学家 Babak Hassibi 联合创立的 AI 实验室 PrismML 结束隐身期，开源 1-bit Bonsai 系列大语言模型。旗舰模型 1-bit Bonsai 8B 拥有 82 亿参数，内存占用仅 1.15 GB，较同级别 16-bit 模型（约 16 GB）压缩约 14 倍。权重以 Apache 2.0 许可证在 HuggingFace 开放下载，同时发布 4B（0.5 GB）和 1.7B（0.24 GB）两款更小模型。

Bonsai 8B 是端到端的真 1-bit 模型：嵌入层、注意力层、MLP 层和输出头全部仅用 +1 或 -1 表示权重，没有任何高精度补丁。PrismML 称其在标准基准测试上的推理和语言理解能力与 16-bit 全精度模型相当。核心压缩数学由团队在加州理工历时数年研发，知识产权归加州理工所有，PrismML 为唯一独占授权方。模型使用谷歌 v4 TPU 训练。

实测速度：M4 Pro Mac 上 136 token/s，RTX 4090 上 440 token/s，iPhone 17 Pro Max 上约 44 token/s，而标准 16-bit 8B 模型无法装入任何 iPhone。能耗较 16-bit 模型降低约 4-5 倍。PrismML 指出，现有硬件并非为 1-bit 推理设计，速度和能耗优势主要来自内存占用缩小；如果未来出现专为 1-bit 设计的硬件（只需加减法，无需乘法），效率还可再提升一个数量级。

PrismML 完成 1625 万美元 SAFE 及种子轮融资，投资方为 Khosla Ventures、Cerberus Capital 和加州理工。Khosla Ventures 创始人 Vinod Khosla 称这「不是小迭代，是重大技术突破，是数学突破，不只是又一个小模型」。