据动察 Beating 监测,谷歌发布了针对 Gemma 4 大模型的量化压缩版模型权重。量化是一种通过降低数值精度来缩小模型体积的技术,但通常会导致模型变笨。为了解决精度损失问题,谷歌本次采用了量化感知训练技术,在模型训练过程中提前模拟压缩状态,让模型自动调整以适应低精度运行,从而在模型体积大幅缩小的同时,依然保持极高的智能水平。
通过专门的移动端压缩技术,Gemma 4 E2B 纯文本模型在手机等端侧设备上运行的内存占用可降至 1GB 以下。为了保证手机本地运行足够流畅,谷歌专门对移动端芯片进行了针对性优化。开发团队将大部分计算工作提前在训练阶段完成,以减轻手机芯片的实时负担,并采用更适配手机硬件的计算结构进行原生加速。团队还对词汇表与缓存进行了深度压缩。此外,针对负责生成 Token 的特定层实施了 2-bit 极度压缩,仅保留核心推理层的高精度,从而在最大化节省存储空间的同时,不影响核心逻辑性能。
新模型权重现已在 Hugging Face 开源发布。个人用户可以通过 Ollama 以及 LM Studio 直接在个人电脑上本地下载并运行。对于移动端和网页端开发者,新权重已同步支持 LiteRT-LM 引擎,且支持通过 Transformers.js 直接在网页端运行。同时,vLLM、SGLang 以及苹果芯片加速工具 MLX 也已完成兼容适配,方便开发者快速部署。