header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

谷歌发布超轻量Gemma 4模型,手机本地运行内存首次降至1GB以下

据动察 Beating 监测,谷歌发布了针对 Gemma 4 大模型的量化压缩版模型权重。量化是一种通过降低数值精度来缩小模型体积的技术,但通常会导致模型变笨。为了解决精度损失问题,谷歌本次采用了量化感知训练技术,在模型训练过程中提前模拟压缩状态,让模型自动调整以适应低精度运行,从而在模型体积大幅缩小的同时,依然保持极高的智能水平。

通过专门的移动端压缩技术,Gemma 4 E2B 纯文本模型在手机等端侧设备上运行的内存占用可降至 1GB 以下。为了保证手机本地运行足够流畅,谷歌专门对移动端芯片进行了针对性优化。开发团队将大部分计算工作提前在训练阶段完成,以减轻手机芯片的实时负担,并采用更适配手机硬件的计算结构进行原生加速。团队还对词汇表与缓存进行了深度压缩。此外,针对负责生成 Token 的特定层实施了 2-bit 极度压缩,仅保留核心推理层的高精度,从而在最大化节省存储空间的同时,不影响核心逻辑性能。

新模型权重现已在 Hugging Face 开源发布。个人用户可以通过 Ollama 以及 LM Studio 直接在个人电脑上本地下载并运行。对于移动端和网页端开发者,新权重已同步支持 LiteRT-LM 引擎,且支持通过 Transformers.js 直接在网页端运行。同时,vLLM、SGLang 以及苹果芯片加速工具 MLX 也已完成兼容适配,方便开发者快速部署。

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成