动察 Beating AI 快讯,AI 语音公司 Gradium 开源语音生成模型 Phonon。它在今年 4 月以约 1 亿参数开始私测,这次推出 3100 万和 4000 万参数版本,并首次公开模型权重。其中,3100 万参数英语版的 Q8 权重仅 64MB,普通 CPU 就能运行。4000 万参数版支持英、法、德、西、葡五种语言,提供单语言及五语合一模型。
Phonon 通过蒸馏更大的模型训练而来。它直接读取文本,不必先转换成音素,再利用 Transformer 逐步预测声音特征,通过 Mimi 解码器生成音频。每次输出对应 80 毫秒的语音,可以边合成边播放,不必等整句话生成完。
速度方面,Gradium 披露,Phonon 在骁龙 8 Elite Gen 5 上生成首段音频仅需 7.5 毫秒,合成速度达到实时的 24 倍。在 MacBook Air M5 的 CPU 上,首音约 7 毫秒。
音质方面,Gradium 组织了 1189 名试听者,完成超过 1.7 万次盲听投票。3100 万参数英语版获得 2098 Elo,高于 1 亿参数 Pocket TTS 的 2056。在另一项包含电话号码、邮箱等复杂文本的 500 句英语测试中,Phonon 的词错误率为 1.7%,低于另一款 8200 万参数开源语音模型 Kokoro 的 3.5%。这些成绩均来自 Gradium 公布的测试。
Phonon 已接入 Ollama、MLX-Audio 等工具。合作方 Xybrid 还在一台 16GB M1 Pro MacBook 上,同时运行 8B Agent、Whisper 和 Phonon,让 3D 游戏角色在完全断网的情况下实时对话。
目前只有 3100 万参数英语版采用 Apache 2.0 许可证,允许商业使用。4000 万参数及多语言版本采用 CC BY-NC 许可证,商用需另行授权。暂未发布中文模型。