Cartesia升级H-Net：让大模型自己学会切分数据，训练效率最高提升约10倍

动察 Beating AI 快讯，大模型已经能自己学习语言，但文字该怎么切成 Token，通常还是由提前训练好的分词器决定。这能节省算力，却也限制了模型组织信息的方式。遇到陌生词汇或代码，固定的切分规则未必合适；如果完全不分词，直接逐字节处理，计算成本又会大幅增加。

AI 语音公司 Cartesia 在 2025 年 7 月提出 H-Net（分层网络），就是想解决这个矛盾。它让模型直接读取原始字节，自己学习如何切分和压缩信息。比如遇到陌生单词，起初可能拆成多个片段；随着这个词在上下文中反复出现，又会逐渐合并成更少的片段。这种变化在推理时也能发生，不需要重新训练。

如今 Cartesia 公布新版 H-Net，训练效率有了明显提升。在严格控制主要条件的实验中，达到相同验证损失所需的算力减少约 22%，下游评测的计算效率约翻倍。更大规模的实验中，新版 H-Net 仅用约 1 万亿 Token 等效数据，就在六项测试的平均分上追平了训练约 11 万亿 Token 的开源模型 SmolLM3，达到这一成绩所需的训练算力约为后者的十分之一。

这套方法也不局限于文字。团队用细菌和古菌基因组训练 H-Net，发现模型在处理人类基因片段时，能自行识别编码区每三个碱基一组的规律。相关 DNA 建模实验的计算效率提升约 6–7 倍。

声音不像文字那样有现成的词语边界，Cartesia 最初研究 H-Net，其实就是想让语音模型直接从连续声音中学出音素和单词，而不必依赖预先设计的切分规则。