header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

换大模型底座无需重新微调,Ramp Labs推出跨模型适配框架PorTAL

据动察 Beating 监测,大语言模型频繁更新,但企业微调的成果往往难以跨版本留存。目前主流的微调技术(如 LoRA)与特定的基座模型权重空间深度绑定,一旦更换性能更好的新底座,开发者就必须从头重新训练所有微调任务,模型升级开销高昂。

金融科技独角兽 Ramp 旗下的 AI 实验室推出了便携式任务适配器(PorTAL)框架,试图打破这一限制。该框架改变了传统的微调流程,允许开发者在初始训练时,联合训练并沉淀出独立于底座的「任务潜在表征」。当更换新底座时,开发者无需从头训练,只需在极少量的校准数据上重新校准一个极薄的模型专属转换器,即可快速在不同模型(甚至跨模型家族如 Qwen-3 到 Gemma-3)之间迁移微调能力。

PorTAL 在迁移时由于保持任务潜在表征和核心解码器冻结,数据量和适配算力成本均可折半。官方测试表明,该方案能恢复标准 LoRA 94% 至 98% 的准确率提升效果,在不同数据量级下均有更好的泛化表现。

不过,该框架目前仍处于早期阶段,Ramp 尚未开源其代码或模型权重,也缺乏第三方独立评测。目前的测试数据主要集中在 8B 参数以下的小模型上,在更大规模参数或复杂指令任务中的迁移表现仍有待验证。

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成