header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

Mistral发布Voxtral 3:把语音识别、推理和工具调用接成实时Agent

动察 Beating AI 快讯,法国 AI 公司 Mistral 发布 Voxtral 3,包括三款语音转录模型、一款语音合成模型,以及完整的 Voice Agent SDK。


官方演示中,一名用户用英语要求预约皮肤科医生。AI 读取法语转诊信,调用系统查询空闲时段,完成预约后再用英语确认。整个过程通过实时语音对话完成。


Voxtral 3 并不是一款包办所有任务的端到端语音大模型。它采用模块化设计:转录模型负责识别语音、判断用户何时说完,Mistral Small 等通用大模型负责推理和调用工具,语音合成模型负责回答。基于 LiveKit 的 SDK 将这些环节串成实时流水线,支持电话和网页通话,也允许用户随时打断。Mistral 宣称单轮交互延迟不到 1 秒。开发者还能单独替换推理模型或语音模型。


转录支持的语言从上一代 13 种扩展至 50 多种,语音合成支持 35 种以上语言和 50 多种方言。在 Artificial Analysis 的独立非实时转录测试中,Voxtral Small Transcribe 3 词错误率为 2.1%,排名第三,仅次于阿里巴巴和微软的模型。语音合成则排名第 13。


API 实时转录每分钟收费 0.008 美元,语音合成每百万字符 13 美元。企业还可联系 Mistral,在自有服务器或私有云中部署。

AI 解读
Mistral 把语音拆成流水线卖。Voxtral 3 由三款转录模型、一款合成模型和基于 LiveKit 的 Voice Agent SDK 组成,实时转录每分钟 0.008 美元,为 xAI Voice Agent API 0.08 美元/分钟的十分之一,还允许企业在自有服务器或私有云部署。

转录词错率 2.1% 排第三,落后阿里与微软;语音合成仅列第 13。这解释了 SDK 为何允许单独替换推理与语音模型:Mistral 押注企业愿为可替换、可私有化的模块付费,其路线与 3 月 Forge 企业平台及爱立信、欧洲航天局等客户一脉相承。

错位在于,10 月微软补齐实时转写与 45ms 语音生成、xAI Grok Voice 3.0 以 86.9 分居 Speech-to-Speech 榜首,头部厂商都在推端到端低延迟栈,Mistral 则把自己做成别人 Agent 里的零件。
展开
举报 纠错/举报
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成