header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

豆包音视频通话模型开放API:AI能边看边听边说,还会主动开口

动察 Beating AI 快讯,11 月 19 日,火山引擎正式开放豆包实时音视频模型 SeedRealtime 1.0 的 API。该模型今年 8 月就已在豆包 App 上线,如今第三方开发者也能将这套实时视频通话能力接入自己的产品。


SeedRealtime 将摄像头画面、声音和时间顺序放进同一个端到端模型。AI 可以一边观察、一边听用户说话,同时判断该什么时候开口,减少传统语音识别、视觉理解、语音合成等多个模块串联带来的延迟和信息损失。


官方演示中,用户把整颗咖啡豆倒进咖啡机的萃取手柄,AI 不等提问就主动提醒先研磨。逛博物馆时,用户只需提前交代要找哪件文物,模型便能持续观察镜头,在目标出现时主动提醒。它还能分辨多人对话,在嘈杂环境中避免被旁人的闲聊误触发。


字节跳动今年 8 月公布的人工评测显示,相比多个模型串联的方案,SeedRealtime 的音视频对话节奏问题减少约一半,抢话、回应迟缓和背景噪声误触发等现象明显减少。

AI 解读
SeedRealtime 1.0并非首发:8月已在豆包App上线,11月19日才由火山引擎开放API,延续Seedance 2.0、Seed2.1“先自用、再API商品化”路径。字节多模态API正从视频生成、全模态理解扩到实时交互。

火山引擎6月以49.5%份额居国内MaaS第一,但Token增长未达250万亿至300万亿目标,过半消耗来自图像视频,语言模型占比不高。实时音视频API是在语言短板外,把“边看边听边说”做成新调用入口。

11月12日张一鸣刚承认Seed语言模型比顶尖对手少几个数量级、最早2029年才能竞争,六天后字节却将实时多模态开放给开发者。重心正从通用语言模型转向可部署的交互基础设施。
展开
举报 纠错/举报

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成