动察 Beating AI 快讯,11 月 19 日,火山引擎正式开放豆包实时音视频模型 SeedRealtime 1.0 的 API。该模型今年 8 月就已在豆包 App 上线,如今第三方开发者也能将这套实时视频通话能力接入自己的产品。
SeedRealtime 将摄像头画面、声音和时间顺序放进同一个端到端模型。AI 可以一边观察、一边听用户说话,同时判断该什么时候开口,减少传统语音识别、视觉理解、语音合成等多个模块串联带来的延迟和信息损失。
官方演示中,用户把整颗咖啡豆倒进咖啡机的萃取手柄,AI 不等提问就主动提醒先研磨。逛博物馆时,用户只需提前交代要找哪件文物,模型便能持续观察镜头,在目标出现时主动提醒。它还能分辨多人对话,在嘈杂环境中避免被旁人的闲聊误触发。
字节跳动今年 8 月公布的人工评测显示,相比多个模型串联的方案,SeedRealtime 的音视频对话节奏问题减少约一半,抢话、回应迟缓和背景噪声误触发等现象明显减少。