header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP
Partnered With:

工具再溜也猜不透人心,美团发布智能体新基准VitaBench 2.0

据 动察 Beating 监测,美团 LongCat 团队联合新加坡国立大学、中国科学技术大学、北京邮电大学及浙江大学发布智能体评测基准 VitaBench 2.0。评测系统将大模型考核从单次任务扩展至长期多会话的生活服务,评估智能体在个性化建模与主动交互上的表现。

评测模拟了长周期人机交互,包含 56 个用户画像、2000 多个动态偏好标注,以及外卖、到店消费和在线旅游等领域的 819 个服务请求。测试发现,随着工具调用错误率显著降低,捕捉并应用用户偏好已成为限制智能体落地的核心瓶颈。

在多款前沿大模型的评测中,大模型在长期个性化服务中的缺陷被集中暴露。即使在能读取全部历史的最理想全上下文模式下,表现最好的 Claude-Opus-4.6 独立运行四次的平均表现(Avg@4)仅为 0.503,非思考模型中最强的 DeepSeek-V4-Pro 也只有 0.456。

多数模型引入外部记忆模块后,表现并未稳定超过全上下文基线。智能体自主控制的内存常在更新中丢失信息,检索辅助生成(RAG)则容易被表象相似的噪声干扰。同时,开启思考模式对个性化建模没有系统性优势,显示出噪声过滤和主动提问并非单纯依靠逻辑推导所能解决。

测试还揭示了大模型在主动提问和偏好应用上的硬伤。当信息不足时,模型常盲目猜测并抢跑决策,导致 Claude 智能体在主动交互任务上的表现从 46.0 暴跌至 27.4,DeepSeek 从 44.1 跌至 27.8,GLM 也从 36.4 降至 19.3。即便直接在内存中输入最准确的标准偏好数据,DeepSeek 和 Claude 的得分也仅有 52.7 和 51.2,表明在大模型实际决策中,合理排序、整合并执行用户偏好,难度远超偏好提取本身。

对错误原因的分析显示,随着大模型能力的演进,工具使用类错误显著减少,而因偏好理解偏差导致的错误开始占据主导。智能体未来的核心壁垒将不再是单纯的工具调用,而是如何真正听懂并记住用户的弦外之音。

全球市场热点不用到处刷,消息送到你眼前

加入律动飞书频道
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成