动察 Beating AI 快讯,AI 穿戴设备公司 Looki 发布多模态模型系列 Loom,可以将摄像头和麦克风记录的日常生活,整理成带有时间、内容和原始证据的长期记忆,供 AI 随时检索。
比如,用户中午和同事吃饭,期间讨论了一个项目,最后决定等周五的数据出来再做决定。Loom 不仅要识别出「吃饭」「交谈」,还要记下讨论内容、决定及其原因。几天后再次谈起这个项目,AI 就能找回当时的记录。
Loom 分为三个部分:
Sense(感知):持续判断用户正在做什么。采用专门训练的判别模型,直接给「是否正在用餐」「是否正在交谈」等问题打分,无需每次生成文字描述。模型还会参考上一时段的状态,避免转身、遮挡造成活动识别反复跳变。
Moment(经历):将不同时间采集的画面和声音对齐,自动判断一段经历从哪里开始、在哪里结束,并生成包含关键事实、时间和对应证据的描述。它能根据谈话内容划分经历,而不只是按固定时长切割视频。
Memory(记忆):把经历整理成日、周、月摘要及长期记忆。回答问题时,AI 可以先查摘要,再逐层找到具体经历,必要时回看原始画面或录音,核实细节。
目前,Loom 仍由多个专用模型和记忆检索系统配合工作,计划未来进一步将这些能力整合进一个端到端的多模态模型。
官方自测中,Sense 识别近 20 类日常活动,F1 得分为 88.6,平均每次判断耗时 0.51 秒。Moment 在判断经历起止时间方面超过 Gemini Flash,但生成的文字描述仍不如后者准确。Memory 得分为 79.0,比 mem0 高 18 分,每道题平均处理的 Token 量仅为后者的 14.5%。
Loom 将率先用于 Looki 自家的可穿戴设备,目前尚未开放独立模型 API,模型权重也未开源。