header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
扫码下载APP

OpenRouter把Jev接进智能路由:换模型前先算缓存损失

动察 Beating AI 快讯,OpenRouter 上线 Jev Router,把 TypeSafe 的 Jev 接进模型路由。每轮请求发出前,Jev 会判断任务难度、精度要求,以及当前模型和推理档位够不够用,再决定继续沿用、提高推理强度,还是换一款模型。


OpenRouter 原来的 Auto Router 更偏向按任务类型选模型。它会先判断这是什么任务,再参考过去 7 天同类请求里各模型的使用情况来选路。Jev Router 会继续看这一轮到底有多难。简单任务可以降档,难题可以提高 reasoning effort;如果同一款模型还能解决,就不急着换模型。


这里还有一个很实际的问题,就是上下文缓存。长对话里一旦换模型,已经缓存的上下文通常不能直接复用,新模型可能要重新处理整段聊天记录。Jev Router 会把这部分损失也算进去。OpenRouter 称,只有换模型带来的预期收益高于切换成本时才会真正换模,同一模型也会尽量继续沿用。


OpenRouter 自测称,在 4 项 Agent benchmark 共 423 个任务中,Jev Router 完成 237 个,Auto Router 完成 130 个,多解决约 82% 的任务。在另外 5 项 Agent benchmark 中,它的首 token 中位延迟也低于参与测试的其他路由器。


类似思路此前已经在 Jev 社区出现。比如 `gholtzap/jev-codex-model-and-effort-router` 会先让 Jev 给 Codex 选择模型和推理档位,再把整条线程固定下来复用缓存;`Jev-Auto-Router` 则尝试逐调用重新选模型。OpenRouter 这次把这类做法直接做进了官方路由服务里。

AI 解读
OpenRouter 将 TypeSafe 的 Jev 接入官方路由,把 Auto Router 的“按任务类型选模型”改成每轮算难度、精度、推理档位与缓存损失。前 OpenAI 研究员迪奥戈·阿尔梅达的 TypeSafe 9 月发布 Jev 后,社区已有 Jev-Auto-Router 等玩法;OpenRouter 6 月追踪缓存命中,官方化是顺势,也是 Stripe 收购后守 Agent 入口。

关键在缓存:换模令长对话缓存不可复用,Jev Router 优先沿用同模型,只在收益高过切换成本时换。这会压低跨模型切换频率,却抬高完成率与首 token 表现;自测 423 个任务完成 237 个,Auto Router 130 个。路由权从“模型货架”转向成本感知的裁判。
展开
举报 纠错/举报
纠错/举报
提交
新增文库
仅自己可见
公开
保存
选择文库
新增文库
取消
完成