8.0
热点
AI SCORE
技术实践2026-11-21 11:20
Mem0 托管成绩与第三方复测相差约三成分
dev.to · AI#Agent 记忆#基准复现#自托管
Editor brief · 编辑速览
Mem0 托管版公布的 LoCoMo 得分为 92.5%,文中引用的第三方复测在两种模型配置下分别得到 61% 和 64.2%。官方文档说明,托管平台使用了 SDK 未包含的专有优化。
文章思维导图
Knowledge map
AI brief
原文暂未完整获取,基于公开信息的快读
Mem0 公布的托管版 LoCoMo 得分是 92.5%。dev.to 一篇文章引用的第三方复测沿用公开协议,在两种模型配置下分别得到 61% 和 64.2%,相差约 28 到 32 个百分点。Mem0 官方文档说明,托管平台包含 SDK 未提供的专有优化。
目前能确认什么
LoCoMo 用来评估系统能否从长对话中找回相关信息并回答问题。第三方复测使用 GPT-4o-mini 时得到 61%,使用 GPT-4.1-mini 时得到 64.2%。现有节选没有交代两次评测在模型、检索配置和评分实现上是否一致,也没有量化托管版优化对分数的贡献。
文章还引用了同一论文的延迟数据,在 H800、每秒 10 个请求的条件下,P99 为 4.6 秒。P99 是约 99% 的请求能在其以内完成的耗时,反映的是较慢一端的请求表现。
我的判断
如果项目因为数据驻留要求必须自托管,我会用拟上线的 Mem0 版本和模型,测一组需要跨轮找回信息的问题,记录答对率,再按预计并发测端到端 P99。对每轮都调用记忆层的 Agent,较慢的检索会直接占用这一轮的响应时间,平均延迟很容易掩盖这个问题。
分差有多少来自托管版优化、有多少来自模型或评测设置,还要等完整论文和官方文档确认。选型时,我会把 92.5% 作为托管版的参考成绩,把自托管的验收线定在实际部署配置的实测结果上。