热点事件持续更新
上海交大发布HABIT-Bench用户习惯记忆基准
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月28日,AGI Hunt 报道称,上海交大 LUMIA Lab 等机构发布 HABIT-Bench 基准,用于测试 LLM agent 的记忆系统能否从稀疏对话证据中归纳并应用用户习惯。该基准覆盖美食、金融、软件、旅行四个领域,评测使用 Qwen3-235B-A22B 与 GLM-5.3-Flash 两个模型。结果显示,8 种记忆方法中表现最佳的四域宏平均准确率仅 33.61%,随机水平为 25%;即使直接向模型提供标注证据,其表现仍有限。目前代码与数据集已开源,报道未提及后续榜单更新或其他团队的复现结果。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 11:17
新报道显示,HABIT-Bench 上8种记忆方法最佳仅33.61%,代码与数据集已开源。报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- AGI HuntHABIT-Bench:八种记忆系统测用户习惯推断,最佳仅 33.61%
上海交大 LUMIA Lab 等发布 HABIT-Bench,测试 LLM agent 记忆系统能否从稀疏对话证据中归纳并应用用户习惯,8 种记忆方法最佳四域宏平均准确率仅 33.61%(随机 25%)。基准覆盖美食、金融、软件、旅行四领域,用 Qwen3-235B-A22B 与 GLM-5.3-Flash 评估;即使直接提供标注证据,表现仍有限。代码与数据集已开源。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。