AGI Hunt· SJTU·· 2 小时前AI 评分41
HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅 33.61%
HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅33.61%
AI 导读
上海交大 LUMIA Lab 等发布 HABIT-Bench,测试 LLM agent 记忆系统能否从稀疏对话证据中归纳并应用用户习惯,8 种记忆方法最佳四域宏平均准确率仅 33.61%(随机 25%)。基准覆盖美食、金融、软件、旅行四领域,用 Qwen3-235B-A22B 与 GLM-5.3-Flash 评估;即使直接提供标注证据,表现仍有限。代码与数据集已开源。
来源:AGI Hunt · agihunt.info