跳到正文
热点事件持续更新

上海交大发布HABIT-Bench用户习惯记忆基准

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月28日,AGI Hunt 报道称,上海交大 LUMIA Lab 等机构发布 HABIT-Bench 基准,用于测试 LLM agent 的记忆系统能否从稀疏对话证据中归纳并应用用户习惯。该基准覆盖美食、金融、软件、旅行四个领域,评测使用 Qwen3-235B-A22B 与 GLM-5.3-Flash 两个模型。结果显示,8 种记忆方法中表现最佳的四域宏平均准确率仅 33.61%,随机水平为 25%;即使直接向模型提供标注证据,其表现仍有限。目前代码与数据集已开源,报道未提及后续榜单更新或其他团队的复现结果。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. AGI Hunt
    HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅 33.61%

    上海交大 LUMIA Lab 等发布 HABIT-Bench,测试 LLM agent 记忆系统能否从稀疏对话证据中归纳并应用用户习惯,8 种记忆方法最佳四域宏平均准确率仅 33.61%(随机 25%)。基准覆盖美食、金融、软件、旅行四领域,用 Qwen3-235B-A22B 与 GLM-5.3-Flash 评估;即使直接提供标注证据,表现仍有限。代码与数据集已开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。