AGI Hunt· True_Mongoose_7073·· 4 小时前AI 评分43
开源长期记忆基准 glasshouse:197 万 token 对话、2847 题、17 个维度
开源长期记忆基准 glasshouse:197 万 token 对话、2847 题、17 个维度
AI 导读
记忆基础设施公司发布 agent 长期记忆基准 glasshouse 草案,含 2847 个问题、197 万 token 对话,覆盖 10 种语言,按 17 个维度分别报告成绩、不给单一总分。该基准考察事实更新后是否仍返回旧值、冲突事实是否自信选边,评分需调用裁判 LLM 与提交者的 API key。草案尚无提交,作者正征集开发者反馈缺失或不公的维度。
来源:AGI Hunt · agihunt.info