跳到正文
原文
AGI Hunt· rohanpaul_ai·· 3 小时前AI 评分37

阿里巴巴发布 MerchantBench:基于 9.8 万真实商品记录评测智能体长期一致性

MerchantBench:基于 9.8 万真实商品记录评测智能体长期一致性

AI 导读

阿里巴巴团队发布 MerchantBench,基于 98,843 条真实商品记录构建 365 天订单级仿真,配备 26 个工具评测 LLM 智能体的长期一致性。基准面向电商卖家运营,耦合上游供应商事件与延迟到达的下游订单结果,要求智能体跟踪单个订单生命周期并回溯早期决策。团队用 2 个智能体框架、每轮 48 次运行评测 8 个 LLM,模型在长周期任务中普遍表现不佳。

来源:AGI Hunt · agihunt.info