跳到正文
原文
AGI Hunt· MiserableFlatworm337·· 3 小时前AI 评分43

单次跑通不算数:skillEd 作者主张变量型 Agent 发布信号看重复评测分布

单次跑通不算数:变量型 Agent 的发布信号要看重复评测分布

AI 导读

MiserableFlatworm337 主张,变量型 Agent 的发布信号应看重复评测分布,而非只报告最佳运行。重复同样案例并记录尝试次数、失败和超时,四次通过一次失败不能简单描述为“通过”。其正在开发的 skillEd 支持重复评测运行,用于区分 flaky 案例与真实改进,并非提出新 benchmark。

来源:AGI Hunt · agihunt.info