跳到正文
原文
AGI Hunt· yb2698·· 3 小时前AI 评分42

重复实验揭示 harness 随机性,OpenHands 最稳定

AI 导读

针对 TB-Lite 的 3 个任务、每任务重复 20 次,实验用 temperature=0 贪心解码、模型推荐参数与 harness 默认参数三种采样设置重跑,按 pass 等三个维度计算一致性。结果显示同一模型同一 harness 重跑同一任务可能翻车,极简 harness 随机性最强,OpenHands 在各采样设置下表现最稳定。

来源:AGI Hunt · agihunt.info