harness 随机性重复实验：OpenHands 最稳定

针对 TB-Lite 的 3 个任务、每个任务重复跑 20 次，一项重复实验用三种采样设置重跑：temperature=0 贪心解码、模型推荐参数和 harness 默认参数，并按 pass 等三个维度计算一致性。结果显示，同一模型、同一 harness 重跑同一任务也可能翻车；极简 harness 的随机性最强；OpenHands 在各采样设置下表现最稳定。该报道未提及其他更早的同类实验结论，实验范围限于 TB-Lite 的这 3 个任务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。