跳到正文
原文
AGI Hunt· yb2698·· 3 小时前AI 评分29

TB-Lite 实验:24 任务×72 次试验对比五种 harness 难分胜负

24任务×72次试验对比五种 harness 难分胜负

AI 导读

在 TB-Lite easy 子集上,24 个任务、每任务重复 3 次、每个“模型×harness”组合 72 次试验的对比显示,五种 harness 难分明显赢家。实验测量平均奖励相对平均输入的关系。受 Alex Zhang 的 Recursive Language Models 启发,让 LLM 直接使用一个 ipython 会话的“裸 ipython”也作为极简 harness 被纳入对比。

来源:AGI Hunt · agihunt.info