Kolab：长时程工作流中人类与 AI 智能体协作的基准测试

Kolab 收录 115+ 小时屏幕录制，记录 50 位来自 40 种职业的专业人士与 AI 智能体协作解决长时程问题。该基准要求预测专家会采纳、修改还是拒绝智能体的贡献，并在缺乏持续反馈时判断协作满意度与产出质量。结果显示，前沿模型高估与专家的协作程度，且难以区分高质量与低质量协作，更长的工作流上下文也未持续改善预测。