AGI Hunt· Zhongwei Xie·· 2 小时前AI 评分32
JockeyBench:用日本赛马评测 LLM Agent 的重复事件预测能力
AI 导读
港科大团队发布 JockeyBench,以日本赛马为场景评测 LLM agent 从嘈杂证据中提取预测信号、并在连续决策中权衡回报与风险的能力。协议包含时间门控证据、定价工具、成对的冻结程序对照,以及执行 LLM 写的预测代码与直接从证据预测两种工作流。可复用的预测器能提升效率,但所有配置的平均投注回报均为负。
来源:AGI Hunt · agihunt.info