AGI Hunt· cwolferesearch·· 3 小时前AI 评分33
Cameron Wolfe 将在 AI Engineer NYC 演讲:主观任务评测路线图
Cameron Wolfe 将在 AIE NYC 演讲:高主观任务评测路线图
AI 导读
AI 研究者 Cameron R. Wolfe 将于 10 月 14 日在 AI Engineer NYC 大会(Turing Room)演讲,主题是如何评测主观、开放式任务。他提出以人为评测为北极星、LLM judge 与 rubric 作为高效代理,用校准过的 judge 搭建离线基准,多步流程为离线评测 → 人工评测 → A/B 测试 → 部署。演讲后将公开幻灯片与阅读材料等完整资源。
来源:AGI Hunt · agihunt.info