跳到正文
原文
AGI Hunt· cwolferesearch·· 3 小时前AI 评分33

Cameron Wolfe 将在 AI Engineer NYC 演讲:主观任务评测路线图

Cameron Wolfe 将在 AIE NYC 演讲:高主观任务评测路线图

AI 导读

AI 研究者 Cameron R. Wolfe 将于 10 月 14 日在 AI Engineer NYC 大会(Turing Room)演讲,主题是如何评测主观、开放式任务。他提出以人为评测为北极星、LLM judge 与 rubric 作为高效代理,用校准过的 judge 搭建离线基准,多步流程为离线评测 → 人工评测 → A/B 测试 → 部署。演讲后将公开幻灯片与阅读材料等完整资源。

来源:AGI Hunt · agihunt.info