AGI Hunt· arjunrajlab·· 4 小时前AI 评分37
模型「吃掉 harness」是自证预言?训练数据里就有 harness 输出
模型「吃掉 harness」是自证预言?训练数据里就有 harness 输出
AI 导读
arjunrajlab 认为,模型之所以能绕过或利用评测 harness,可能正是因为训练数据本身就包含大量由 harness 引导产生的输出。这意味着 harness 并非被外力攻破,而是被模型「真的吃了进去」,形成用 harness 引导收集数据训练模型、模型再消化 harness 模式的循环。作者由此自问:这样的 harness 评测是否还值得做。
来源:AGI Hunt · agihunt.info