跳到正文
原文
AGI Hunt· Mario Sanz-Guerrero·· 5 小时前AI 评分54

系统提示词里藏了日期:9 个 LLM 评测成绩随日期波动最高 14%

AI 导读

一项研究发现,系统提示词中会隐式注入当前日期,用户无法控制且每天都在变化,成为被忽视的非确定性来源。在 9 个近期 LLM、6 个数据集(多选 QA、数学推理、代码生成、机器翻译)上验证,仅因当前日期不同,MCQA 成绩波动最高 6%,数学推理 14%,代码生成 7%,翻译 2.84 BLEU,模型排名也会随之变化,影响排行榜。

来源:AGI Hunt · agihunt.info