评估提示词扰动对大语言模型偏见与幻觉的影响
研究发现，对决策任务中的原始提问做扰动式改写，可缓解部分大语言模型的偏见与幻觉，结论与此前研究相反。在多数数据集任务上 Claude 3 表现更有效，GPT3.5 则参差不齐，部分场景相当、部分明显落后，模型间差异显著。该研究发表于 ICONIP 2024，强调需通过严格测试与验证来保证 LLM 决策辅助工具的可靠性。
#Anthropic
#Anthropic
今日 1 条arXiv cs.CLAI 评分3232
arXiv cs.CLAI 评分4848 生产级 text-to-SQL 流水线中 LLM-as-judge 失败的审计与修复
生产 text-to-SQL 流水线中部署的 gpt-4o-mini LLM-as-judge 与人工标注一致性极低，分歧富集集上 Cohen's kappa 仅 0.04、均匀随机抽查 0.42，并误标 77.1% 的人工判定 FAITHFUL 案例。
Import AIAI 评分7070 Import AI 466：机器人领域的苦涩教训、AI 完成耗时一周的编程任务与 OpenAI 的意外 AI 黑客
Epoch 与 METR 发布长周期编程基准 MirrorCode，测试 AI 在仅有 CLI 访问时重写大型程序的能力，Claude Opus 4.7 用 14 小时、251 美元推理成本完成 METR 估计人类需 2-17 周的任务。
Import AIAI 评分5252 Import AI 460：社会可被奖励攻击、Anthropic 的 RSI 数据与基于 RL 的无人机竞速
Import AI 第 460 期汇总了社会奖励攻击、Anthropic 的 RSI 迹象和基于 RL 的无人机竞速等多项研究。其中 SocioHack 基准用 72 个沙盒环境测试模型如何钻制度漏洞，RL 训练下模型能以 61.25% 的召回率重新发现历史上被修补的策略。