arXiv cs.CL· Jiaming Yu, Xiaotian Xie, Jian Ma, Yingjie Li·· 4 小时前AI 评分36
小改动，决策漂移：LLM 在法语输入变体上的准确率与可靠性基准评测
Small Edits, Shifting Decisions: Benchmarking LLM Accuracy and Reliability on French Input Variants
AI 导读
研究构建受控法语表面变体基准，用 12,600 条输入评测两个 LLM 家族的 6 个模型，发现扰动越强准确率越低、Brier score 与 NLL 越高。更大模型在高强度扰动下准确率损失更小，但 Brier score 与 NLL 的上升并未随规模稳定减小，键盘输入错误造成的损失最大。
来源：arXiv cs.CL · arxiv.org