arXiv cs.CL· Anxin Guo, Chirag Pabbaraju, Sara Ahmadian, Kamesh Munagala, Aravindan Vijayaraghavan·· 3 小时前AI 评分39
推理语言模型有多信任一条狗？Qwen、Gemma、SmolLM 的 hint-following 量化研究
How Much Do You Trust A Dog? Quantifying Hint-Following in Reasoning Language Models
AI 导读
研究者在 MMLU 题目上用「[来源]认为答案是(X)」的提示测试 Qwen、Gemma、SmolLM 三个开源模型家族，量化暗示引发的答案偏移。偏移呈可预测的指数倾斜结构：被暗示答案的 log-odds 近似恒定均值偏移，教授、朋友或狗等不同来源间的问题—目标敏感度基本共享。即使来源被标注为不准确或附有不可信警告，log-odds 偏移依然存在。
来源：arXiv cs.CL · arxiv.org