热点事件持续更新
研究:指令微调使模型随机数字分布更不均匀
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026 年 10 月 28 日,arXiv cs.CL 刊出一项研究,指出指令微调会在语言模型中安装并强化“数字选择启发式”。研究采用无需采样的精确测量方法;实验覆盖 18 个开源模型线、29 种解码配置,以及最高 N=100 的五档取值范围。结果显示,指令微调后,15 对开源模型对 1 到 N 随机整数的取值分布全部变得更不均匀。具体来说,微调新引入了回避整十数字的启发式,并强化了对端点 1 和 N 的回避:基座模型返回端点的概率为中间数值的 0.30 到 0.60,微调后几乎不再返回端点。研究还表示,未发现跨模型共享的偏好整数。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
新研究以免采样精确测量发现,指令微调使 15 对开源模型的随机整数分布全部更不均匀,并新增回避整十数启发式。报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv cs.CL指令微调安装并强化语言模型中的数字选择启发式
无需采样的精确测量显示,指令微调让 15 对开源模型对 1 到 N 随机整数的取值分布全部更不均匀。微调新引入回避整十数字的启发式,并强化回避端点 1 和 N:基座模型返回端点的概率为中间数值的 0.30 到 0.60,微调后几乎不再返回。研究覆盖 18 个开源模型线、29 种解码配置与最高 N=100 的五档范围,未发现跨模型共享的偏好整数。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。