跳到正文
热点事件持续更新

研究:指令微调使模型随机数字分布更不均匀

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026 年 10 月 28 日,arXiv cs.CL 刊出一项研究,指出指令微调会在语言模型中安装并强化“数字选择启发式”。研究采用无需采样的精确测量方法;实验覆盖 18 个开源模型线、29 种解码配置,以及最高 N=100 的五档取值范围。结果显示,指令微调后,15 对开源模型对 1 到 N 随机整数的取值分布全部变得更不均匀。具体来说,微调新引入了回避整十数字的启发式,并强化了对端点 1 和 N 的回避:基座模型返回端点的概率为中间数值的 0.30 到 0.60,微调后几乎不再返回端点。研究还表示,未发现跨模型共享的偏好整数。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.CL
    指令微调安装并强化语言模型中的数字选择启发式

    无需采样的精确测量显示,指令微调让 15 对开源模型对 1 到 N 随机整数的取值分布全部更不均匀。微调新引入回避整十数字的启发式,并强化回避端点 1 和 N:基座模型返回端点的概率为中间数值的 0.30 到 0.60,微调后几乎不再返回。研究覆盖 18 个开源模型线、29 种解码配置与最高 N=100 的五档范围,未发现跨模型共享的偏好整数。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。