热点事件持续更新
IFM研究循环语言模型定点特性，KV缓存缩小3倍
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月6日，AGI Hunt报道IFM对循环语言模型不动点特性的研究：模型状态越接近不动点，到达该状态的路径越不重要，解码时可共享终态KV而几乎不掉分。预填充阶段采用蒸馏学生模型，最高提速1.79倍；强化学习从保存的rollout状态计算梯度，比沿轨迹回传快2倍。实验覆盖100M至1.6B规模，学习先验与正交注入两种方法均降低困惑度；在1.6B规模下，使用3倍小的KV缓存即可匹配全缓存固定深度训练的下游平均分。目前仅见该篇报道，尚无其他来源印证。
AI 根据报道生成 · 2 小时前更新
最新进展10月6日 12:17
IFM发现循环语言模型接近不动点时解码可共享终态KV，1.6B下缓存缩小3倍仍匹配全缓存分数。报道时间线
沿着报道，了解事件的不同侧面。
10月6日
- AGI HuntIFM 研究循环语言模型不动点特性：KV 缓存缩小 3 倍不掉分
IFM 研究循环语言模型的不动点特性：状态越接近不动点，到达路径越不重要，解码可共享终态 KV 且几乎不掉分。预填充用蒸馏学生模型最高提速 1.79 倍，RL 从保存的 rollout 状态计算梯度比沿轨迹回传快 2 倍。从 100M 到 1.6B，学习先验与正交注入均降低困惑度；1.6B 下用 3 倍小的 KV 缓存即可匹配全缓存固定深度训练的下游平均分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。