热点事件持续更新
实测四种注意力方案找到可缓存的注意力配方
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
针对完全双向注意力导致状态缓存无法复用的问题，antoine_chaffin 实测了四种注意力 schema，并在 2026 年 10 月给出一个两全配方：先用完全双向注意力训练，再做一次去掉「状态→问题」注意力的小微调。该方案不缓存时得分 62.16，持平或优于 v1.1；带缓存时 61.18，仅比 v1.1 低 0.4。作为对比，可缓存的最朴素 PrefixLM 风格方案只有 59.53，比完全双向低 2.0，其中一半差距来自把问题改成因果。
AI 根据报道生成 · 1 小时前更新
最新进展10月17日 03:03
实测四种注意力方案后给出配方：完全双向训练加一次去「状态→问题」注意力的小微调，带缓存仅低 0.4。报道时间线
沿着报道，了解事件的不同侧面。
10月17日
- AGI Hunt双向注意力毁缓存？antoine_chaffin 实测四种注意力方案找到两全配方
针对完全双向注意力导致状态缓存无法复用，作者实测四种注意力 schema 后给出配方：先用完全双向训练，再做一次去掉「状态→问题」注意力的小微调。该方案不缓存得分 62.16，持平或优于 v1.1；带缓存 61.18，仅比 v1.1 低 0.4。而可缓存的最朴素 PrefixLM 风格方案只有 59.53，比完全双向低 2.0，其中一半差距来自把问题改成因果。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。