Kimi AttnRes 在物理 Transformer 上复现，loss 收敛更快
先了解这件事
Kimi 团队发布论文《Attention Residuals》，提出用 softmax 注意力替代 PreNorm 残差连接，使每一层都能根据输入，以可学习的权重选择性地聚合此前各层的表示。随后开发者 burnytech 将该方法加入 General Physics Transformer（GPhyT），复现后报告 loss 下降更快：对比显示，加入 Block Attention Residuals 后，辐射层 12 步 NMSE 从基线的 0.39277 降至 0.28917。同一批报道还提到，论文《Towards a Physics Foundation Model》提出 GPhyT，以 1.8TB 仿真数据训练，验证了“训练一次、部署到各处”的基础模型范式在物理模拟上可行。目前进展停留在开发者单方复现的对比数据层面，尚无更多独立验证或后续更新。
AI 根据报道生成 · 3 小时前更新
事件进展
- 10月27日 08:26 · 1 篇报道论文提出通用物理 Transformer GPhyTAGI Hunt：通用物理 Transformer GPhyT 迈向「物理基础模型」：1.8TB 仿真数据实现跨域模拟
- 10月27日 08:25 · 1 篇报道Kimi 团队发布 Attention Residuals 论文AGI Hunt：Kimi 团队发布 Attention Residuals：用注意力替代残差连接
- 10月27日 08:25 · 1 篇报道物理Transformer复现Kimi AttnRes收敛更快AGI Hunt：开发者在物理 Transformer 中复现 Kimi AttnRes：loss 收敛更快
报道时间线
沿着报道，了解事件的不同侧面。
- AGI Hunt通用物理 Transformer GPhyT 迈向「物理基础模型」：1.8TB 仿真数据实现跨域模拟
论文《Towards a Physics Foundation Model》提出 General Physics Transformer（GPhyT），以 1.8TB 仿真数据训练，验证「训练一次、处处部署」的基础模型范式在物理模拟上可行。
- AGI HuntKimi 团队发布 Attention Residuals：用注意力替代残差连接
Kimi 团队发布论文《Attention Residuals》，用 softmax 注意力替代 PreNorm 残差连接，让每层以依赖输入的可学习权重选择性聚合此前各层表示。
- AGI Hunt开发者在物理 Transformer 中复现 Kimi AttnRes：loss 收敛更快
开发者 burnytech 将 Kimi Team 新论文《Attention Residuals》的方法加入 General Physics Transformer，报告 loss 下降更快。复现对比显示，加入 Block Attention Residuals 后，辐射层 12 步 NMSE 从基线 0.39277 降至 0.28917。
本事件热度走势
当前热度 9·可比范围峰值 10（10月27日 09:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。