AGI Hunt· burny_tech·· 4 小时前AI 评分31
开发者在物理 Transformer 中复现 Kimi AttnRes:loss 收敛更快
AI 导读
开发者 burnytech 将 Kimi Team 新论文《Attention Residuals》的方法加入 General Physics Transformer,报告 loss 下降更快。复现对比显示,加入 Block Attention Residuals 后,辐射层 12 步 NMSE 从基线 0.39277 降至 0.28917。
来源:AGI Hunt · agihunt.info