热点事件持续更新
DAGFormer:跨层连接拓扑预测的Transformer
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月15日,arXiv cs.CL 刊出论文提出 DAGFormer,其做法是用一个联合训练的拓扑预测器,一次性规划整个模型的跨层连接,而非逐层局部决定。在 75M 到 1B 参数规模的 OLMo-2 模型配对上,DAGFormer 将 WikiText-2 困惑度较原版 Transformer 降低 17% 到 25%。其中 1B 版本仅用 5B token 训练即超过用 10B token 训练的原版模型;在 13 个常识、科学、阅读与数学任务上,平均准确率高出 2.0 到 2.5 分。目前公开报道仅涉及该论文自身的实验结果,尚无复现、后续改进或实际应用的消息。
AI 根据报道生成 · 3 小时前更新
最新进展10月15日 12:00
DAGFormer 以联合训练拓扑预测器规划跨层连接,1B 模型困惑度较原版降低 17%–25%。报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv cs.CLDAGFormer:为 Transformer 跨层连接做全局拓扑预测
DAGFormer 用联合训练的拓扑预测器一次性规划整个模型的跨层连接,在 75M 到 1B 参数的 OLMo-2 配对上把 WikiText-2 困惑度较原版 Transformer 降低 17% 到 25%。1B 版本仅用 5B token 训练即超过用 10B token 训练的原版模型,并在 13 个常识、科学、阅读与数学任务上平均准确率高 2.0 到 2.5 分。
本事件热度走势
当前热度 9·可比范围峰值 10(10月15日 13:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。