arXiv cs.CL· Xiaocong Yang, Yuren Hao, ChengXiang Zhai·· 4 小时前AI 评分38
DAGFormer：为 Transformer 跨层连接做全局拓扑预测
DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections
AI 导读
DAGFormer 用联合训练的拓扑预测器一次性规划整个模型的跨层连接，在 75M 到 1B 参数的 OLMo-2 配对上把 WikiText-2 困惑度较原版 Transformer 降低 17% 到 25%。1B 版本仅用 5B token 训练即超过用 10B token 训练的原版模型，并在 13 个常识、科学、阅读与数学任务上平均准确率高 2.0 到 2.5 分。
来源：arXiv cs.CL · arxiv.org