arXiv cs.AI· Yangsheng Deng, Xinjing Huang, Yulong Wang, Yunzhuo Liu, Jun Hu, Shuyong Tang, Junchi Zeng, Mingji Han, Ray Ying, Key Zhang, Luo Mai·· 3 小时前AI 评分34
HyScale：为学习型稀疏注意力扩展长上下文训练
HyScale: Scaling Long-Context Training for Learned Sparse Attention
AI 导读
HyScale 是面向学习型稀疏注意力的长上下文训练系统，用 HyTopK 与 selection replay 免去完整 score table 和重算时的重复选择。
来源：arXiv cs.AI · arxiv.org