arXiv cs.AI· Emile Anand, Abdullah Ateyeh, Archer Wang, Marin Solja\v{c}i\'c·· 4 小时前AI 评分37
SMat-Attention：结构化长上下文序列建模
SMat-Attention: Structured Long-Context Sequence Modeling
AI 导读
SMat-Attention 用行支持集 VC 维为 d 的结构化因果掩码，把 softmax 注意力与线性注意力统一为可调路由，d=1 时退化为标准因果掩码。
来源：arXiv cs.AI · arxiv.org