arXiv cs.CL· Keqi Deng, Ruchao Fan, Jinyu Li·· 3 小时前AI 评分41
LazyFlash：前向稠密、反向稀疏的注意力机制，加速长上下文微调
LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning
AI 导读
LazyFlash 提出前向稠密、反向稀疏的注意力方法加速长上下文 LLM 微调，前向保持稠密，训练出的模型仍是 vLLM 可直接服务的标准稠密模型。反向按 attention-output 梯度范数对 query block 排序并跳过贡献可忽略的块，在 FlashAttention 分块反向 kernel 内实现加速。
来源：arXiv cs.CL · arxiv.org