AGI Hunt· burkov·· 4 小时前AI 评分43
Lizard 框架:把预训练 Transformer 线性化,近无损且能外推更长序列
AI 导读
Lizard 是一个线性化框架,能把预训练 Transformer LLM 转换为亚二次架构,实现近无损的性能恢复,并在长度外推上表现稳健、突破训练时见到的序列长度限制。它结合可学习的门控线性注意力等组件做混合设计,思路是避开从零训练的天价成本,直接改造已有预训练模型,为长上下文部署提供更省的路径。
来源:AGI Hunt · agihunt.info