Lizard 框架将预训练 Transformer 线性化

2026 年 10 月 13 日，AGI Hunt 报道了一个名为 Lizard 的线性化框架：它能把已有的预训练 Transformer 大语言模型转换为亚二次架构，而不必从零训练。报道称，该框架可实现近无损的性能恢复，并在长度外推上表现稳健，能够突破训练时所见到的序列长度限制。其设计结合可学习的门控线性注意力等组件，采用混合架构思路。报道指出，这一路线意在避开从零训练的天价成本，直接改造已有预训练模型，为长上下文部署提供更省成本的路径。目前报道仅介绍框架思路与效果，未披露更多实现与评测细节。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。