Liquid AI LFM3 用 24 层混合架构实现 256K 上下文，推理快 25%

Liquid AI 的 LFM3 1.7B 采用 24 层混合架构，由 13 层门控卷积、5 层滑动窗口注意力和 6 层全局注意力组成，支持 256K 上下文窗口。该模型在 4bit 量化下权重约 1GB，据发布信息在边缘设备上 8K 上下文的推理速度比 LFM2-1.2B 快约 25%。作者读后判断混合架构是下一个大方向。