研究员 kalomaze：混合模型下游扩展更优，全局注意力仍不可少

混合架构（局部注意力与线性/滑窗层混合）在下游任务上的扩展性优于纯 Transformer，开源训练研究者 kalomaze 将原因归于归纳偏置。偶尔出现的全局注意力使模型无法依赖「每层都能看到全局」的捷径，被迫从局部窗口的情境线索中学习更通用规律，例如靠文体与情境推断文本作者身份。其结论是混合架构带来更好的学习信号，但至少部分位置仍需全局注意力。