Fern 宣称支持 10M token 上下文后，研究者追问：为何没有更多 10M 上下文模型？

研究者 agarwl 就 Fern 宣称其架构从训练到推理均支持 10M token 上下文、且 next-token prediction 随上下文增长持续提升一事，追问为何很少看到大厂发布 10M 级上下文模型。他提出的疑问是：这一步是否因必须放弃二次方复杂度的 attention、切换到非二次方注意力方案而难以迈出。