AGI Hunt· yoavartzi·· 2 小时前AI 评分42
循环 Transformer 共享记忆反获提升:省 76-79% 上下文内存且困惑度更低
AI 导读
循环 Transformer 共享记忆在 150M–1B 参数规模上质量反获提升,仅首次递归写入 KV cache、后续只读。五次递归下,混合变体在 FineWeb-Edu 上的验证困惑度比标准 Transformer 低 1.12–1.82,上下文内存减少 76–79%。后续递归主要关注共享记忆,它充当指向首次递归的「梯度高速公路」。
来源:AGI Hunt · agihunt.info