新研究发现 Looped Transformer 可对参数知识做隐式推理

一项将在 COLM 报告的研究指出，Looped Transformer（LT）能对参数化知识执行隐式推理，在复杂与陌生问题上泛化能力优于普通 Transformer。该工作试图解释 LT 类架构的 LLM 为何更强大，作者还提到社区猜测 Claude Mythos 可能是 Looped Transformer（未证实）。作者将于周三在 COLM 现场报告。