跳到正文
原文
AGI Hunt· BeidiChen·· 4 小时前AI 评分40

STAPLE 论文:静态稀疏记忆扩展预训练 LLM,能耗比 MoE 低超 50%

AI 导读

InfiniAI Lab 与 CMU Beidi Chen 团队发布 STAPLE(arXiv:2610.12599),用「上循环」把静态稀疏记忆(大型 embedding 表)集成进已预训练 LLM,无需从头重训。

来源:AGI Hunt · agihunt.info