跳到正文
原文
AGI Hunt· YouJiacheng·· 1 天前AI 评分27

124M 小模型配 65B embedding,研究员戏谑提出 AFED 分离架构

AI 导读

研究员 YouJiacheng 转发「124M 模型用了 65B embedding」的帖子,戏称继续 scale 需要 AFED,即 Attention、FFN、Embedding 分离(disaggregation)。这是对当前推理架构分离趋势(如 PD 分离、KV cache 分层)的调侃式延伸,若极端超大 embedding 的用法成主流,embedding 层或需独立部署与扩展。

来源:AGI Hunt · agihunt.info