AGI Hunt· YouJiacheng·· 1 天前AI 评分27
124M 小模型配 65B embedding,研究员戏谑提出 AFED 分离架构
AI 导读
研究员 YouJiacheng 转发「124M 模型用了 65B embedding」的帖子,戏称继续 scale 需要 AFED,即 Attention、FFN、Embedding 分离(disaggregation)。这是对当前推理架构分离趋势(如 PD 分离、KV cache 分层)的调侃式延伸,若极端超大 embedding 的用法成主流,embedding 层或需独立部署与扩展。
来源:AGI Hunt · agihunt.info