AGI Hunt· Ok-Shower7286·· 4 小时前AI 评分30
vLLM PR 泄露 Qwen4-27B 架构:四路并行残差流,PR 随后被删
AI 导读
vllm-xpu-kernels 仓库一个 PR 泄露 Qwen4-27B 架构,随后页面 404 被删,真实性待官方确认。据描述,该架构在固定 27B 参数预算下缩小 FFN 维度,改用四路并行残差流取代单条残差路径,让四条流同时穿过各层。发帖人推测,这能用 FFN 容量换取更强表达能力,若有效深度延长,多步推理、编码和推理一致性可能有明显提升。
来源:AGI Hunt · agihunt.info