热点事件持续更新
稠密模型转MoE实测:提速32%、困惑度恶化约40%
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
作者把稠密模型转换为 MoE 并做实测:发布 Qwen2.5-1.5B-MoE-A0.9B,同时提供 0.5B、1.5B 的 GGUF 版本。1.5B 版在 RTX 4060 上生成速度由 191 t/s 提升到 253 t/s,增幅 32%;CPU 端提升 41%,被称为首个在 GPU 端也明显快于稠密版的转换。代价是困惑度恶化:早先报道称困惑度上升 41%,后续报道称约 40%。目前转换模型与 GGUF 版本均已放出。
AI 根据报道生成 · 2 小时前更新
最新进展10月13日 19:50
作者放出 Qwen2.5-1.5B-MoE 及 0.5B/1.5B GGUF,1.5B 版 GPU 端提速 32%。报道时间线
沿着报道,了解事件的不同侧面。
10月13日
- AGI Hunt稠密模型转 MoE 实测:Qwen2.5-1.5B 速度提升 32%、困惑度恶化约 40%
作者发布 Qwen2.5-1.5B-MoE-A0.9B 及 0.5B/1.5B 的 GGUF 版本,1.5B 版在 RTX 4060 上生成速度提升 32%(191→253 t/s),CPU 端提升 41%,是首个 GPU 端也明显快于稠密版的转换。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。