跳到正文
热点事件持续更新

稠密模型转MoE实测:提速32%、困惑度恶化约40%

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

作者把稠密模型转换为 MoE 并做实测:发布 Qwen2.5-1.5B-MoE-A0.9B,同时提供 0.5B、1.5B 的 GGUF 版本。1.5B 版在 RTX 4060 上生成速度由 191 t/s 提升到 253 t/s,增幅 32%;CPU 端提升 41%,被称为首个在 GPU 端也明显快于稠密版的转换。代价是困惑度恶化:早先报道称困惑度上升 41%,后续报道称约 40%。目前转换模型与 GGUF 版本均已放出。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. AGI Hunt
    稠密模型转 MoE 实测:Qwen2.5-1.5B 速度提升 32%、困惑度恶化约 40%

    作者发布 Qwen2.5-1.5B-MoE-A0.9B 及 0.5B/1.5B 的 GGUF 版本,1.5B 版在 RTX 4060 上生成速度提升 32%(191→253 t/s),CPU 端提升 41%,是首个 GPU 端也明显快于稠密版的转换。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。