热点事件持续更新
HyCo:移动云端混合草稿推测解码
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月16日,arXiv cs.CL 刊出 HyCo,一种面向低成本移动端-云端推测解码(投机解码)的混合草拟方案。其做法是让服务器模型的原生 MTP(多 token 预测)头在设备端承担草拟深度,替代分支则交给一次 SLM(小语言模型)前向 pass;服务器只返回隐藏状态、输入嵌入与 KV 条目,以此压低端云之间的开销。在 Galaxy S26 Ultra 上经 LTE/5G 的单客户端测试中,HyCo 的服务器 GPU 每输出 token 时间相较服务端 MTP 自投机在 Spec-Bench 上降低 38.6%,在 32K-token 摘要任务上降低 29.2%。目前该工作以论文形式发布。
AI 根据报道生成 · 2 小时前更新
最新进展10月16日 12:00
HyCo 论文发布:单客户端测试中服务器 GPU 每 token 时间较服务端 MTP 自投机最多降 38.6%。报道时间线
沿着报道,了解事件的不同侧面。
10月16日
- arXiv cs.CLHyCo:面向低成本移动端-云端投机解码的混合草拟
HyCo 提出混合草拟方案:服务器模型原生 MTP 头在设备端承担草拟深度,替代分支交给一次 SLM pass,服务器只返回隐藏状态、输入嵌入与 KV 条目。在 Galaxy S26 Ultra 经 LTE/5G 的单客户端测试中,其服务器 GPU 每输出 token 时间较服务端 MTP 自投机在 Spec-Bench 降 38.6%、32K-token 摘要降 29.2%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。