跳到正文
热点事件持续更新

HyCo:移动云端混合草稿推测解码

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月16日,arXiv cs.CL 刊出 HyCo,一种面向低成本移动端-云端推测解码(投机解码)的混合草拟方案。其做法是让服务器模型的原生 MTP(多 token 预测)头在设备端承担草拟深度,替代分支则交给一次 SLM(小语言模型)前向 pass;服务器只返回隐藏状态、输入嵌入与 KV 条目,以此压低端云之间的开销。在 Galaxy S26 Ultra 上经 LTE/5G 的单客户端测试中,HyCo 的服务器 GPU 每输出 token 时间相较服务端 MTP 自投机在 Spec-Bench 上降低 38.6%,在 32K-token 摘要任务上降低 29.2%。目前该工作以论文形式发布。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. arXiv cs.CL
    HyCo:面向低成本移动端-云端投机解码的混合草拟

    HyCo 提出混合草拟方案:服务器模型原生 MTP 头在设备端承担草拟深度,替代分支交给一次 SLM pass,服务器只返回隐藏状态、输入嵌入与 KV 条目。在 Galaxy S26 Ultra 经 LTE/5G 的单客户端测试中,其服务器 GPU 每输出 token 时间较服务端 MTP 自投机在 Spec-Bench 降 38.6%、32K-token 摘要降 29.2%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。