arXiv cs.CL· Hanbin Bae, Heejin Choi, Joohyung Lee, Byoung Jin Choi, Sangjun Park, Hoon-Young Cho·· 4 小时前AI 评分37
HyCo:面向低成本移动端-云端投机解码的混合草拟
HyCo: Hybrid Drafting for Cost-Efficient Mobile-Cloud Speculative Decoding
AI 导读
HyCo 提出混合草拟方案:服务器模型原生 MTP 头在设备端承担草拟深度,替代分支交给一次 SLM pass,服务器只返回隐藏状态、输入嵌入与 KV 条目。在 Galaxy S26 Ultra 经 LTE/5G 的单客户端测试中,其服务器 GPU 每输出 token 时间较服务端 MTP 自投机在 Spec-Bench 降 38.6%、32K-token 摘要降 29.2%。
来源:arXiv cs.CL · arxiv.org