arXiv cs.CL· Manvi Jha, Zach Zhang, Zhichao Xu, Linbo Liu, Sai Muralidhar Jayanthi, Vinayak Arannil·· 4 小时前AI 评分35
APEX：让推测解码更聪明，而非更深
APEX: Speculate smarter, not deeper
AI 导读
APEX 是一个学习型控制器，可在请求级于 EAGLE-3、n-gram 和草稿模型推测之间做专家选择，并在块级自适应调整草稿长度，以平衡推测解码速度与草稿 token 浪费。
来源：arXiv cs.CL · arxiv.org