arXiv cs.CL· Roy Eisenstadt, Harel Lidar, Tal Gonen, Omer Luxembourg, Itamar Zimerman, Lior Wolf, Eli David, Ilan Naiman·· 3 小时前AI 评分38
DCOCO:为投机解码的并行草稿引入上下文校正
Contextual Correction of Parallel Draftsfor Speculative Decoding
AI 导读
DCOCO(DFlash Contextual Corrector)是一种轻量机制,通过并行评估相邻草稿位置多个候选 token 的上下文兼容性,在不牺牲并行草稿的前提下恢复被丢失的块内依赖。
来源:arXiv cs.CL · arxiv.org