跳到正文
原文
arXiv cs.CL· Roy Eisenstadt, Harel Lidar, Tal Gonen, Omer Luxembourg, Itamar Zimerman, Lior Wolf, Eli David, Ilan Naiman·· 3 小时前AI 评分38

DCOCO:为投机解码的并行草稿引入上下文校正

Contextual Correction of Parallel Draftsfor Speculative Decoding

AI 导读

DCOCO(DFlash Contextual Corrector)是一种轻量机制,通过并行评估相邻草稿位置多个候选 token 的上下文兼容性,在不牺牲并行草稿的前提下恢复被丢失的块内依赖。

来源:arXiv cs.CL · arxiv.org