跳到正文
原文
AGI Hunt· MundanePercentage674·· 3 小时前AI 评分45

Stanford 与 UC Berkeley 发布 TokenGate:长上下文预填充最高提速 11.3 倍

Stanford 与 Berkeley 发布 TokenGate:长上下文预填充最高提速 11.3 倍

AI 导读

Stanford 与 UC Berkeley 研究者发布 TokenGate,面向长上下文预填充的学习型 token 剪枝方法,TTFT 最高快 11.3 倍。低层处理全部 token,学习门控只保留 top-K 文档 token,问题 token 永不剪枝。峰值预填充内存降低 3.4 倍,比次优剪枝器快 6.4 倍。

来源:AGI Hunt · agihunt.info