AGI Hunt· MundanePercentage674·· 3 小时前AI 评分45
Stanford 与 UC Berkeley 发布 TokenGate:长上下文预填充最高提速 11.3 倍
Stanford 与 Berkeley 发布 TokenGate:长上下文预填充最高提速 11.3 倍
AI 导读
Stanford 与 UC Berkeley 研究者发布 TokenGate,面向长上下文预填充的学习型 token 剪枝方法,TTFT 最高快 11.3 倍。低层处理全部 token,学习门控只保留 top-K 文档 token,问题 token 永不剪枝。峰值预填充内存降低 3.4 倍,比次优剪枝器快 6.4 倍。
来源:AGI Hunt · agihunt.info