AGI Hunt· PyTorch·· 3 小时前AI 评分32
PyTorchCon 海报:FlexBudget 固定内核与统一预算,公平对比 KV 淘汰规则
PyTorchCon海报:FlexBudget固定内核统一预算,公平对比KV淘汰规则
AI 导读
AMD 的 Huanran Wang 将在 PyTorchCon North America 带来海报 FlexBudget,用固定内核与显存预算、只替换 KV 重要性规则的方式,让不同长上下文 KV cache 淘汰方法在相同代码、相同额度下可比。该方案 training-free,完全基于核心 PyTorch 的 FlexAttention。会议于 10 月 20-21 日在圣何塞举行。
来源:AGI Hunt · agihunt.info