跳到正文
热点事件持续更新

首尔大学提出 PN-Mix 混合精度 KV 缓存量化

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月,首尔国立大学发布论文 PN-Mix,针对长输出 LLM 推理中的 KV 缓存内存与带宽瓶颈,提出一种混合精度 key 缓存量化方法。该方法基于 query-key 范数,在 RoPE 通道对层面通过注意力 logit 扰动分析识别关键通道,并对重要通道分配更高精度。报道称,在 2-bit 等低比特量化下,PN-Mix 仍保持较强准确率。目前该工作处于论文发布阶段,尚无更多落地或工程化进展的披露。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. AGI Hunt
    首尔大学提出 PN-Mix 混合精度 KV 缓存量化,低比特下保住精度

    首尔国立大学发布论文 PN-Mix,提出基于 query-key 范数的混合精度 key 缓存量化方法,缓解长输出 LLM 推理中的 KV 缓存内存与带宽瓶颈。该方法在 RoPE 通道对层面通过注意力 logit 扰动分析识别关键通道,并对重要通道分配更高精度。在 2-bit 等低比特量化下,PN-Mix 仍保持较强准确率。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。