跳到正文
原文
arXiv cs.AI· Taeung Yoon, Yupeng Zhang, Xiaojing Liao·· 4 小时前AI 评分35

ZK-LLM 下的比特:面向可验证隐私 LLM 推理的零知识友好量化评估

Bits Under ZK-LLM: Evaluating Zero-Knowledge-Friendly Quantization for Verifiable Private LLM Inference

AI 导读

首个 ZK 友好量化系统性研究覆盖 9 个语言模型,含 Qwen2.5-14B 与 MoE 模型 Qwen3-30B-A3B。结果显示激活精度比权重精度敏感得多,非线性查找近似可主导效用下降,RMSNorm 平方根倒数查找是多个大模型的反复瓶颈。降低位宽或查找表规模并不必然带来成比例的端到端证明开销节省。

来源:arXiv cs.AI · arxiv.org