跳到正文
原文
AGI Hunt· sineadwilliamso·· 3 小时前AI 评分47

Apple 论文:模型 top-k logits 泄露任务无关信息,k≈10-13 即可稳定恢复目标属性

k≈10-13 即可稳定恢复目标属性,k 越大背景物体也可解码

AI 导读

Apple 一篇论文发现,模型 top-k logits 会泄露任务无关信息:当 k 达到约 10-13 时目标属性已可稳定恢复,k 继续增大后连背景物体的属性也变得可解码。仅凭 top-20 logits 约 100 次查询即可恢复未询问属性,意味着 API 常见的 top-k 输出实际携带大量超出询问范围的场景信息。

来源:AGI Hunt · agihunt.info