AWS 科普投机解码：差的猜测器也不改变大模型输出

AWS 的 Antje Barth 发布带代码的 GitHub 文章，讲解投机解码为何不会改变大模型输出。文章给出其数学本质：被保留的猜测比例等于两个模型概率分布的交集，通过一次减法操作即可保证最终答案与原大模型完全一致。因此即便小模型猜错率高达 30%，输出也不受影响。