跳到正文
原文
AGI Hunt· Kinexity·· 1 天前AI 评分14

Reddit 讨论:Softmax 输出仅 N-1 自由度,能否少一层参数?

AI 导读

Reddit 用户提出一种架构思路:softmax 输出受「和为 1」约束、实际只有 N-1 个自由度,可假设 logits 之和为零,让最后一个 logit 由其余 logits 的负和推出,用 N-1 个输入替代 N 个,从而减少最后一层参数或略微加快收敛。发帖人承认该收益在几乎所有场景下都可忽略,并询问是否存在不做它的理论理由。

来源:AGI Hunt · agihunt.info