Csaba Szegedy 感叹：soft cross-entropy 等训练损失缺陷十多年无人察觉

Google 杰出研究员 Csaba Szegedy 转发并评论 Brandon Damos 关于训练损失缺陷的发现，感叹「这些发现居然十多年无人注意」。原帖讨论 soft cross-entropy 损失的问题与修复，并指出 reverse KL、JSD 这类蒸馏常用损失也存在类似问题，Damos 已给出对应修复的总结线程。