FlashAttention 大数相减隐患引热议

开发者 YouJiacheng 发文指出，FlashAttention 的 attention kernel 数值实现脆弱，exp(sij - lse) 本质是大数相减问题。这一难题并非 FlashAttention 独有：stable softmax 总要减去最大值，因此即使不用 FlashAttention 也依然存在。他提出，或许只需保证前向与反向计算的一致性，就能缓解该数值问题。