跳到正文
原文
AGI Hunt· dianarycai·· 2 小时前AI 评分29

SoftServe 更新源自二次矩阵方程,延续 Batch-and-Match 思路

SoftServe 更新源自二次矩阵方程,延续 Batch-and-Match 思路

AI 导读

SoftServe 论文作者补充说明,其更新规则基于二次矩阵方程的解,延续团队 ICML 2024 论文 Batch-and-Match(BaM)的思路。BaM 是基于 score-based divergence 的黑盒变分推断方法,高斯族下有闭式近端更新,在大 batch 极限下参数更新指数收敛,常比 ELBO 优化的 BBVI 用更少梯度评估收敛。

来源:AGI Hunt · agihunt.info