跳到正文
原文
AGI Hunt· willcb·· 3 小时前AI 评分28

will cb:拥抱电路视角,深度学习的「神秘感」大半消失

will cb:拥抱电路视角,深度学习的「神秘感」大半消失

AI 导读

will cb 延续其电路视角线程称,一旦接受电路视角,现代深度学习所谓的大部分神秘感都会消失。他补充,电路可用比特表达,比特截断的表达式在大多数输入上能很好近似完整表达式、收益递减,从 fp4 到 fp32 对表达力的损伤不大,更多是优化动力学问题。RL 会先找到高阶位。

来源:AGI Hunt · agihunt.info