跳到正文
原文
AGI Hunt· IgorCarron·· 4 小时前AI 评分44

光子训练 1B GPT-2:绕过反向传播的 DFA 光学预训练登上 PNAS

光子训练 1B GPT-2:绕过反向传播的 DFA 光学预训练登上 PNAS

AI 导读

Igor Carron 团队在 PNAS 发表论文,用直接反馈对齐(DFA)算法在光电混合系统上以随机投影预训练 1B 规模 GPT-2,全程绕开反向传播并用光学方式实现。该工作称实验验证了可扩展的光学训练路径,是光学训练首次推进到 1B 级语言模型。此前光子方案低功耗、高速,但多限于推理和简单任务。

来源:AGI Hunt · agihunt.info