AGI Hunt· ChengleiSi·· 1 天前AI 评分38
开源 Hyper-Connection Factory:同一 transformer 底座统一实测 11 种残差连接变体
开源 Hyper-Connection Factory:一个底座统一实测 11 种残差连接变体
AI 导读
开源项目 hyper-connection-factory 在同一 transformer 底座上统一实测 11 种残差/超连接变体。所有变体共用完全相同的 attention/MLP 子层、初始化、数据与训练计划,仅 Connection 模块不同,差异可归因于连接方式本身。
来源:AGI Hunt · agihunt.info