跳到正文
原文
AGI Hunt· ITMO·· 3 小时前AI 评分35

ITMO LEAD Lab 提出 TWIG:权重即离散决策路径,统一压缩与电路化部署

TWIG 论文:权重即离散决策路径,统一压缩与电路化部署

AI 导读

ITMO 大学 LEAD Lab 提出 TWIG,把每个权重表示为一条小离散决策路径的终点:符号、2 的幂移位、零门控、共享表索引,相关权重共享路径上段。任意训练好的网络都可写成 TWIG;决策取 2 的幂时,权重层几乎全由连线与加法器构成电路,适合权重在流片时固定的芯片。剪枝、量化、低秩分解、码本与权重共享被统一为对同一对象的编辑,决策选择可形式化为基态问题并借助成熟求解器优化。

来源:AGI Hunt · agihunt.info