AGI Hunt· Mean-Disaster8380·· 3 小时前AI 评分27
ASRN 提出学习式哈希复制层:以线性内存定位上下文早前内容并复制后续
ASRN 提出学习式哈希复制层:线性内存找上下文早前出现并复制后续
AI 导读
新方法 ASRN(Adaptive Sparse Recurrence Network,自适应稀疏循环网络)为语言模型设计了一种学习式哈希「复制层」:用学到的哈希表在序列中定位当前上下文更早出现的位置并复制其后继内容,内存开销随序列长度线性增长。该 reddit 帖文标记为 [N],仅给出核心机制,未附论文细节或实验结果。
来源:AGI Hunt · agihunt.info