跳到正文
原文
arXiv cs.AI· Fahd Seddik, Fatemeh Fard·· 4 小时前AI 评分41

面向潜在递归 LLM 系统的原则化思考:REST 表征监督训练目标

Principled Thoughts for Latent Recursive LLM Systems

AI 导读

REST(REpresentation-Supervised Thoughts)将因果关系、最小性、可分离性、稳定性四项有效思考表征属性转为可微损失,与交叉熵(CE)联合训练潜空间递归 LLM。在数学、科学、医学与代码生成共 7 个基准上,同等训练数据、算力与潜空间预算下,其准确率比纯 CE 训练最高提升 7.5 个百分点,最终答案收敛率提升 30%,且解码这些思考表征能更好地还原智能体预期输出。

来源:arXiv cs.AI · arxiv.org