跳到正文
原文
arXiv cs.AI· Xiangjing An, Zhibin Jiao, Aiting Chen·· 4 小时前AI 评分43

大模型训练全阶段统一框架:从数据与 Tokenization 到预训练与后训练对齐

A Comprehensive Framework for All Stages of Large-Model Training: From Data and Tokenization, through Pretraining, to Post-Training Alignment

AI 导读

一篇论文提出覆盖数据与 Tokenization、预训练、后训练的大模型训练统一阶段划分与六维分析框架,梳理 2017 至 2026 年 395 篇核心文献。框架从数据、目标函数、优化策略、系统约束、评估、风险与治理六维横向比较,并给出跨阶段效应图、方法族谱与实用决策树。

来源:arXiv cs.AI · arxiv.org