前言
这篇文章回答两个问题：
- 大模型的训练顺序到底是什么？
- 这条流水线在工程上由哪些层构成？
当前主流的模型训练，核心结论有三：
- 预训练 → 中期训练 → 后训练（SFT → 偏好优化 → 强化学习）这一顺序在功能逻辑上是成立的，后训练三阶段的先后不可交换，但工程实现上允许交错、迭代和蒸馏收尾。
- 完整的训练链路应拆为数据工程、系统架构、预训练、中期训练、后训练、评测部署六层，每一层都为下一层设定约束和接口，误差逐层放大而非层内自愈。
- 中期训练是标准配置但有条件可替代，评测结论可以跨层回灌，训练是一个带反馈回路的耦合系统，不是一条不可回退的瀑布。
如果你不理解这些内容，这篇文章会详细的解释每部分的含义以及整体流程架构，但还是要有一些基础，后续我会在资源页面做AI学习的专栏，方便大家自学参考。
正在绘制图表…
先验证顺序：哪些是硬顺序，哪些是软约束
按照下面的顺序：预训练 → 中期训练 → 后训练（SFT → 偏好优化 → 强化学习）与2026年主流后训练文献的思路一致。一篇2026年的后训练综述明确写道：后训练现在有三个不同阶段（SFT、偏好优化、RL），"The order matters"：SFT教格式，偏好优化对齐价值观，RL把模型推离训练数据、催生推理能力。Seek-R1的训练框架同样采用SFT → DPO → RL的课程学习路径，SFT作为“初始支撑阶段”再转入on-policy RL，也是被反复采用的标准模式。
- SFT（Supervised Fine-Tuning）监督微调。
但后训练顺序也需要进行修正，上文也提到过，实际系统并不总是串行执行这三个阶段。
2026年的综述指出，真实系统可能collapse、interleave或iterate这些阶段，SFT–RL的硬切换是脆弱的，因此出现了SFT与RL交错或联合训练的方法，以及 “SFT → RL → 蒸馏” 这类多阶段混合流水线：外部监督先提供早期支撑，领域RL在rollout中强化行为，最后的蒸馏阶段把 specialist 能力整合进一个更便宜、更稳定的部署模型。所以更准确的表述是：功能上顺序不可颠倒（格式→价值观→能力涌现），但工程上可以交错、迭代、蒸馏收尾。
中期训练的情况也类似，一项中期训练综述确认它是预训练与SFT之间的退火阶段，功能是精炼数据质量、调整优化调度、扩展上下文长度；但也有实践表明，在某些配置下长上下文DPO和agentic RL可以部分替代专门的长上下文中期训练扩展，从而省略这一阶段。因此它是有条件必要的标准配置，不是绝对必需的固定步骤。
第 0 层：数据工程
在第一个 token 被预测之前，能力分布已经被写入
因为模型在开始生成（预测第一个 token）之前，参数已经冻结。而参数中编码的“能力分布”主要由训练数据及其工程方式决定。推理时的 prompt 只是在这个既定分布上做条件化激活，不会凭空新增底层能力。
正在绘制图表…
数据工程要回答的核心问题是：什么样的数据组合、以什么顺序、经过什么过滤标准，能让模型在目标能力维度上获得最优的分布。
第 1 层：系统与架构
约束在训练开始前就已经锁定
系统与架构层的很多决策，在训练真正开始前就必须定下来；一旦开训，它们会变成后续所有数据、训练、对齐和推理工作的“边界条件”，再改代价极高，甚至等于重来。
正在绘制图表…
架构选择不是技术审美，而是在参数容量、每token计算量、显存带宽、通信拓扑之间的工程权衡。2026年的主流答案是MoE，但MoE的工程复杂度远超“加几个专家”的表层理解。
- MoE（混合专家）的核心思想，是把一个巨大的神经网络拆成一堆分工明确的小型“专家”子网络，再配一个门控路由来决定每次输入该调用哪几个专家。关键在于：每次推理token只激活其中一小部分专家，其余绝大多数都处于“休眠”状态。
| 名词 | 解释 |
|---|---|
| 专家并行（EP） | 把不同专家分布到不同GPU上，每张卡只存储和计算一部分专家，突破单卡显存限制 |
| All-to-All通信 | EP中token被分派到持有目标专家的GPU、计算后再聚合回来的通信模式，是MoE训练的主要通信开销来源 |
| 负载倾斜 | token路由到少数热门专家，导致部分GPU成为straggler、拖慢整个训练步的现象 |
| 4D并行 | 数据并行（DP）+专家并行（EP）+张量并行（TP）+流水线并行（PP）的组合，用于超大规模训练 |
| MFU（模型浮点利用率） | 实际达到的算力占硬件理论峰值的比例；MoE的MFU不能用稠密模型的“2TP”公式简单估算 |
稠密模型的MFU公式（2TP）在MoE上会严重高估利用率，因为每个token只激活K/E的专家参数。
真正的训练效率取决于专家并行的负载均衡——如果token-to-expert分配出现倾斜，部分GPU会成为straggler，拖垮整个训练步的吞吐。在10K+ GPU的集群上，节点故障是常态而非异常，平均无故障时间可以降到分钟级。蚂蚁的DLRover-LM在3072卡上训练290B MoE，把故障导致的停机时间压缩到总训练时间的5%，MFU达到24%，与Megatron-LM持平。
注意力层的效率创新同样在这一层锁定：CSA（压缩注意力） 先按序列维压缩KV cache再做稀疏注意力，HCA（滑动重叠窗口注意力） 与稀疏注意力结合，目标是在长上下文场景下把注意力的二次成本降下来。这些架构决策一旦进入预训练，就不可逆地决定了部署时的推理成本结构。
第 2 层：预训练
建立底座能力，但底座不等于可用能力
预训练是“打地基”，它让模型具备通用语言、代码和推理底座；但要变成你机器人上能安全诊断报错、调用命令、遵守流程的智能体，还需要后训练、工具调用、领域知识、安全护栏和工程部署。
正在绘制图表…
预训练的目标可以精确地表述为：在海量无标注数据上最小化下一词元预测的交叉熵损失。以GLM-5为参照，预训练与中期训练合计使用了28.5万亿tokens。
| 名词 | 解释 |
|---|---|
| Next-token prediction | 预训练的唯一核心目标：给定前文，预测下一个词元；交叉熵损失衡量预测分布与真实分布的差距 |
| 学习率warmup | 训练初期从很小的学习率逐步升到目标值，避免早期梯度更新过猛导致发散 |
| Loss spike | 训练中损失突然大幅上升的现象，超大规模训练中近乎必然发生，标准处置是回滚到最近检查点并跳过异常批次 |
| 退火窗口 | 预训练晚期降低学习率、切换为高质量数据的阶段，是中期训练的前置接口 |
- Loss = 模型预测与目标之间的差距，训练就是在最小化这个差距。
但这一层最需要纠正的认知是：预训练产出的模型只是一个“下一词元预测器”。它拥有知识和泛化潜力，但不知道如何以人类期望的方式组织输出。指令遵循、工具调用、多步推理、拒绝有害请求——这些能力没有一项是在预训练目标中直接优化的。预训练决定的是能力上限（模型“能学会什么”），而不是能力分布（模型“实际会什么”）。
第 3 层：中期训练
被低估的退火与接口准备层
在模型参数基本定型后，用最高效的方式，对能力分布进行最后一次“精修”，并为其接入下游任务准备好所有必要的“硬件接口”（长上下文）和“软件接口”（行为格式）。
正在绘制图表…
中期训练在2026年已经成为标准配置，但它的功能远不止“补一点长上下文”。一项针对中期训练的系统综述将其定义为预训练与后训练之间的退火式阶段，核心操作包括：精炼数据质量、调整优化调度、扩展上下文长度。
理论依据来自三个视角：
- 梯度噪声尺度（高质量数据改善信号方差，缓解过拟合平台）
- 信息瓶颈（压缩噪声特征、保留预测结构）
- 课程学习（逐步精炼数据分布以强化复杂推理）
长上下文扩展是中期训练最具工程辨识度的任务。 典型的配方是：在一个约50B token的混合数据中，包含约6.2B token的跨仓库代码上下文，专门用于扩展长上下文建模能力，然后再接约10B token的指令微调。这意味着长上下文不是靠“把序列长度参数调大”实现的，而是在中期训练中用专门构造的长程依赖数据“教会”模型如何在长序列上分配注意力。
| 名词 | 解释 |
|---|---|
| 中期训练（Mid-training） | 预训练与SFT之间的退火式阶段，通过多轮降低学习率、精炼数据质量、扩展上下文长度，把模型从“记住噪声”推向“抽象结构” |
| 退火（Annealing） | 降低学习率以减小梯度方差、稳定收敛到更优极小值的优化调度策略 |
| 长上下文扩展 | 在中期训练中用专门构造的长程依赖数据“教会”模型在长序列上分配注意力，而不是简单调大序列长度参数 |
| 梯度噪声尺度 | 解释中期训练有效性的理论视角之一：高质量数据降低信号方差，帮助模型越过过拟合平台 |
| 信息瓶颈 | 中期训练压缩噪声特征、保留预测结构的理论视角 |
中期训练的另一个功能是领域能力的定向注入：代码、数学、特定语言或专业文档，在这个阶段以“继续预训练”的形式补上通用预训练没有覆盖好的“教材章节”。它不是从头重建地基，而是在已有基座上做有针对性的结构加固。
- 退火是“让温度类参数随进程变化，以平衡探索与收敛”；经典退火通常是降温，但温度调度也可以升温， 就是升温重试而非经典退火。
| 类型/场景 | 控制的“温度类参数” | 变化方向 | 核心目的 | 典型形式 / 备注 |
|---|---|---|---|---|
| 学习率退火 | 学习率 | 通常由高到低 | 前期大步探索，后期小步收敛，降低 loss 抖动 | 余弦退火、线性衰减、阶梯衰减、指数衰减；常配合 warmup |
| 模拟退火（优化算法） | 温度 T | 由高到低 | 高温时允许接受较差解以跳出局部最优，低温时趋于收敛 | 以概率 接受更差解；经典“退火”原义 |
| 采样温度退火、温度调度 | 生成采样温度 | 可升可降，取决于目的 | 调节随机性与确定性：高温增多样性，低温增稳定性 | 常用于生成模型、RL 探索；不是固定必须降温 |
| 扩散模型去噪过程 | 噪声强度 / 噪声水平 | 由高到低 | 先粗后细，从高噪声逐步生成清晰样本 | 可理解为一种噪声/温度退火 |
| 你前面数据工程中的 | 合成数据生成温度 | 递增（升温） | 用受控随机性换取多样性，失败后重试 | 属于温度调度、升温重试，不是经典“降温退火” |
第 4 层：后训练
能力差距的真正来源，技术栈在12个月内完成了换代
正在绘制图表…
2026年后训练最显著的事实是：12个月前“预训练→RLHF”的标准配方已经死亡。DeepSeek-R1、Nemotron 3 Super、GPT-5.3 Codex等过去一年发布的主要模型，全部使用了不同的后训练栈。
SFT使用100万到1000万条精选示例，核心目标是让模型学会指令遵循、结构化输出和对话风格。Nemotron 3 Super的SFT使用了700万样本，来自一个4000万规模的更大语料库。SFT不塑造推理能力，它的作用是给后续的强化学习提供一个格式正确、行为可解析的起点。
偏好优化中，DPO及其变体（SimPO无需参考模型、KTO支持二元反馈、ORPO合并SFT与对齐）仍然是这一阶段的主力。但在2026年的技术栈中，偏好优化已经退居为RL之前的前置对齐步骤，不再是后训练的完成态。
强化学习才是塑造能力的引擎。GRPO取代PPO成为默认选择，核心创新是彻底移除Critic模型：对于每个prompt，采样一组响应（通常8到64个），用组内均值和标准差做归一化：advantage_i = (reward_i - mean) / std。这个设计把RL训练的内存开销从“双模型”降到“单模型”，同时理论分析表明GRPO的策略梯度具有U统计量性质，在广泛的一类策略梯度方法中是可证明最优的，而非经验性的hack。
DAPO则解决长思维链RL中的特定不稳定性：clip-higher（放松上界裁剪，防止长序列被过度惩罚）、动态采样（过滤全对或全错的prompt组，避免零方差梯度）。
RLVR是更深层的范式转变：奖励不再来自人类偏好标签或学习到的奖励模型，而是来自可验证的检查器——数学验证器、单元测试、证明检查器。对于数学题，模型自由生成推理过程，最终答案由规则检查；代码任务由单元测试判定。这消除了奖励模型自身的偏差和reward hacking风险，代价是只适用于有确定性正确性信号的任务。
| 名词 | 解释 |
|---|---|
| SFT（Supervised Fine-Tuning）监督微调 | 用精选的“指令—理想输出”示例教模型遵循指令、产出结构化输出和对话风格，规模通常100万到1000万条 |
| DPO（直接偏好优化） | 用偏好对（chosen/rejected）直接优化策略，无需独立奖励模型，是偏好优化的基线方法 |
| SimPO | DPO的无参考模型变体，用长度归一化隐式奖励，约20%更快、10%更轻，适合中小规模 |
| KTO | 用非配对二元反馈（点赞/点踩）替代偏好对，在噪声或不平衡数据上比DPO更样本高效 |
| ORPO | 把SFT和对齐合并为单一阶段，无需参考模型，输出一致性更好 |
| RLVR（可验证奖励强化学习） | 奖励来自程序化验证器（单元测试、数学检查器）而非人类标注，用于数学、代码等有确定性正确性信号的任务 |
| GRPO | 对每个prompt采样一组响应，用组内均值和标准差归一化计算优势，彻底移除Critic模型，内存开销从双模型降到单模型 |
| DAPO | GRPO的稳定化改进，核心是clip-higher和动态采样，把长程推理RL从“偶尔能跑通”变成“可以稳定规模化” |
| 拒绝采样微调 | 用强模型在RL后生成的高质量输出重建SFT数据集，再进行一轮微调，巩固已涌现的推理行为 |
| Agentic RL | 在可执行环境中优化多步轨迹而非单步答案，训练数据从静态“问题—答案”对变为交互轨迹 |
| PRM（过程奖励模型） | 对推理的每一步给分，而非只看最终答案；已被证明能抑制“走捷径”，引导真正的因果链 |
| ORM（结果奖励模型） | 只根据最终答案是否正确给一个标量分数，信号稀疏但成本低，适合聊天/QA等 action-gap-dominant 场景 |
GLM-5的后训练链路在Reasoning RL之后进一步设置了Agentic RL和General RL，把优化对象从“答案正确性”扩展到“轨迹有效性和执行策略”，训练数据从静态的“问题—答案”对变成可执行环境中的多步交互轨迹。以DeepSeek-R1为参照，完整的后训练流水线呈现为：冷启动SFT → 推理RL → 拒绝采样微调 → 对齐RL。
第 5 层：评测、奖励设计与部署
定义“好”，并把能力压缩到可交付的形态
正在绘制图表…
MMLU已经饱和：前沿模型在2026年普遍达到88%以上，GPT-5.3 Codex达到93%，继续用MMLU区分模型的信息量趋近于零。
- MMLU 是一个用57学科、约1.6万道选择题来“考试”模型知识广度的基准。
接替它的是GPQA Diamond（博士级理科问题，“Google-proof”，人类博士专家准确率约65%，前沿模型已超越）和MMLU-Pro。但这些基准的深层问题在于训练—测试划分可能低估泛化失败的风险：中科院团队提出的OPG指标衡量“在训练集上训练 vs. 直接在测试集上训练”的性能差，实验显示主流基准上RL模型的OPG近乎为零，意味着高分可能反映的是对测试分布的适配，而非真正的因果推理能力。
奖励设计上，中科院团队从因果信息论角度严格证明了PRM在数学推理和Agent任务上显著优于ORM：ORM下的RL会让模型偏好表面统计相关性而非真正的因果链。但PRM并非普适的。一项NeurIPS 2026的研究给出了可操作的诊断工具 state-lift：它用约500条标注步骤，在几分钟内预测某个新领域是否值得训练PRM。结论是清晰的二分：state-noise-dominant领域（数学推理、Agent任务）PRM必需；action-gap-dominant领域（聊天、QA）ORM已经足够。
部署不是训练的“降级版”，而是能力扩散的关键基础设施。小米MiMo-V2-Flash（3090亿参数MoE，在线仅激活150亿）使用多教师RL蒸馏配合多token草稿层，获得2.6×推理加速。投机解码在2026年已经深度集成到引擎内部，vLLM的V1引擎维护一个spec_decode/目录，支持MTP（多token预测，模型自带草稿头）、DFlash等多种投机路径。推理引擎的选型已经分化出清晰的场景边界：vLLM是高并发生产环境的开源主力；SGLang凭借RadixAttention和EP在Agent、RAG、结构化输出场景中缓存命中率更高；TensorRT-LLM在NVIDIA硬件上提供最大吞吐和最低延迟，但部署复杂度需要1–2周的编译流水线适配。
| 名词 | 解释 |
|---|---|
| GPQA Diamond | 博士级理科问题基准，设计为“Google-proof”，人类博士专家准确率约65%，前沿模型已超越 |
| OPG（Oracle Performance Gap） | 衡量“在训练集上训练”与“直接在测试集上训练”的性能差；主流基准上RL模型的OPG近乎为零，提示高分可能反映分布适配而非真正泛化 |
| OPG-D3 | 在OPG基础上加入反事实扰动和规则突变的评测框架，专门诊断分布偏移下的可靠性 |
| state-lift | 用约500条标注步骤在分钟级预测某个新领域是否值得训练PRM的诊断工具 |
| 蒸馏 | 用大模型（教师）的输出训练小模型（学生），把能力压缩到更低推理成本的部署形态 |
| 量化 | 把权重和激活从高精度（FP16/BF16）降到FP8/FP4/INT8，降低显存占用和推理延迟 |
| 投机解码 | 用一个小草稿模型或模型自带的MTP头先快速生成多个候选token，再由主模型验证，加速自回归生成 |
| RadixAttention | SGLang的核心缓存机制，在Agent、RAG、结构化输出等共享前缀多的场景中显著提高缓存命中率、降低延迟 |
端到端总览：六层如何咬合
正在绘制图表…
这张总览图要强调的正是开头“顺序验证”的结论：六层的主干顺序是成立的，但第5层的评测结论可以回灌第3层补基座，第4层会产生新的数据需求回灌第0层，而第1层的架构决策一旦锁定，第5层的推理成本就几乎没有回旋余地。训练不是一条只向前流的河，而是一个误差逐层放大、反馈跨层回灌的耦合系统。
六层结构中最容易被低估的是第0层和第3层。数据工程的过滤和配比质量在前置阶段就决定了模型能力的分布形态，中期训练的退火和长上下文注入决定了基座在进入后训练时是“锋利”还是“钝”的。预训练提供的是天花板，后训练决定的是实际高度，而评测与部署把这种高度转化为可交付、可验证的形态。
后训练三阶段的功能顺序不可交换，但工程上允许交错和蒸馏收尾；中期训练是标准配置，但在特定条件下可以被部分替代。理解这些“哪里是硬顺序、哪里是软约束”，比记住一条线性流程图更有判断价值。