SFT与RL的“终极和解”：清华大学提出LLM Post-Training(后训练) 统一理论与HPT算法

今天，我们要深入探讨一个大语言模型（LLM）领域的核心议题：后训练（Post-Training）。当我们谈论让一个基础模型（如Llama、Qwen）变得更强大、更“听话”，能够胜任特定任务时，我们实际上谈论的就是后训练。

长期以来，这个领域被两大主流技术范式所主导：监督微调（Supervised Fine-Tuning, SFT）和强化学习（Reinforcement Learning, RL）。然而，将它们有效结合，一直是业界探索的难题。

这篇来自清华大学和上海AI实验室的最新研究《Towards a Unified View of Large Language Model Post-Training》，不仅为我们提供了一个全新的理论视角来统一SFT和RL，还提出了一种名为 混合后训练（Hybrid Post-Training, HPT） 的实用算法，效果斐然。

后训练的“十字路口”

在大语言模型的世界里，后训练是模型从“通才”走向“专才”的关键一步。想象一下，一个预训练好的LLM就像一个知识渊博但行为散漫的大学生，而后训练的目标就是把他培养成特定领域的专业人士。

目前，主要有两条培养路径：

1. 监督微调 (SFT)：模仿型教学

• 方法：我们收集大量高质量的“问题-答案”对（专家数据），然后像教学生背诵标准答案一样，让模型去拟合这些数据。
• 优点：简单、高效、稳定。模型能快速学会特定领域的知识和表达范式。
• 缺点：模型容易变成一个只会“死记硬背”的模仿者，缺乏探索和泛化能力。当遇到数据集中未见过的新问题时，它可能会束手无策，甚至产生“过拟合”，损害其推理能力。

2. 强化学习 (RL)：探索型教学

• 方法：我们不直接给出答案，而是设定一个目标（奖励函数）。让模型自己去尝试、探索，如果它的回答接近目标，就给予奖励；反之，则不给奖励或给予惩罚。
• 优点：能够激发模型的探索精神，发现超越专家数据的新解法，泛化能力更强。
• 缺点：训练过程极不稳定。对于一个能力较弱的基础模型，让它从零开始探索复杂问题（如数学推理），就像让一个小学生自学微积分，它可能会在无数次的失败尝试中迷失方向，学不到任何有效信息，导致“训练崩溃”。

当前的困境：为了结合两者的优点，业界最常见的做法是采用一种 “SFT-then-RL” 的序贯流程——先用SFT给模型打好基础，再用RL进行能力提升。然而，这种方法更像是一种工程上的妥协，它不仅资源消耗巨大、流程繁琐，而且缺乏一个根本性的理论来指导我们如何在这两种学习信号之间取得最佳平衡。

这篇论文正是要挑战这个难题。它提出了一个根本性的问题：SFT和RL真的是两种相互独立、甚至矛盾的训练范式吗？还是说，它们本质上是同一枚硬币的两面？"

从“统一理论”到“智能算法”

这篇论文的核心贡献可以概括为两个层面：一个深刻的理论统一和一个高效的实践算法。

1. 理论贡献：统一策略梯度估计器 (UPGE)

这是论文的理论基石。作者通过严谨的数学推导，提出了一个名为 “统一策略梯度估计器”（Unified Policy Gradient Estimator, UPGE） 的理论框架。

这个框架的惊人之处在于，它证明了SFT、PPO、GRPO等多种看似迥异的后训练算法，其底层的梯度计算形式，实际上都可以被统一到一个共同的数学表达式中。在这个统一的视角下，SFT和RL不再是两种不同的目标，而是对同一个优化目标的、具有不同 偏见-方差权衡（bias-variance trade-offs） 的两种不同估计。

简单来说，UPGE就像是后训练领域的“罗塞塔石碑”，它为我们提供了一种通用语言，让我们能够理解并比较不同算法的内在联系。SFT和RL的关系，不再是“先模仿还是先探索”，而是“在当前阶段，我们更需要一种低方差、高偏见的稳定信号（SFT），还是一种高方差、低偏见的探索信号（RL）”。

2. 实践贡献：混合后训练算法 (HPT)

基于UPGE的深刻洞察，论文提出了一种名为 “混合后训练”（Hybrid Post-Training, HPT） 的全新算法。

如果说UPGE是理论指导，那么HPT就是将这一理论付诸实践的“智能教学系统”。HPT的核心思想极其优雅和直观：它像一位经验丰富的老师，根据学生在每个问题上的实时表现，动态地决定采用“模仿教学”还是“探索教学”。

• 当模型对一个问题完全没有头绪时（多次尝试均失败），HPT会切换到SFT模式，强制模型学习专家提供的标准答案，以高效地建立基础认知。
• 当模型对一个问题展现出哪怕一丝解决能力时（哪怕只有一次尝试成功），HPT就会切换到RL模式，鼓励模型在此基础上自由探索，以寻求更优的解法并提升泛化能力。

这种基于问题、实时反馈、动态切换的机制，使得HPT能够在一个统一的训练流程中，智能地、自适应地平衡知识的利用（Exploitation）和策略的探索（Exploration）。

HPT的“智能教学法”

为了更好地理解HPT，我们首先需要简要了解其背后的理论基石UPGE，然后再深入解析HPT算法的具体流程。

UPGE框架：一个模块化的“乐高”模型

UPGE的最终形式可以被看作一个由四个可替换模块组成的“乐高”模型，这清晰地揭示了所有策略梯度算法的共同结构：

𝟙

• 𝟙 (安全模块)：源自PPO的裁剪（clipping）思想，像一个“安全总监”，当模型更新步子太大可能导致“训练崩溃”时，它会及时喊停，保证训练的稳定性。
• (参考模块)：一个参考基准，用于对学习信号进行加权。在SFT中，它可以是当前策略；在PPO中，它可以是旧的策略。
• (评分模块)：即优势估计，衡量当前模型的行为比平均水平好多少。在RL中，它是经过归一化的奖励；在SFT中，它可以被看作一个常数1（因为所有专家演示都被视为“好”的）。
• (基础执行模块)：这是策略梯度的核心，负责将“评分”转化为对模型参数的具体调整。

这个框架告诉我们，不同的后训练算法，本质上只是为这几个模块选择了不同的“零件”而已。

HPT算法流程：一位智能家教的教学四步法

HPT的训练过程，完美模拟了一位智能家教辅导学生的全过程。对于数据集中的每一个问题，HPT都会执行以下四个步骤：

步骤一：随堂小测 (Performance Evaluation)

老师不会直接讲题，而是先评估一下学生当前的水平。

• 在线采样：让模型（学生）针对当前问题 ，独立地尝试解答 次（例如，8次）。由于模型当前策略 的不确定性，这 次的解答（轨迹 ）可能会五花八门。
• 批改验证：使用一个预定义的、基于规则的验证器（例如，对于数学题，就是检查最终答案是否正确）来批改这 份答卷。答对记1分，答错记0分。
• 计算能力分：计算这 次尝试的平均成功率 。例如，如果8次尝试中答对了2次，那么能力分就是 。这个分数 精准地量化了模型解决当前问题的能力。

步骤二：动态决策 (Dynamic Feedback and Mode Switching)

老师根据刚刚得到的能力分 ，来决定下一步的教学策略。

• 设定及格线：老师设定一个“最低要求”，即阈值 。在论文的实验中，这个阈值被设得非常低：。
• 做出决策：决策规则非常简单：
• 如果学生的能力分 （即 ，只要8次里有任何一次做对了），老师就认为学生“有点感觉了”，决定采用探索模式 (RL)。
• 如果学生的能力分 （即 ，8次全部做错），老师就认为学生“完全没思路”，决定采用模仿模式 (SFT)。
• 按下开关：通过控制两个互斥的系数 和 来执行决策。当进入RL模式时，()；当进入SFT模式时，()。

步骤三：计算“后悔分数” (Calculating the Mixed Loss)

根据所选的教学模式，计算一个“后悔分数”（即损失函数 ），这个分数衡量了模型当前状态与理想状态的差距。

• 如果进入RL模式 ()：此时，会计算一个复杂的RL损失 。这个损失综合考虑了学生每次尝试的“惊喜度”（优势估计 ）、“思路的新颖度”（重要性采样率 ）以及一个“安全上限”（裁剪函数 ），以确保模型在探索中稳定进步。
• 如果进入SFT模式 ()：此时，会计算一个简单的SFT损失 。这个损失衡量的是模型在看到标准答案时的“惊讶程度”。模型对正确答案越感到意外，说明它错得越离谱，“后悔分数”就越高。

最终的总后悔分数是两者的加权和：。由于开关是互斥的，在任何时候都只有一个损失项在起作用。

步骤四：纠正思路 (Model Update)

最后一步，也是最关键的一步，就是利用这个“后悔分数”来对模型的大脑（参数 ）进行一次微小而有益的调整。

• 通过计算损失 对参数 的梯度 ，我们可以找到一个让“后悔分数”上升最快的方向（可以理解为“错得更离谱”的方向）。
• 然后，我们让模型参数朝着这个方向的正后方，迈出一个由学习率 控制的小步。
• 这个过程就是梯度下降：新旧。

通过在一个统一的训练循环中，对每个问题不断重复这“教学四步法”，HPT算法实现了对SFT知识利用和RL策略探索的精妙平衡。

实验结果与分析：HPT真的有效吗？

理论和算法设计得再优雅，最终还是要用实验结果说话。论文在多个极具挑战性的数学推理基准上，对HPT进行了全面的评估。

实验设置：

• 模型：涵盖了不同规模和家族的模型，主要包括Qwen2.5-Math-7B、Qwen2.5-Math-1.5B和LLaMA-3.1-8B。
• 基准测试：包括AIME 2024/2025、MATH-500、Minerva等6个主流的数学推理数据集，以及用于评估泛化能力的GPQA和ARC-c。
• 对比基线：包括SFT-only、RL-only (GRPO)、标准的SFT→GRPO流程，以及其他先进的混合策略方法，如LUFFY和SRFT。

关键实验结果解读：

1. HPT全面超越基线：如论文核心的表2所示，在使用Qwen2.5-Math-7B模型时，HPT在6个数学基准上的平均分达到了52.7，显著超过了所有对比方法，包括强劲的混合策略LUFFY（49.8）和传统的SFT→GRPO（46.5）。这一优势在不同的模型上（如表3所示）得到了重现，验证了其普适性。

2. 不仅提升准确率，更增强探索能力：图2的Pass@k分析给出了一个非常深刻的洞察。Pass@k指标衡量的是模型在k次尝试中，至少有一次成功的概率，它能很好地反映模型的探索能力和解题思路的多样性。实验结果显示，HPT不仅在Pass@1（单次尝试成功率）上领先，在k值增大时，其性能优势愈发明显，全面超越了包括SFT在内的所有方法。这表明，HPT的动态机制并非简单地在模仿和探索之间取一个折中，而是通过SFT引入的外部知识，极大地拓宽了RL阶段的探索边界，实现了1+1>2的协同效应。

3. 动态机制的可视化验证：图6直观地展示了HPT的动态调整过程。在训练初期，模型能力较弱，SFT的比例（图中蓝线）非常高。随着训练的进行，模型逐渐掌握解题能力，SFT的贡献相应减少，RL的贡献逐渐增加，并最终稳定在一个动态平衡的状态。这有力地证明了HPT的“智能教学”机制确实在按预期工作。

总结

HPT的成功为我们揭示了LLM后训练的一个更智能、更高效的方向。尽管它已经取得了卓越的性能，但仍然存在一些值得探索的未来方向：

• 更精细的门控机制：当前的HPT采用的是一个硬性的0/1切换开关。未来可以探索更平滑、甚至是可学习的门控函数，让SFT和RL的融合更加无缝和精细。
• 向更广泛领域的拓展：目前HPT在有明确对错（如数学、代码）的领域验证了其有效性。如何将其拓展到需要主观评估的开放域（如创意写作、对话），将是一个有趣且富有挑战性的方向。这需要将基于规则的验证器替换为高质量的、可学习的奖励模型。

总而言之，这篇论文通过一个统一的理论框架和一套优雅的实践算法，为我们解决了长期以来困扰业界的SFT与RL的“割裂感”问题。HPT所代表的这种自适应、细粒度的训练范式，无疑为我们通往更强大、更可靠的通用人工智能模型，铺设了一条坚实而富有前景的道路。

论文名称：Towards a Unified View of Large Language Model Post-Training
第一作者：清华大学
论文链接：https://arxiv.org/pdf/2509.04419
最新日期：2025年9月4日
github：https://github.com/TsinghuaC3I/Unify-Post-Training.git