## 1. 引言

在大语言模型（LLM）迈向更高推理能力的过程中，强化学习扮演了越来越关键的角色。从早期的 PPO（Proximal Policy Optimization）到如今备受关注的 GRPO（Group Relative Policy Optimization），训练范式正在经历一场“减法革命”——用更轻量的设计，换取更高的效率与更强的稳定性。本文将从核心思想、算法差异、优势与应用场景四个维度，带你全面理解 GRPO。

## 2. GRPO 是什么

GRPO（Group Relative Policy Optimization，群体相对策略优化）是一种专为大语言模型设计的强化学习算法。它因在 DeepSeek-R1 等模型训练中的成功应用而备受关注。

### 2.1 核心思想：在“组内 PK”中学习

对于同一个问题，GRPO 让模型生成多个不同的答案，组成一个“答案组”。随后，它根据奖励模型给组内每个答案打分，通过比较组内答案的**相对优劣**（而不是绝对得分）来计算每个答案的“优势”。模型学习的目标，就是不断提高生成高分答案的概率。

这种基于相对比较的机制，与人类的“同伴竞争”逻辑十分相似：一个答案好不好，不在于它本身的绝对分值有多高，而在于它是否比同组的其他答案更出色。

## 3. GRPO 与 PPO 的核心区别：更轻量、更高效

传统强化学习算法（如 PPO）需要一个庞大的“价值网络”（Value Network）来评估状态，这在 LLM 训练场景下意味着巨大的额外计算与内存开销。

GRPO 则彻底抛弃了价值网络，直接通过组内对比来估计“优势”。这一“减法”带来了显著的变化：

| 维度 | PPO | GRPO |
| --- | --- | --- |
| 价值网络 | 需要单独训练和维护 | 完全去除 |
| 优势估计 | 依赖价值网络的绝对评估 | 组内相对比较 |
| 计算开销 | 高（额外网络训练） | 低 |
| 训练稳定性 | 受奖励信号绝对值波动影响 | 相对比较，更稳定 |



下面通过一个简化的 Python 训练循环，直观展示 GRPO 中“组内相对优势估计”的核心逻辑：

下面的流程图对比了两类训练链路：PPO 依赖额外的价值网络，而 GRPO 直接用组内相对比较估计优势。

```mermaid
flowchart LR
  subgraph PPO["PPO 训练流程"]
    A1["采样多个答案"] --> A2["奖励模型打分"]
    A2 --> A3["价值网络评估状态"]
    A3 --> A4["优势估计：r - V(s)"]
    A4 --> A5["策略梯度更新"]
  end

  subgraph GRPO["GRPO 训练流程"]
    B1["同一问题生成一组答案"] --> B2["奖励模型打分"]
    B2 --> B3["组内标准化：减均值、除以标准差"]
    B3 --> B4["组内相对比较估计优势"]
    B4 --> B5["策略梯度更新"]
  end
```

可以看到，PPO 的训练链路中多了一个“价值网络评估状态”的步骤；GRPO 则完全去掉价值网络，直接对同组答案做标准化与相对比较。这也正是二者在资源消耗与训练稳定性上产生差异的根源。



```python
import torch
import torch.nn.functional as F

def compute_group_advantages(rewards, epsilon=1e-8):
    """
    GRPO 核心：在同一个问题的“答案组”内部做相对比较。
    不依赖价值网络，直接用组内均值/标准差归一化奖励，
    得到每个答案的相对优势。
    """
    rewards = torch.tensor(rewards, dtype=torch.float32)
    # 1. 组内标准化：减去组均值，再除以组标准差
    mean = rewards.mean()
    std = rewards.std() + epsilon
    advantages = (rewards - mean) / std
    return advantages

def grpo_training_step(model, question, num_samples=8):
    """
    一个简化的 GRPO 训练步：
    1. 对同一个问题采样多个答案，组成一个“组”
    2. 用奖励模型/规则给每个答案打分
    3. 组内相对比较得到优势
    4. 用优势加权更新策略
    """
    # 第 1 步：同一问题生成一组答案
    responses = [model.generate(question) for _ in range(num_samples)]
    # 第 2 步：计算每个答案的奖励（如答案是否正确、代码是否通过测试）
    rewards = [score_response(question, r) for r in responses]
    # 第 3 步：组内相对优势估计，这是 GRPO 区别于 PPO 的关键
    advantages = compute_group_advantages(rewards)
    # 第 4 步：计算策略梯度损失并更新模型
    loss = policy_gradient_loss(responses, advantages)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    return loss.item()
```

其中 `score_response` 可以基于可验证规则实现，例如数学题判断最终答案是否正确，代码任务判断能否通过测试用例；`policy_gradient_loss` 则根据每组的 relative advantage 加权更新模型。注意：这里的优势是“组内相对值”，同一答案放到不同答案组中，其优势可能不同，这正是 GRPO 用比较替代绝对值评估的设计所在。

## 4. GRPO 的三大优势

### 4.1 更低的资源消耗

由于省去了价值网络的训练与部署，GRPO 大幅削减了计算和内存开销。对于动辄千亿参数的 LLM 来说，这意味着训练成本可以显著下降，让更多团队有条件进行 RLHF 或后训练实验。

### 4.2 更高的训练效率

简化后的训练流程让 GRPO 在数学推理等任务中表现出色，训练速度可提升数倍。流程越简单，工程实现越清晰，迭代节奏也越快。

### 4.3 更强的稳定性

强化学习训练中，奖励信号的绝对数值往往波动较大，容易导致训练不稳定。GRPO 通过组内相对比较的方式，天然规避了绝对数值波动带来的干扰，使训练过程更加稳健。

## 5. 应用场景：后训练与自我进化

GRPO 尤其适用于模型的**后训练（Post-training）**阶段。在这一阶段，模型已经具备了基础的语言能力，需要通过强化学习进一步激发其在复杂任务上的推理潜能。

GRPO 可以通过**可验证的奖励**（如数学题的最终答案是否正确、代码是否能通过测试用例）来引导模型，使其在推理、数学、代码等复杂任务上的能力持续进化。这种“用结果说话”的反馈方式，让模型得以在明确的信号指引下不断自我提升。


## 6. 实战案例：用 GRPO 训练数学推理模型

GRPO 最有价值的落地场景之一，是在后训练阶段强化数学推理模型。下面以一个简化但可复现的实验为例，展示如何从零搭建一个“用答案对错说话”的训练闭环。

### 6.1 任务设定

- **基座模型**：选择具备基础数学能力的小型开源模型，例如 `Qwen2.5-Math-7B`。
- **训练数据**：从 MATH 或 GSM8K 训练集筛选 5k-10k 条“问题-标准答案”对，不需要人工逐步推理标注。
- **采样方式**：对每个问题采样 `G` 个候选答案，构成一个“答案组”，用组内相对优劣估计优势。
- **优化目标**：提升最终答案准确率，而不是强制每一步与参考解完全一致。

### 6.2 奖励函数设计：只判断最终答案

GRPO 不需要额外训练庞大的奖励模型，数学任务可以使用可验证的规则奖励。核心是提取模型输出中的最终答案，并与标准答案比较：

- 优先提取 `\boxed{...}` 中的内容；
- 如果未使用 `\boxed{}`，再提取最后一个数字；
- 答案一致给 1.0 分，否则给 0.0 分；
- 可增加 0.1 的格式奖励，引导模型输出清晰、易判分的答案。

```python
import re

def extract_final_answer(text: str) -> str:
    """提取 \boxed{...} 或最后一个数字作为最终答案。"""
    boxed = re.findall(r"\\boxed\{([^}]*)\}", text)
    if boxed:
        return boxed[-1].strip()
    numbers = re.findall(r"-?\d+(?:\.\d+)?", text)
    return numbers[-1] if numbers else ""

def math_reward(question, response):
    pred = extract_final_answer(response)
    gold = extract_final_answer(question["gold_answer"])
    correct = 1.0 if pred == gold else 0.0
    format_bonus = 0.1 if r"\boxed{" in response else 0.0
    return correct + format_bonus
```

### 6.3 训练超参数

| 超参数 | 取值 | 说明 |
| --- | --- | --- |
| 组大小 G | 8 | 同一问题采样的候选答案数 |
| 学习率 | 1e-6 | 策略模型微调学习率 |
| 采样温度 | 1.0 | 控制组内答案多样性 |
| KL 系数 | 0.04 | 约束策略模型不要偏离参考模型太远 |
| 最大生成长度 | 2048 | 为多步推理预留空间 |
| 训练步数 | 1000 | 示例配置，可按 GPU 资源调整 |
| 优化器 | AdamW | 可配合 warmup 使用 |

组大小直接影响优势估计的稳定性：`G` 太小，组内对比噪声大；`G` 太大，单步计算成本上升。实践中 `G=8` 是较常见的折中方案。

### 6.4 关键代码片段：完整训练步

```python
import torch

def grpo_math_step(model, ref_model, question, config, optimizer):
    # 1. 同一个问题生成一个答案组
    responses = [
        model.generate(question["prompt"], temperature=config.temperature)
        for _ in range(config.group_size)
    ]
    # 2. 使用规则奖励：只关心最终答案是否正确
    rewards = [math_reward(question, r) for r in responses]
    advantages = compute_group_advantages(rewards)

    # 3. 组内策略梯度损失，并加入 KL 约束
    loss = 0.0
    for r, adv in zip(responses, advantages):
        logp = model.log_prob(question["prompt"], r)
        ref_logp = ref_model.log_prob(question["prompt"], r)
        kl = (logp - ref_logp).mean().clamp_min(0)
        loss += -(adv * logp.mean() - config.kl_coef * kl)

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    return loss.item(), sum(r > 0 for r in rewards) / len(rewards)
```

其中 `compute_group_advantages` 可直接复用第 3 节中的组内标准化实现；`model.log_prob` 与 `ref_model.log_prob` 分别表示策略模型与参考模型的对数概率，实际实现时可替换为 Transformers 的 logits 计算。

### 6.5 训练曲线分析

- **训练初期**：平均正确率通常在 30%-40%，组内奖励方差较大，优势分布更“尖锐”，说明模型仍在充分探索。
- **快速上升期**：随着训练进行，平均正确率会快速爬升，验证集准确率与训练集准确率同步上升；此时 RL loss 通常会下降，但 RL loss 数值本身并不总等于任务性能，需要结合验证集观察。
- **收敛期**：组内标准差逐步减小，模型对同类题目的答案趋于一致。若验证集准确率开始走平或回落，应降低学习率或适当增加 KL 约束，避免过拟合到固定模板。
- 一个典型的小规模实验中，最终答案准确率可能从约 40% 提升到 65%-75%，同时答案的规范性和可判分性也会明显改善。

## 7. 总结


GRPO 的核心价值在于：用“组内相对比较”替代“绝对价值评估”，从而在保证训练质量的同时，大幅降低了强化学习的门槛。它的出现，不仅让 DeepSeek-R1 等模型的训练更加高效，也为 LLM 后训练提供了全新的思路——从追求复杂的价值网络，转向追求更简洁、更稳定的优化范式。

对于希望在有限资源下探索 LLM 强化学习的团队来说，GRPO 无疑是一个值得关注和尝试的方向。

在大语言模型（LLM）迈向更高推理能力的过程中，强化学习扮演了越来越关键的角色。从早期的 PPO（Proximal Policy Optimization）到如今备受关注的 GRPO（Group Relative Policy Optimization），训练范式正在经历一场“减法革命”——用更轻量的设计，换取更高的效率与更强的稳定性。本文将从核心思想、算法差异、优势与应用场景四个维度，带你全面理解 GRPO。

GRPO：模型自进化的“学习算法”

在大语言模型（LLM）迈向更高推理能力的过程中，强化学习扮演了越来越关键的角色。从早期的 PPO（Proximal Policy Optimization）到如今备受关注的 GRPO（Group Relative Policy Optimization），训练范式正在经历一场“减法革命”——用更轻量的设计，换取更高的效率与更强的稳定性。本文将从核心思想、算法差异、优势与应用场景四个维度，带你全面理

人工智能

算法

后端

GRPO是一种专为大语言模型设计的强化学习算法，通过组内相对比较替代价值网络，降低资源消耗并提升训练稳定性。相比PPO，GRPO去除了价值网络，直接对同组答案进行标准化，在数学推理和代码任务中表现优异。本文详解其核心思想、算法差异、优势及应用场景，并提供实战案例与代码实现。

强化学习

代码解释

DeepSeek

Python

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

GRPO：模型自进化的“学习算法”-腾讯云开发者社区-腾讯云

GRPO：模型自进化的“学习算法”

GRPO：模型自进化的“学习算法”

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐