数据集聚合(DAgger：模仿学习)的原理和步骤

算法：DAgger
输入：专家策略 π_expert，环境 env，迭代次数 N
输出：策略 π_θ

1. D_0 ← 用 π_expert 采集 n 条轨迹，得到 {(s, π_expert(s))} 数据集

2. for i = 0 to N-1:

   2.1 在 D_i 上训练行为克隆策略 π_i

   2.2 用 π_i 在环境中跑 n 条轨迹，收集状态序列 {s_t}
       （注意：只收集状态，不用 π_i 的动作）

   2.3 对每个收集到的状态 s_t，查询专家动作：a_t = π_expert(s_t)
       → 得到新标注数据 D_new = {(s_t, a_t)}

   2.4 合并：D_{i+1} = D_i ∪ D_new

3. 在 D_N 上最终训练，返回 π_θ

训练 π_i(D_i):
    策略网络 π = MLP() 或 ResNet()
    优化器 = Adam(π, lr=1e-3)
    for epoch = 1 to N:
        for (s, a) in D_i:           # D_i 是累积数据集
            a_pred = π(s)
            loss = MSE(a_pred, a)      # 连续动作
            # 或 CrossEntropy            # 离散动作
            loss.backward()
            optimizer.step()
        # 在验证集上早停
        if val_loss 连续上升:
            break
    返回 π

for i = 0 to N-1:
    π_i = train_BC(D_i)

    new_data = []
    for episode = 1 to n:
        s = env.reset()
        while not done:
            a = π_i(s)                    # 策略自己选动作
            s_next, _, done, _ = env.step(a)

            if random() < β_i:             # β_i 随迭代递减（如 β_i = 1.0 / (i+1)）
                a_expert = π_expert(s)     # 仅在这些状态上问专家
                new_data.append((s, a_expert))

            s = s_next

    D_{i+1} = D_i ∪ new_data

D{i+1} = Di ∪ D_new        # 保留所有历史数据
错误做法：D{i+1} = D_new   # 只用新数据 → 灾难性遗忘