面向实时仓储分拣机优化的贝叶斯上下文老虎机比较研究

A Comparative Study of Bayesian Contextual Bandits for Real-Time Warehouse Sorter Optimization

面向实时仓储分拣机优化的贝叶斯上下文老虎机比较研究

https://arxiv.org/pdf/2606.23977

摘要

自动化物料搬运系统（MHS）的高效分拣机分流控制对于优化大规模仓储环境中的运营效率至关重要。在本研究中，我们以高吞吐量电商仓库的入库接收分拣机作为主要用例，该场景下的分拣机分流系统依赖于具有静态权重配置的成本函数，这些函数无法适应高度动态的系统上下文，例如单量模式、拥堵程度、设备物理状态以及上下游依赖关系。为了应对这一实时分拣机分流优化挑战，我们对三种候选混合机器学习框架进行了比较研究：结合梯度下降优化的线性回归（LR+GDO）、结合贝叶斯优化的XGBoost（XGB+BO）以及贝叶斯上下文老虎机（BCB）。通过利用高保真物理感知仿真器来支持模型训练和评估，以克服冷启动问题并实现从离线学习到在线学习的安全过渡。我们进行了全面的评估，包括奖励模型预测精度、上下文敏感性、动作分布和预估奖励提升。我们的结果表明，虽然基于树的奖励模型提供了略强的预测能力，但BCB框架实现了整体更优的性能，相较于启发式基线取得了2.03%的奖励提升。此外，BCB展现出几个优越的特性，例如由Bang-Bang控制理论支持的明确的时间最优策略、持续的在线学习能力、探索与利用之间的策略平衡，以及显著更短的推理延迟。这些结果证明了BCB框架在大规模仓储环境中进行实时控制优化的潜力，推动了面向实际运营部署的进一步研究。

索引词——贝叶斯上下文老虎机，仓储自动化，实时优化，在线学习，成本函数调优。

I. 引言

在电商仓库环境中，部署了各种分拣机以管理入库物品向各自目的地的分流。每台分拣机都利用一个定制的成本函数来决定入库物品的分流方向。该成本函数通过实时计算多个成本因素的加权和，为每个可能的分流方向计算出一个复合成本得分。对于每个入库物品，分拣机会评估所有可能分流方向的成本得分，并选择得分最低的方向。该成本函数针对每个站点每台分拣机的具体特征进行了定制，综合考虑了分拣机类型、站点物理布局、分流选项数量、可用传感器及系统指标等因素。尽管每个成本函数的具体组成部分可能有所不同，但其一般形式可表示为：

仓库是一个高度复杂的系统，具有相互关联且随时间演变的上下游流程，这要求分拣机分流系统能够适应并做出最优的分流决策。然而，当前的局限性在于，成本函数中的权重配置历来都是静态的。固定的配置可能导致次优的分流决策，从而引发高回流、拥堵和运营效率降低。为了解决这个问题，我们提出了一种混合机器学习框架，该框架在给定的系统上下文下自动推荐最优权重。该框架包含了离线模型初始化和在线连续学习阶段。

开发此类框架的一个关键挑战是冷启动问题。历史运营数据缺乏成本权重值的变化，不足以训练一个鲁棒的优化模型。为了缓解这一问题，我们利用了一个高保真物理感知仿真器。通过在仿真器中以编程方式给成本权重分配随机值并记录相应的系统结果，我们准备了模拟数据集，这些数据集捕捉了系统动态（上下文）、成本权重（动作）和最终性能指标（奖励）之间复杂的隐藏关系。

在本文中，我们对分拣机优化解决方案的三种候选算法架构进行了比较研究：

• 线性回归 + 梯度下降优化（LR+GDO）

• XGBoost + 贝叶斯优化（XGB+BO）

• 贝叶斯上下文老虎机（BCB）

我们以高吞吐量订单履行环境中的入库接收分拣机作为主要用例，通过运行仿真器收集了5000个训练样本。在离线初始化阶段，我们利用这些样本训练一个奖励模型，以学习系统状态、控制动作与最终运营结果之间的关系。随后，我们通过为预留的系统状态生成动作，并利用学习到的奖励模型作为替代模型来估算相应的奖励，从而在离线状态下评估训练好的策略，并将其与同一数据集中记录的启发式基线进行对比。我们从离线预测精度、仿真结果、模型复杂度、持续在线学习潜力以及实时推理延迟等方面对这三个候选模型进行了比较。最终结果表明，贝叶斯上下文老虎机（BCB）为各种分拣机应用场景在性能与在线学习能力之间提供了最稳健的平衡。

II. 相关工作

许多关于仓库分拣机优化问题的现有研究都采用传统的运筹学（OR）方法来解决。这些工作应用启发式算法来做出确定性的分配或调度决策，并通常利用混合整数线性规划（MILP）在已知参数的基础上最小化移动时间或最大化吞吐量[1]–[4]。然而，在高度动态的仓库分拣机环境中，随着系统自身的演变并变得越来越随机，简单的启发式规则很难随时间推移而一直适用。更重要的是，作为高度依赖上下文且相互关联的系统的一部分，最优的分拣机配置依赖于高维的系统上下文输入，这使得传统运筹学模型在应对“维度灾难”和高推理延迟时面临困难，从而无法满足实时分流的需求。

其他一些研究采用数据驱动策略，通过训练监督学习（SL）模型来预测未来的单量、拥堵或设备故障，随后结合基于规则的或运筹学模型（如线性规划）来进行推荐[5]。尽管这些模型在预测某些作为求解器输入的参数时可以达到很高的精度，但它们通常被实现为缺乏实时自适应反馈回路的开环系统。我们提出的解决方案建立在优化与学习紧密集成的闭环架构之上。

上下文老虎机已成功应用于许多不同的领域，包括教育（[6]）、医疗（[7]，[8]）、旅游（[9]）以及数字营销（如广告投放和新闻推荐）（[10]）。在工业场景中，与已知需要大量数据且需要数十万个样本进行训练的“黑盒”多步深度强化学习相比，贝叶斯上下文老虎机（BCB）正作为一种样本高效的单步老虎机模型崭露头角，它通过汤普森采样提供了一种透明的不确定性量化机制[11]。

虽然现有研究已经探索了使用上下文老虎机进行仓库优化，但它们主要集中在宏观物流和静态离散动作规划问题上，如订单合并、拣货优化和存储分配[12]。相比之下，我们的研究超越了简单的离散分配，并使用贝叶斯上下文老虎机框架来解决在关键但尚未充分探索的高频仓库分拣机控制领域中的连续成本权重优化问题。

III. 系统建模：上下文空间、决策变量和目标函数

在介绍算法设计之前，我们首先对我们正在解决的这个优化问题进行数学公式化。在本节中，我们以入库接收分拣机为例，定义系统上下文向量、决策变量和奖励函数。

A. 系统上下文表示

系统上下文可以表示为一个数值向量，包括系统吞吐量、上游扫描计数、目的地区域满度、回流率、控制干预率等特征。一些特征被包含为前一个∆T滚动窗口内的聚合总和或平均值，而其他一些特征则被包含为时间序列，以提供时间信息来增强模型的预测能力。 • 聚合特征包括：吞吐量、回流率、控制干预率、路由违规率、目的地区域满度。这些特征捕捉了分拣机周围的系统动态，并在前一个∆T时间窗口内进行聚合。滚动窗口聚合过滤了瞬态噪声，并提供了对真实底层系统状况的稳定表示。 • 时间序列特征包括：按输入类别分类的上游扫描单量。这些特征提供了对上游系统吞吐量的深入了解，这对于预测未来的分拣机到达单量很有用。在上下文向量中包含预测的未来到达单量有助于动作推荐。我们没有构建单独的单量预测模型，而是直接将原始的上游吞吐量信号包含在上下文向量中，使模型能够内化上游单量与未来奖励之间的时间关系。

B. 决策变量

决策变量是分配给成本函数中成本因素的权重，该成本函数用于做出实时的分拣机分流决策。为了能够将产生的奖励正确归因于其对应的成本权重，成本权重应在相当长的一段时间（例如几分钟）内保持特定值，以便系统能够对其做出反应并在系统指标上积累一些可靠的影响。因此，在仿真阶段，我们选择每隔∆时间窗口扰动一次成本权重的值，在在线学习阶段，我们也让模型每隔时间窗口生成一次新的权重推荐。

C. 奖励设计

有几个系统性能指标是我们希望通过该优化解决方案来改善和平衡的。因此，我们采用了一个复合奖励得分，该得分被定义为多个运营关键绩效指标（KPI）的加权和：

IV. 算法设计：优化框架候选方案与公式表述

本节讨论了针对分拣机分流优化问题的三种候选优化框架的算法架构和设计细节。

A. 线性回归 + 梯度下降优化 (LR+GDO)

其中 nn 是训练样本的数量，αα 是正则化参数。

一旦奖励模型训练完成，它将被用于指导动作推荐的优化搜索。我们利用 PyTorch 框架进行高效的梯度下降优化。我们从回归模型中提取学习到的系数，并将它们移植到一个可微的 PyTorch 包装器中，该包装器在其计算图内重建奖励模型，以便它可以使用该奖励模型作为其目标函数来搜索全局最优解。最优解需要满足单纯形约束：

B. XGBoost + 贝叶斯优化 (XGB+BO)

XGB+BO 框架由两个关键组件组成：一个基于树的奖励模型和一个贝叶斯优化求解器。XGBoost 奖励模型最初是在模拟数据上训练的，能够根据当前的上下文和成本权重预测系统性能结果。

其中

表示上下文向量和权重向量的拼接。

该奖励模型用于指导实时优化求解器的最优搜索，该求解器随着系统上下文的演变动态生成权重推荐。我们选择贝叶斯优化（Bayesian Optimization, BO）作为我们的实时求解器，是因为它具有显著的优势：1) 我们基于树的奖励模型是不可微的，而 BO 可以构建一个高斯过程（Gaussian Process, GP）代理模型以允许进行全局最优搜索；2) BO 过程具有极高的样本效率，并且能很好地处理这种评估代价高昂的目标函数；3) BO 在其预测中提供了不确定性量化。贝叶斯优化利用 GP 过程对目标函数进行建模：

作为一个提议的扩展，一旦优化求解器过渡到在线设置，就可以收集真实世界的数据以形成反馈回路，从而实现持续学习和适应性。一个独立的离线流水线将负责定期（例如每小时、每天）重新训练 XGBoost 奖励模型，方法是逐渐用实时运营数据替换模拟数据。在每次重新训练周期后，更新后的奖励模型即可供实时优化求解器使用，以做出更明智的决策。这种方法使奖励模型能够适应数据分布的偏移和新的运营模式。

C. 贝叶斯上下文老虎机（BCB）

BCB 框架的一个核心优势在于，它通过学习奖励函数的概率信念而不是点估计，从而在探索（exploration）和利用（exploitation）之间进行内在的平衡。奖励函数的形式为：

由于这种闭环设计，BCB 能够在持续收集在线反馈的同时实时更新其策略，并且能够迅速适应不断演变的系统动态，例如机械磨损、地面条件变化、传感器漂移或新的运营模式。

V. 仿真实验与对比性能分析

我们以选定的大规模电商仓库中的入库接收分拣机作为主要用例，通过评估相应奖励模型的准确性、动作分布、样本效率以及高保真仿真返回的预估奖励提升幅度，对这三种候选优化框架进行了比较。

A. 仿真器数据收集

B. 奖励模型效能分析

所有三个候选框架都包含奖励预测和动作推荐组件。我们首先使用两个指标评估它们各自的奖励预测模型性能：均方根误差（RMSE）和平均绝对百分比误差（MAPE）。我们将数据样本按80%用于训练、20%用于测试进行划分，然后使用从10%到100%递增比例的训练数据来训练每个模型，并在同一组预留数据上进行测试。最后，我们将这三个奖励模型与一个朴素均值基线进行比较。如图1所示，随着训练数据量的增加，XGB+BO和BCB的RMSE和MAPE均有所改善，且边际收益递减。曲线在数据量达到约70%后开始趋于平稳，表明这些模型具有样本高效性且模型性能正在收敛。相比之下，LR+GDO在所有训练规模下都保持着持续较高的错误率，表明其无法有效地从数据中学习。

表 I 展示了使用 100% 训练数据集训练的模型的最终评估结果。所有三个机器学习（ML）奖励模型的表现均优于基线，其中 XGB+BO 框架取得了最高的性能得分，其次是 BCB，而 LR+GRO 产生的结果最差。这种性能排名在 RMSE 和 MAPE 这两个指标上是一致的。鉴于 LR+GDO 有限的学习能力以及在这两个指标上持续较差的性能（相较于基线分别提升了 44.87% 和 48.09%，而另外两个模型的提升均超过 49%），我们研究的剩余部分将专门集中于比较 XGB+BO 和 BCB，因为它们展现出了足够的预测能力，足以作为可靠的奖励代理模型。

C. 特征重要性与动作敏感性分析

通过分析训练好的 BCB 奖励模型的系数和 XGBoost 模型的特征重要性，我们验证了该优化问题背后的两个关键假设：1) 成本权重确实对奖励有影响，2) 最优成本权重确实随系统上下文的变化而变化。这两个模型是互补的，因为它们从不同的角度描述了物理系统：XGBoost 识别系统环境中影响最大的因素，而 BCB 揭示系统如何响应成本权重，以及权重的影响如何在不同的系统上下文中发生变化。

在 BCB 返回的排名靠前的系数中（表 II），大多数是上下文与动作之间的交互项，这证实了最优权重对系统状态高度敏感。例如，路由相关动作权重的影响取决于上游单量指标和运营绩效指标，负的交互系数表明在高负载时期增加该权重的收益会递减。对于 XGBoost，我们利用 SHAP（SHapley Additive exPlanations，沙普利加性解释）将特征影响分解为主效应和交互效应，从而分离出动作-上下文敏感性。我们在表 III 中报告了每个特征的归一化强度得分（相对于最大值的平均绝对 SHAP 值）。两个模型一致地将单量和负载相关特征识别为对奖励结果影响最大的因素。

D. 动作分布分析

图 2 和图 3 中的直方图对比了 XGB+BO 与 BCB 所推荐动作的分布。总体而言，两个模型都有效地学会了给动作 2、4 和 5 分配较小的值。BCB 在动作 1 和 6 上表现出“U”形分布，识别出了必须将权重最大化以优化奖励的特定上下文，而 XGB+BO 则显示出更广泛的动作分布，倾向于保守的中间立场。与保守的 XGB+BO 相比，BCB 表现出了一种更为果断和反应灵敏的策略。

BCB 的双峰分布（对于像动作 1 和 6 这样的高影响力动作，在 0 和 1 之间突然切换）类似于 Bang-Bang 控制（邦-邦控制），这是一种在极端值之间切换而非中间值的反馈控制策略 [13]。虽然形式化的最优控制推导超出了本研究的范围，但这种实证表现表明，在这种高频控制场景中，果断的修正可能比温和的调整更有效。鉴于我们频繁的模型推理周期，这种方法使得 BCB 能够作为一个快速反馈控制器，在下一个推理周期之前尽可能快地施加最大力度来纠正系统偏差，而不是进行温和的调整。

E. 奖励提升预估

为了预估奖励提升幅度，我们进行了基于Python的仿真，将候选框架与启发式基线进行比较。启发式基线被定义为一种固定的权重配置，该配置通过领域专业知识、运营工程师的迭代调优以及先前的运营研究确定，代表了在引入数据驱动优化框架之前已知的最佳静态策略。该基线反映了一个有原则的、基于运营实际的参考点，而不是一个任意或朴素的选择。在每次迭代中，我们为模型提供测试数据集中的一个上下文向量，并要求模型推荐最优权重，然后我们使用训练好的奖励模型来估算策略动作和基线动作的相应奖励。我们使用相同的测试上下文向量来计算策略与基线的性能，以确保公平的比较。如表IV所示，这两个模型均显著优于基线，但BCB被证明更为优越，实现了2.03%的奖励提升。

F. 实验总结与框架推荐

尽管XGBoost奖励模型报告了略低的MAPE，但BCB模型相较于启发式基线实现了更高的最终奖励提升，而这是主要的优化目标。我们推荐将BCB框架用于实时分拣机分流优化，这归因于其独特的优势，总结如下：

• 卓越的在线学习能力：仓库环境是高度动态的，随着新设备和软件的安装或模式的变化，其底层系统可能会随时间发生漂移。BCB通过贝叶斯不确定性巧妙地平衡了探索与利用。

• 上下文敏感性：我们的系数分析表明，BCB有效地捕捉了上下文与动作之间的交互作用，使最优权重对系统动态保持敏感。相比之下，XGB的特征重要性并不能证明其策略能够利用环境与动作之间细微的关联。

• 时间最优控制：BCB的双峰动作分布允许进行果断、及时的系统修正。 • 运营效率：BCB具有极短的推理延迟（毫秒级），这有助于实现近乎瞬时的自适应。相比之下，XGB+BO流程每次推理平均需要18秒。

VI. 结论

这项工作的主要贡献在于，我们将仓库分拣机环境数学公式化为结构化的“上下文-动作-奖励”表示，并对三种用于实时分拣机优化的端到端机器学习框架进行了全面的评估。贝叶斯上下文老虎机（BCB）脱颖而出成为更优的解决方案，相较于启发式基线实现了2.03%的奖励提升。鉴于其在经验上与邦-邦控制（Bang-Bang Control）原理相契合，且具有显著更高的计算效率、实用的样本效率以及持续的在线适应能力，BCB模型是高度复杂、不断演变的仓库环境所需的高频、上下文感知优化解决方案的更好选择。未来的工作将通过闭环仿真器测试，结合重复的随机试验和统计显著性分析，来验证所报告的奖励提升。

原文链接：https://arxiv.org/pdf/2606.23977