仓储中基于多智能体深度强化学习的多AGV路径规划

随着工业自动化和物流行业的迅速发展，自动引导车辆(Automated Guided Vehicle, AGV)在物流仓库中的路径规划已成为确保运输效率和准确性的关键环节。尽管近年来已经有很多策略被提出，但多AGV系统在复杂的物流环境中仍然频繁地出现碰撞、路径冲突以及控制迟延等问题。鉴于此，本研究提出了一种基于多智能体深度强化学习(Multi Agent Deep Reinforcement Learning, MADRL)的路径规划方法，以期解决多AGV之间的相互协调问题并提高其路径规划效率。为验证所提方法的有效性，我们采用了与遗传算法(Genetic Algorithm, GA)的比较实验。结果显示，基于MADRL的策略在整体运输效率上实现了28%的提升，并在碰撞事件上有了明显的减少。

自动引导车辆(Automated Guided Vehicle, AGV)已为材料搬运和仓储物流领域带来革命性变革[1] [2]。在高度自动化的现代仓库中，AGV 能够根据系统的调度，在货架之间快速移动，精确地定位并取得或存放货物，大大提高了出入库效率。其精准的导航系统和可编程路径确保了货物被高效、安全和准确地搬运。在当今工业4.0 智能汽车制造厂中，如特斯拉、理想、比亚迪等公司广泛采用AGV 来搬运汽车部件，从而确保了生产线的连续性和流畅性[3] [4]。此外，在智能化的物流产业中，AGV 能够为工作人员精确地搬运货物，显著提高了仓储效率[5]。最初仅用于制造车间中搬运笨重材料的AGV，如今已经逐渐演变成现代物流仓储解决方案的核心组成部分。在当今错综复杂的物流领域，AGV 在加速流程、减少人工劳动和优化存储空间方面都显示出其不可替代的价值[6] [7] [8]。

然而在物流仓储中，多AGV 同时进行路径规划还存在诸多挑战[9] [10] [11]。首先，AGVs 之间可能会发生路径交叉和碰撞， 尤其是在空间有限且结构复杂的仓库内， 当AGV 出现碰撞或锁死将会严重影响货物搬运效率[12]。其次，多个AGV 的实时协同和调度，以满足高效率和低延迟的要求，也是一个难以解决的问题。传统的基于遗传算法(Genetic Algorithm, GA)算法的路径规划方法很难应对这些动态和复杂的挑战[12] [13] [14]。

而深度强化学习已经成为人工智能领域的一个重要技术， 为智能体提供了通过与环境互动来学习最优策略的途径[15]。但是利用DRL 进行小车路径规划任然存在状态空间和动作空间的维度灾难[16]。因此，面对多AGV 情景，我们基于多智能体深度强化学习(Multi Agent Deep Reinforcement Learning, MADRL)来对AGV 的状态、动作、奖励进行建模。MADRL 可以有效地整合多个AGV 的集体潜力，使它们在一个共享的环境中进行有效的协同、规避碰撞和实现快速路径规划。

本文深入探讨了在物流仓储背景下利用MADRL 进行多AGV 路径规划的复杂性。鉴于物流行业长期面临的碰撞、路径冲突和控制迟延等挑战，我们的研究引入了一种新颖的基于MADRL 的AGV 路径规划策略。与经常采用预定义规则或静态算法的传统方法不同[17]，我们的方法能够动态适应实时变化， 确保最佳的AGV 协调。此外，在我们的研究中，为了验证所提出的MADRL 方法的有效性，我们与传统的GA 进行了比较。实验结果显示，基于MADRL 的路径规划策略在运输效率上实现了33%的显著提升，并且能够显著减少AGV 之间的碰撞事件。