基于安全强化学习的机械臂无碰路径规划

可以通过为机器人关节添加相关约束的方式来保证规划路径的可靠性。本文研究了带有运动学约束的强化学习(Reinforcement Learning)方法，以保证规划中的安全性。通过与替代动作思想的结合，对强化学习动作空间的进行设计，可以进一步保证动作的可行性。为了评估算法性能，在船舶焊接场景中对工业机械臂进行了路径规划，使得机械臂末端成功运动到位于狭窄空间中的焊接起点。实验结果表明，该方法不仅保证了训练的收敛性，而且保证了任务的安全性和可靠性。

在工业制造场景中，机器人通常用于执行各类任务，如焊接作业。作业过程中，虽然机器人的性能， 如准确性和速度，会优于人力，可机器无法对不可预见的情况做出反应，出于这个原因需要在作业前为机器人规划出一条可行的路径。焊接作业有时将焊接点设定在狭窄空间中，而在狭窄空间中进行路径运动规划往往较为困难，难以在目标点附近收敛。

常用的规划算法中，如A* [1]之类的基于网格的算法虽然可以找到最短路径，但是随着问题复杂度的提升，时间成本以及计算机内存的占用会呈指数增长。RRT (Rapidly-exploring Random Tree) [2]算法作为基于采样的一种，也被广泛用于各类规划问题中。其着眼于解决全局性、非全局性、高维[3]和相关运动学约束下的路径规划问题。可在复杂的环境中规划时需要花费大量时间进行采样，且在狭窄空间内规划时也存在难以选择结点大的问题，使得该算法无法解决这类问题。除了传统规划算法，强化学习(Reinforcement Learning) [4]算法作为一种机器学习方法，凭借其优势也应用在各类问题中，如游戏训练、无人驾驶、机器人控制等，并且取得了巨大的成功。其通过设置合适的奖励函数，经过不断试错的方式来改善智能体的动作，实现累计奖励的最大化并最终解决相关序列决策问题。对于较为复杂的场景、连续的状态空间或动作空间的问题，则常用深度强化学习来解决。深度强化学习由强化学习与深度神经网络(Deep Neural Networks)结合得到。Deep Q-Network (DQN) [5]与Deep Deterministic Policy Gradient (DDPG) [6]都是常用的深度强化学习算法。可是在使用这些算法的时候，智能体需要从环境中搜集经验， 这使得探索过程中不可避免的会发生一些危险的情况，特别是在复杂的环境，如狭窄空间中。

当然，现有的强化学习算法，包括基于模型的(Model Based)和基于策略的(Policy Based)的强化学习算法，都或多或少存在一些问题，例如智能体训练时间过长、难以稳定收敛和容易进入危险区域等。在[7]中，作者通过为智能体添加相关约束的方法，提出了基于信任区间方法的CPO (Constrained Policy Optimization)算法，可有效用于高纬度的任务中；高斯过程GPs (Gaussian Process) [8]也常用于为非确定性因素建模，从而保证规划过程中的安全性。

基于现有的强化学习算法，本文在规划过程中为智能体添加了相关的运动学约束，并将替代动作[9]的思想与强化学习算法相结合。一方面，为机器人关节添加相关的运动学约束可以保证动作的安全性；另一方面，替代动作的加入，可以得到用于强化学习训练的新的动作空间，这个动作空间可以保证训练过程中所选动作的安全性。

2. 强化学习 机器学习可以大致分为三个领域：监督学习、无监督学习和强化学习(Reinforcement Learning)。其中强化学习是通过智能体与环境的交互来学习，从而得到一个策略，这个策略可以使得智能体与环境交互