基于深度强化学习的电力网–信息网–路网耦合系统韧性分析

韧性作为衡量系统对于极端灾害抵御能力的指标，对于电力网–信息网–路网三网耦合系统在极端灾害背景下的最大性能运行保证具有重要意义。本文基于耦合网络的交互机理，首先建立了网间关联的网络物理模型，结合极端灾害环境下各阶段的时间承接性，提出了对应于灾害发生时段的多时间尺度韧性提升策略。其次基于所求问题的非凸、非线性特性，建立了深度强化学习求解框架。最后基于IEEE 33节点系统搭建耦合系统算例，结果显示本文方法对于耦合系统的韧性提升显著。

近年来，随着电力网络建设的规模不断扩大，维持电力系统在极端情况下的安全稳定运行的难度也随之提升[1] [2]。在智能电网建设的大力发展下，系统之间的互联关系也不断增强[3]。极端灾害对于电网运行造成的高风险事件频发，给经济社会的稳定运行造成了巨大损害[4] [5] [6]。在这样的背景下，韧性(resilience)作为描述系统对于损害扰动的吸收抵御及快速恢复能力的概念[7]， 对指导电力系统的安全运行有重要意义。

目前的研究对于电网在极端灾害下的韧性增强已有大量工作。文献[8]构建了电网系统内包含多种储能装置在内的多源恢复方案。文献[9]通过对电网中失电异常节点进行精确分析，并基于遗传算法结合二阶锥松弛的方法对负荷节点构建双层规划模型， 达成失电负荷的精准高效恢复。

文献[10]巧妙的引入了电力弹簧的概念并以此应对新能源电源的不稳定性， 以此方式提高电网韧性。

文献[11]通过对配电网系统的运行整体特性分析，引入微电网共同协调以提升韧性。然而上述研究局限于单一电力系统，并未计及多系统间的实际关联。

文献[12]构建电力网–信息网互联模型分析配电网的可靠运行。文献[13]以台风灾害为算例背景，考虑到实际情况下电力网与交通网的耦合进行韧性分析， 却并未结合信息网， 未能保证系统的可观与可控。

文献[14]结合综合能源系统这一形式， 为电力系统搭建多能量来源以提升其灾害背景下的运行性能。

然而上述研究却忽略了灾害背景下的时间连贯性，即灾害发生的多时间尺度并未分析。

多系统耦合的实际情况在分析韧性这一概念时无法避免，否则会导致问题求解失真；而如若不考虑灾害对系统的多时间尺度影响，因为问题的全面性难以构建，则会造成相应的韧性提升策略效率过于低下。本文针对极端灾害背景下的电力网–信息网–路网系统的耦合关系分析，提出了多时间尺度下对耦合系统的韧性提升策略，并基于深度强化学习算法进行问题求解，对灾害实际情况下配电网的安全运行进行具体分析。

2. 韧性背景下电力网–信息网–路网系统耦合状态研究 2.1. 韧性基本定义与内涵 韧性(resilience)作为描述系统在受到扰动影响后能够维持原本运行能力的概念，广泛运用于物理学、