★ 黄佳晨，王宇玲 天地电研（北京）科技有限公司杭州分公司

关键词：深度强化学习；虚拟电厂；分布式资源；均衡调度；调度方法

1  引言

虚拟电厂（Virtual Power Plant， VPP）通过整合可再生能源、储能系统、可控负荷等多元主体，形成了可调度、可交易的“虚拟发电机组”，成功破解了高比例新能源消纳难题。然而，在VPP的规模化应用中面临一系列技术矛盾：分布式资源具有强随机性和时空分散性等特征，使得局部电网过载风险增加；传统方法主要聚焦于单一资源类型的静态调度，未深入挖掘多类型资源协同互补机制，导致VPP在参与电力市场时面临经济性与安全性失衡等瓶颈。因此，研究VPP分布式资源均衡调度方法，已成为我国电力领域的重点课题。徐天韵等人[1] 以奇诺多面体为基础，设计了一种VPP分布式资源均衡调度方法，在经济性和计算效率方面颇具成效。但奇诺多面体高度依赖分布式资源数据，实际应用中如果数据存在冗余或缺失，将会影响调度结果的可信度；孔祥玉等人[2]通过嵌套VPP和下属区域主从博弈，进行了VPP分布式资源均衡调度，在高渗透率区域的调度效果良好。但主从博弈计算复杂度较高，实际应用中难以满足实时调度需求。针对上述问题，本研究提出了一种基于深度强化学习的VPP分布式资源均衡调度方法，期望为VPP的规模化应用提供理论支撑，推动我国能源系统向安全高效的方向转型。

2  构建VPP分布式资源均衡调度策略模型

在构建VPP分布式资源均衡调度策略模型时，为了实现各分布式资源的高效分配与利用，本文引入了衡量每个分布式资源的成本与可调功率的适应度系数指标，如式（1）所示：

式中，si表示VPP中第i个分布式资源参与调度的适应度系数； Bi 表示第i个分布式资源的成本系数；Qi表示第i个分布式资源的可调度容量。基于上式所示适应度系数指标，为进一步量化各分布式资源在VPP均衡调度中的贡献，本文以每个资源的适应度系数与所有资源适应度系数平均值差值的绝对值最小为目标，设置目标函数，具体表达式如式（2）所示[3]：

式中，Q0表示VPP用户的总负荷需求；n表示VPP中分布式资源总数。与此同时，为确保VPP分布式资源均衡调度的顺利进行，还需设置VPP功率平衡约束条件，即发电功率与负荷需求实时匹配。其具体表达式如式（3）所示[4]：

式中，P0表示VPP与主电网的交互功率，购电为正，售电为负。综上，本文将式（2）所示目标函数与式（3）所示约束条件组合在一起，即可构建出完整的VPP分布式资源均衡调度策略模型。

3  深度强化学习算法求解均衡调度策略模型

针对上述具有高维、非线性优化目标的VPP分布式资源均衡调度策略模型，本文引入了深度强化学习中的深度确定性策略梯度（Deep Deterministic Policy Gradient，DDPG）算法[5]， 以求解该问题。本文应用DDPG算法求解VPP分布式资源均衡调度策略模型的具体流程如下：首先， 对DDPG算法中的各网络参数进行初始化，包括当前和目标的策略网络 CAC  、CAC、当前和目标的价值网络 ZA  DZ  、ZA  DZ 。其中A为状态， D为动作，C  = C 为策略网络参数， Z  = Z 为价值网络参数。初始化完成后，定义状态空间At包含各分布式资源的实时出力、储能系统的荷电状态、负荷需求以及市场电价等信息，动作空间Dt为各分布式资源的出力调整量，奖励函数则根据目标函数和约束条件进行设计，以引导智能体学习到最优调度策略，如式（4）所示：

式中，  、 2表示权值，分别用于平衡最小化资源适应度系数差异目标和惩罚VPP功率不平衡。然后，即可进行策略网络和价值网络的训练：在每个时间步t，智能体根据CAt C 选择动作Dt，执行动作后得到新的状态At+和奖励ft，进一步获取经验元组(At , Dt , ftAt+ )，并将其存储到经验回放缓冲区中。存储成功后，随机采样一批经验元组Aj  Dj  fjAj+。对于每个采样到的经验元组，目标价值yj为式（5）：

式中， 表示折扣因子。基于上式所求目标价值，通过最小化损失函数来更新当前价值网络的参数，损失函数定义为式（6）：

式中，表示经验元组批量大小；与此同时，通过策略梯度上升方法更新当前策略网络的参数策略梯度为式（7）：

    （7）

式中， 表示目标函数 对参数 的偏导数。不断重复上述步骤，进行多次迭代训练，直至当前策略网络收敛，完成策略模型求解。此时根据实时状态输出最优的动作，即可得到VPP分布式资源的最佳均衡调度策略。

4  案例分析

4.1   案例概况

某VPP包含可再生能源、储能系统、用户负荷、电网这四类核心主体，其整体结构如图1所示。

图1 源—网—荷—储多资源虚拟电厂结构图

在图1所示的VPP结构中：光伏发电机组的装机容量为2MW，输出功率受光照强度影响；风电机组的装机容量为1.5MW，输出功率与风速立方成正比；储能系统采用2MWh的锂电池，充放电效率为95%， 最大功率为0.5MW；用电负荷包含居民负荷（占40%）与工业负荷（占60%）。在上述VPP运行过程中，分别应用基于深度强化学习的VPP分布式资源均衡调度方法（实验组）、基于奇诺多面体的VPP分布式资源均衡调度方法（对照组一）、基于主从博弈的VPP分布式资源均衡调度方法（对照组二）进行分布式资源调度，并对比分析调度结果。

4.2   结果分析

在本次实验中，完成实验组方法、对照组一方法、对照组二方法下的实例VPP分布式资源调度后，记录某典型日下各方法所得调度结果，如图2所示。

图2 虚拟电厂分布式资源均衡调度结果

从图2中可以看出，在上述三种方法的调度下，实例VPP各分布式资源的整体出力均能满足用户负荷需求。但是，在两种对照组方法下，实例VPP各分布式资源的出力波动性较大，且存在较多的弃风/弃光现象，影响了VPP的可靠供电。而在实验组方法下，实例VPP各分布式资源的出力波动最小，且显著降低了弃风/弃光率，实现了多分布式资源的均衡调度。由此可以说明，本文研究的基于深度强化学习的VPP分布式资源均衡调度方法是有效且优越的，其在实际应用中具有良好的调度效果，可以保障VPP稳定供电。

5  结束语

本文针对VPP分布式资源均衡调度问题，提出了一种基于深度强化学习的新型调度方法。本文首先基于衡量分布式资源成本与可调功率的适应度系数，构建了一个VPP分布式资源均衡调度策略模型，然后引入深度强化学习算法求解模型，实现了VPP分布式资源的智能均衡调度。案例分析结果表明，本文研究方法具有良好的VPP分布式资源均衡调度效果。未来的研究可以进一步考虑VPP与大电网的互动以及多VPP之间的协同调度问题，以拓展深度强化学习在电力系统领域的应用范围。

作者简介 

黄佳晨（1994-），男，江苏宜兴人，中级工程师， 学士， 现就职于天地电研（北京） 科技有限公司杭州分公司， 主要从事电气工程及其自动化方面的研究。

王宇玲（1994-），男，河南方城人，中级工程师， 学士， 现就职于天地电研（北京） 科技有限公司杭州分公司， 主要从事电气工程及其自动化方面的研究。

参考文献：

[1] 徐天韵, 陈涛, 张鑫, 等. 基于奇诺多面体的虚拟电厂分布式资源广域聚合调控方法[J]. 电力系统自动化, 2024, 48 (18) : 139 - 148.

[2] 孔祥玉, 姚昊阳, 张德隆, 等. 支撑高渗透率区域平衡的虚拟电厂动态分区调度决策方法[J]. 太阳能学报, 2025, 46 (5) : 166 - 175.

[3] 刘璟璐, 谭宇航. 基于分布式神经动力学的虚拟电厂经济调度及事件触发控制策略[J]. 电机与控制应用, 2025, 52 (7) : 812 - 822.

[4] 孙玲玲, 李海滨, 贾清泉, 等. 基于动态重构的虚拟电厂资源聚合规划方法[J]. 电力系统自动化, 2024, 48 (18) : 115 - 128.

[5] 刘东奇, 钱奕衡, 张曦. 含虚拟惯量的虚拟电厂Nash - Q强化学习调度策略[J]. 太阳能学报, 2024, 45 (11) : 15 - 24.

摘自《自动化博览》2026年第二期暨《工业控制系统信息安全专刊（第十二辑）》