0 引言

随着大规模分布式新能源接入电网，电力系统与能源互联网深度融合，逐步向多能源双向互动形态快速发展，柔性负荷调控、综合能源服务、电力现货市场等新兴业务对电力通信网的业务支撑能力提出了更高的要求[1]。然而，传统基于光纤、电力线、电力无线专网等通信方式的电力通信网受制于敷设成本、电磁干扰、频谱资源等因素，难以满足电力系统新兴业务对数据传输与处理的实时性、可靠性、安全性要求。5G以其大带宽、低时延、高可靠、广连接的优点，为电力系统多样化业务提供了灵活可靠的通信支撑。

5G电力通信网业务编排是满足电力业务服务质量需求的重要手段，其中接入网信道选择与核心网路由选择是实现5G电力通信网业务编排的关键技术难点[2-3]。软件定义网络（software defined network，SDN）作为一种具有转控分离、集中控制特点的网络结构，能够将网络控制平面与物理网络拓扑解耦，从而灵活高效地进行数据转发和业务管理，为5G电力通信网业务编排提供有效的解决方案[4]。根据电力业务对时延、带宽、可靠性等指标的差异化需求，可将SDN技术与5G相结合，通过集中式SDN控制器动态分配5G电力通信网信道、中继等异构网络资源，实现高效业务编排，保障电力业务差异化服务质量。然而，基于SDN的5G电力通信网业务编排优化仍然面临如下挑战。

1） 信道选择与路由选择的联合优化。电力通信终端数据传输性能由接入网信道选择与核心网路由选择决策共同决定，例如传输总时延取决于空口时延与路由转发时延。如何联合优化信道选择与路由选择，保障电力通信终端数据传输需求，是亟待解决的问题。

2） 动态网络环境下信息不确定。5G电力通信网的信道状态呈现高度动态变化特征，SDN控制器实时获取时变信道状态信息信令开销大，且隐私安全难以保障。如何在动态网络环境信息不确定的情况下实现信道选择与路由选择优化是一个挑战。

针对电力通信网业务编排，学术界已开展了广泛应用研究。文献[5]提出一种联合能量感知、高可靠低时延通信感知和任务优先级感知的信道选择算法，其能够基于变电站实测数据，动态优化信道选择策略。文献[6]提出了一种基于布谷鸟搜索算法的电力通信网络信道分配策略，该算法通过迭代收敛机制优化了电力业务终端的信道选择，提高了电力通信网络的整体吞吐量。文献[7]基于电力通信网的实际运行状况，从拓扑结构角度提出一种链路贡献值模型，通过计算不同链路对整个网络的可靠性贡献值，并结合业务类别进行路由链路选择。然而，上述工作仅考虑单一的信道选择或路由选择优化问题，未考虑信道选择与路由选择的联合优化，无法实现数据传输整体性能的提升。文献[8]提出了一种路由选择与信道分配算法，以数据传输花销度量路由稳健性，在逐跳选择稳健路由的同时合理分配信道，降低丢包率与传输时延。文献[9]提出基于信道选择的路由协议，以信道可用概率和信道切换时延为信道选择标准，降低了信道切换次数与端到端时延。然而，现有解决方案大多针对全局信息已知的场景，无法应用于5G电力通信网动态网络环境下信道状态等信息不确定的场景。

针对上述挑战，本文利用强化学习Sarsa（state action reward state action）算法，提出基于SDN的5G电力通信网业务编排自主决策方法。首先，面向电力业务超低时延需求，构建接入网信道选择和核心网路由选择联合优化问题，最小化电力通信终端数据包传输总时延。其次，基于Sarsa算法基本模型实现优化问题的映射，其中动作设置为信道选择和路由选择，奖励设置为空口时延与路由转发时延的倒数。最后，基于Sarsa算法，SDN控制器在信息不确定的情况下，通过与环境的不断交互学习，获取最优信道选择与路由选择策略，实现业务编排自主决策。

1 基于SDN的5G电力通信网业务编排系统模型

本文所考虑的基于SDN的5G电力通信网业务编排系统模型如图1所示，包括电力通信终端、5G基站、中继路由器、主站路由器及SDN控制器[10-11]。数据包从电力通信终端传输至主站路由器分为两个阶段：第一阶段为在接入网中电力通信终端传输数据包至5G基站，第二阶段为在核心网中数据包由5G基站经中继路由器转发至主站路由器。SDN控制器通过对接入网信道选择和核心网路由选择策略进行优化，满足电力业务服务质量需求。在接入网侧，假设电力通信终端与5G基站间采用正交频分复用技术进行数据传输，子信道数量为L，其集合表示为。在核心网侧，将由基站和路由器组成的物理网络视为无向图并定义为G ( M ,P )，其中表示基站与路由器的集合，m0为基站，N为路由器总数量，为中继路由器，mN 为主站路由器；表示由相连接的路由器构成的转发链路集合，其中MV(mn)表示与mn连接的路由器集合[12]。

图 1 基于SDN的5G电力通信网业务编排系统模型
Fig. 1 Service orchestration system model for 5G power communication network based on SDN

假设终端传输的数据包不可分割，即SDN控制器只能为每个数据包选择一个子信道传输至5G基站，并选择一条路由链路传输至主站路由器。考虑终端需传输K个数据包，其集合表示为。假设第k个数据包从终端传输至主站路由器共需Tk+1个时隙，集合表示为，其中当tk=0时，表示第k 个数据包的传输处于第一阶段，即由终端传输至基站；当时，表示数据包的传输处于第二阶段，即在中继路由器间转发。时隙长度为数据包的传输时延，在一个时隙内信道状态保持不变[13]。

1.1 传输速率模型

SDN控制器选择信道cl 将终端第k 个数据包传输至基站m0 时，终端与基站间信干噪比表示为

式中：pu ,m 0 表示终端的传输功率；表示cl的信道增益，由于无线信道在空气中传输时存在障碍物阻塞等现象，因此，信道状态会受到路径损失、阴影衰落等影响，信道增益波动较大。表示信道所受到的电磁干扰；表示终端与基站间的噪声功率。终端第k个数据包由基站转发至主站过程中，在第tk个时隙由中继路由器mn 转发至mn'的信噪比表示为

式中：表示mn传输终端第k 个数据包至mn'时的传输功率；表示在第tk 个时隙mn 与mn'之间的链路增益；表示mn 与mn'之间的噪声功率。

因此，第k 个数据包从终端到基站m0 的传输速率，以及从mn 到mn'的传输速率，可分别表示为

式中：Bu,m0 为终端与基站间的信道带宽；为第k 个数据包从mn 转发到mn'时的链路带宽。由于多个终端的数据均需通过中继路由器进行转发，因此中继路由器间的链路带宽会受到其他终端路由选择的影响。

1.2 传输总时延模型

基于传输速率模型，终端传输第k个数据包到基站的空口时延表示为

式中：为信道选择指示变量，即若SDN控制器选择信道cl 将终端第k 个数据包传输至基站m0，则，否则；dk为第k个数据包的大小。

第k 个数据包在第tk 个时隙从mn 到mn'的转发时延表示为

则第k 个数据包由基站经中继路由器转发至主站路由器的路由转发时延表示为

式中：为路由选择指示变量，即若SDN控制器选择将终端第k 个数据包在第tk 个时隙从mn 转发至，则，否则。

终端第k 个数据包的传输总时延包括空口时延和路由转发时延，表示为

1.3 问题建模

考虑分布式能源调控、精准负荷控制、配电自动化等电力业务的超低时延需求，构建信道选择与路由选择联合优化问题[14]，最小化终端数据包平均传输总时延，表示为

式中：C1和C2是信道选择约束，表示SDN控制器只能为每个数据包选择一个信道从终端传输到基站；C3和C4是路由选择约束，表示在一个时隙内，SDN控制器只能为每个数据包选择一个下一跳中继路由器进行转发；C5是空口时延约束，表示可容忍的空口时延最大值；C6是转发时延约束；表示可容忍的两个路由器间转发时延最大值。

2 基于Sarsa的5G电力通信网业务编排自主决策方法

考虑到现有基于全局信息已知的业务编排方法不适用于复杂动态的电力通信网，提出一种基于Sarsa的5G电力通信网业务编排自主决策方法，在不完整信息下学习接入网信道选择和核心网路由选择最优策略[15]，实现5G电力通信网资源优化配置，保障电力业务低时延通信需求。

2.1 基于Sarsa的5G电力通信网业务编排自主决策模型

Sarsa算法作为一种典型的强化学习算法，通过与环境的不断交互学习最优策略，实现奖励最大化。Sarsa算法基本模型[16-17]如图2所示，主要包括智能体、环境、状态、奖励、动作5个要素。

图 2 Sarsa算法基本模型
Fig. 2 Basic model of Sarsa algorithm

智能体感知环境状态信息，基于当前环境状态及状态-动作价值选择动作，获得一定奖励并转移到下一个状态，更新状态-动作价值，然后进行下一个动作选择，在动作选择和状态更新的动态过程中最大化长期奖励[18]。为了解决优化问题P1，本文采用Sarsa算法对5G电力通信网业务编排路由选择及信道选择进行联合优化，表1是Sarsa算法基本模型到5G电力通信网业务编排自主决策的映射。下面对基于SDN的5G电力通信网业务编排自主决策中智能体、环境、状态、动作以及奖励进行详细设计。

1） 智能体。在本文中，SDN控制器作为智能体，能够与环境互动，生成信道选择和路由选择动作，接收反馈的状态信息和奖励信息，并将每个状态、动作、及相应的奖励信息保存在一个数据表格中，即Q表，通过不断更新Q表自主学习最优业务编排策略。

2） 环境。环境是指与智能体进行交互的一切事物。在本文中，可与SDN控制器进行交互的环境由接入网信道状态信息、核心网中继路由器拥塞情况、网络状态信息、网络拓扑以及电磁干扰等构成。

3） 状态。状态是指智能体从环境中感知的信息。在本文中，根据数据包所处的传输阶段，SDN控制器感知的状态空间组成，其中Sku,m0 为第一阶段数据包在终端到基站之间传输时的状态，为第二阶段数据包在中继路由器之间转发时的状态，分别表示为

4） 动作。动作是指智能体可执行的操作，动作空间是所有可执行动作的集合。在本文中，SDN控制器的动作空间包括信道选择动作Aku,m0和路由选择动作，分别表示为

5） 奖励。奖励是环境根据智能体的动作反馈给智能体的信号，以此判定在当前状态下执行该动作的好坏。在本文中，奖励是指SDN控制器在当前状态下为终端数据包传输选择某一信道选择和路由选择动作对时延性能造成的影响。针对第k 个数据包，在两个阶段的奖励可分别定义为

式中：Rku,m0 表示第一阶段数据包在终端与基站间传输的奖励值，表示第二阶段数据包在中继路由器间转发的奖励值。当不满足空口时延和转发时延约束条件时，奖励值为0。因此，SDN控制器为终端第k个数据包选择动作获得的奖励可表示为

表 1 Sarsa算法基本模型到5G电力通信网业务编排自主决策的映射
Table 1 Mapping of basic model of Sarsa algorithm to service
orchestration autonomous decision-making in 5G power communication network

要素 5G电力通信网业务编排自主决策智能体 SDN控制器环境路由器拥塞情况、网络状态信息等状态可用信道、可用转发链路动作信道选择及路由选择奖励空口时延或路由器转发时延的倒数

2.2 基于Sarsa的5G电力通信网业务编排自主决策算法设计

基于Sarsa的5G电力通信网业务编排自主决策算法可分为初始化阶段、自主决策阶段，以及学习阶段3个阶段[19]，算法流程如表2所示，各阶段具体介绍如下。

表 2 基于Sarsa的5G电力通信网业务编排自主决策算法
Table 2 Sarsa-based service orchestration autonomous decisionmaking algorithm for 5G power communication network

1 输入：C, G, α, γ, ε.2 输出：A t k(k ).初始化阶段：3 初始化Q表，令Q S t A t( k k k k( ), ( ))=0, ∀ ∈ ∀ ∈t T k K k k,4 for k =1 to K do 5 while t T k＜k do自主决策阶段：6 根据公式（19）选择动作A t k (k )7 执行动作A t k (k )8 根据公式（18）计算奖励R t k (k )并进入下一个状态S t k(k+1)学习阶段：9 根据公式（20）更新Q S t A t( ), ( ))10 t t( k k k kk=k +1 11 end while 12 end for

1 ） 初始化阶段： 初始化Q 表， 即设置。

2） 自主决策阶段：SDN控制器实时监测5G电力通信网络中终端第k个数据包在当前时隙的传输情况。当数据包在终端时，进行信道选择动作决策，当数据包到达基站或某一中继路由器时，进行路由选择动作决策，直至数据包进入主站路由器或转发失败，再进行下一个数据包的传输。本文采用ε-greedy 方法进行动作决策，给定概率ε ∈[0,1]，设随机数ρ ∈(0,1)，当ρ ＜ε 时，SDN控制器为当前数据包随机选取某个动作，当ρ ≥ε 时，SDN控制器选择当前状态下Q值最大的动作，基于ε-greedy 方法通过对最优性能的利用保证算法能够收敛至最优动作，同时通过ε 的设置，保持对其他动作的探索以适应网络状态信息动态变化。动作决策具体可以表示为

终端、基站和中继路由器根据SDN控制器提供的信道选择和路由选择决策进行数据包的传输和转发。SDN控制器根据数据包传输空口时延和路由转发时延计算奖励，并进入下一个状态。

3） 学习阶段：SDN控制器根据状态，选择的动作Ak (tk)，获得的奖励，以及下一个状态更新Q表，表示为

式中：α ∈[0,1]表示学习速率；γ ∈[0,1]为衰减因子，二者共同影响算法收敛速度；为在状态下根据ε-greedy 方法选择的动作，仅用于Q表更新，并不实际执行。

进入下一个时隙，迭代执行步骤2）和步骤3）进行业务编排自主决策优化。当K 个数据包全部传输完成时，停止迭代。

3 仿真

本文考虑基于SDN的5G电力通信网业务编排自主决策场景，通过Matlab R2020a进行仿真模拟以验证所提算法的有效性。考虑的场景中包含1个电力通信终端、1个5G基站、5个中继路由器、1个主站路由器和1个SDN控制器，其中终端每次传输一个数据包至主站路由器，本文考虑200次数据包传输，终端与基站间信道数量为10[20]。设置数据包大小dk =[0.4,0.6]Mbits，终端与基站间无线信道带宽Bu,BS =5 MHz，中继路由器间有线信道带宽，噪声功率dBm，传输功率，空口时延和转发时延约束阈值分别为和。所提算法中学习速率α=0.1，衰减因子γ=0.9。

为了验证算法的有效性，本文采用最短路径算法（shortest route selection，SRS）[21]和最大数据链路信道增益算法（maximum channel gain of data links，MaDs）[22]作为对比算法。其中SRS在数据包传输过程中，终端传输至基站时随机选择信道，基站传输至主站路由器时选择最短路径。MaDs在数据包传输过程中，终端传输至基站时选择增益最大的信道，基站传输至主站路由器时选择信道增益最大的路径。

图3、图4和图5分别表示传输总时延、空口时延和路由转发时延随传输次数的变化情况。仿真结果表明，当传输次数为200时，相比于MaDs和SRS算法，Sarsa算法的传输总时延性能分别提升了14.13%和22.88%，空口时延性能分别提升了10.11%和13.02%，路由转发时延性能提升了18.01%和27.98%。原因在于，MaDs算法和SRS算法不能充分学习网络状态信息，而Sarsa算法可以根据网络状态和中继路由器节点状态学习信道及路由选择策略，获得更低的空口时延和路由转发时延。另外，MaDs始终选择最大信道增益的路径进行传输，其时延性能要优于SRS，但由于未考虑信道噪声和电磁干扰的影响，其时延性能较Sarsa略差。

图 3 传输总时延随传输次数的变化情况
Fig. 3 Total transmission delay versus the number of transmission

图 4 空口时延随传输次数的变化情况
Fig. 4 Air interface delay versus the number of transmission

图 5 路由转发时延随传输次数的变化情况
Fig. 5 The routing and forwarding delay versus the number of transmission

图6和图7为在100次传输后，部分中继路由器间带宽由[4, 6]MHz减小为[3, 5]MHz时传输总时延、空口时延和路由转发时延随传输次数的变化情况。图中可以看出，开始传输时，所提算法空口时延和路由转发时延较大，且随着传输次数增加而减小。这是由于开始传输时所提算法未完成网络状态信息的学习，对动作的探索导致性能较差，而随着数据包继续传输，所提算法逐渐学习网络状态信息并收敛至最优的信道选择与路由选择策略。当部分中继路由器通信资源变差时，由于MaDs算法和SRS算法无法适应环境的动态变化，路由转发时延持续上升，导致传输总时延上升。Sarsa算法可以通过不断与环境进行交互，及时感知通信资源的变化，并更新路由选择策略，选择带宽更大的中继路由器进行数据包转发，有效抑制路由转发时延的增长。仿真结果表明，在通信资源变差的情况下，当传输次数为200时，相比于MaDs和SRS算法，Sarsa算法的路由转发时延性能分别提升了24.76%和30.07%。

图 6 通信资源变差时传输总时延随传输次数的变化情况
Fig. 6 Total transmission delay versus the number of transmission when communication resources deteriorate

图 7 通信资源变差时空口时延和路由转发时延随传输次数的变化情况
Fig. 7 Air interface delay and routing and forwarding delay versus the number of transmission when communication resources deteriorate

图8和图9为在100次传输后，终端与基站间无线信道噪声突变时传输总时延、空口时延和路由转发时延随传输次数的变化情况。在无线信道噪声突变时，MaDs算法和SRS算法无法做出相应的策略改变，其空口时延持续上升。而Sarsa算法通过学习信道状态信息，及时更新信道选择策略，选择受噪声影响更小的信道进行数据包传输，有效抑制空口时延的增长。仿真结果表明，在无线信道噪声突变情况下，当传输次数为200时，相比于MaDs和SRS算法，Sarsa算法的空口时延性能分别提升了10.65%和16.27%。

图 8 无线信道噪声突变时传输总时延随传输次数的变化情况
Fig. 8 Total transmission delay versus the number of transmission when the wireless channel noise changes suddenly

图 9 无线信道噪声突变时空口时延和路由转发时延随数据包数量的变化情况
Fig. 9 Air interface delay and routing and forwarding delay versus the number of transmission when the wireless channel noise changes suddenly

4 结论

5G电力通信网业务编排是满足电力业务服务质量需求的关键。本文针对电力通信网现有业务编排策略的不足，提出基于SDN的5G电力通信网业务编排自主决策方法，采用Sarsa算法，通过SDN控制器不断与动态网络环境进行交互，学习最优接入网信道选择与核心网路由选择策略，最小化电力通信终端数据包传输总时延。仿真结果表明，相较于SRS和MaDs算法，所提算法能够优化传输时延性能。此外，在部分中继路由器通信资源变差和无线信道噪声突变的情况下，所提算法能够实现较小的波动，体现了在动态网络环境下的鲁棒性。

本文主要考虑的是电力业务传输时的信道选择和路由选择的联合优化，而在实际电力通信系统运行中，业务的差异性也是影响传输的因素之一。为了进一步提高5G电力通信网性能，未来将会针对考虑业务优先级的多业务传输进行研究，进而保障差异化服务质量。