电力调度数据网仿真建模及路由协议攻击影响

电力调度数据网仿真建模及路由协议攻击影响 Simulation of Power Dispatching Data Network and the Influence of Routing Protocol Attacks 1 first-author 何剑峰，男，硕士生，从事电力通信安全方面的研究. E-mail: hjf_0515 @whu.edu.cn 何剑峰，男，硕士生，从事电力通信安全方面的研究. E-mail: hjf_0515 @whu.edu.cn 2 3 4 corresp 李俊娥, E-mail:jeli@whu.edu.cn 李俊娥, E-mail:jeli@whu.edu.cn jeli@whu.edu.cn 1 1 1 1 3 4 5 武汉大学 电气工程学院, 湖北 武汉 430072 武汉大学 电气工程学院, 湖北 武汉 430072 School of Electrical Engineering, Wuhan University, Wuhan 430072, Hubei, China School of Electrical Engineering, Wuhan University, Wuhan 430072, Hubei, China 国网河南省电力公司信息 通信公司，河南 郑州 450000 国网河南省电力公司信息 通信公司，河南 郑州 450000 Information and Communication Company, State Grid Henan Electric Power Company, Zhengzhou 450000, Henan, China Information and Communication Company, State Grid Henan Electric Power Company, Zhengzhou 450000, Henan, China 武汉大学 计算机学院, 湖北 武汉 430072 武汉大学 计算机学院, 湖北 武汉 430072 School of Computer, Wuhan University, Wuhan 430072, Hubei, China School of Computer, Wuhan University, Wuhan 430072, Hubei, China 武汉大学 空天信息安全与可信计算教育部重点实验室，湖北 武汉 430072 武汉大学 空天信息安全与可信计算教育部重点实验室，湖北 武汉 430072 Key Laboratory of Aerospace Information security and trusted computing Ministry of Education, Wuhan University, Wuhan 430072, Hubei, China Key Laboratory of Aerospace Information security and trusted computing Ministry of Education, Wuhan University, Wuhan 430072, Hubei, China 全球能源互联网研究院，北京 102209 全球能源互联网研究院，北京 102209 Global Energy Interconnection Research Institute, Beijing 102209 Global Energy Interconnection Research Institute, Beijing 102209 电力调度数据网的安全是智能电网安全运行的保障.通过仿真分析，可以评价电力调度数据网的安全性能，为部署安全措施和优化网络提供依据.本文在分析网络通信架构与业务特性的基础上，在OPNET仿真平台上对某省电力调度骨干网与变电站内部网络及承载业务进行了建模.模型中拓扑结构、设备链路、VPN (virtual private network) 部署等网络配置均基于实际情况.在该模型上，对OSPF (open shortest path first) 路由协议攻击进行仿真，研究路由协议攻击对省调中心与地调中心、变电站站控层之间通信时延、业务吞吐量、带宽利用率的变化，总结了不同场景下骨干网路由协议受到攻击后对电力调度数据网的业务传输的影响，揭示了电力调度数据网骨干网路由协议存在的脆弱性，所设计的仿真分析方法和仿真结果可为电力调度数据网运维部门改进网络安全性能参考. The security of power dispatching data network is the important guarantee for the safe operation of Smart Grid. Through analysis and simulation, the safety performance of power dispatching data network can be evaluated to provide the basis for the deployment of security measures and optimization of network. Based on the analysis of a provincial power dispatching data network, the backbone, the internal network of the substation and the bearer services are modeled in this paper, whose topology, device link, VPN deployment, IP address planning and so on is close to the actual program. The scenarios that power dispatching data network under the routing protocol attack who based on OSPF is simulated for research the influence of the attack to throughput, link utilization and time delay from provincial dispatching center to municipal dispatching center and substation. At last, the influence of routing protocol attack to power dispatching data network in different scenarios is summarized. This paper reveals the vulnerability of routing protocol in the backbone network of power dispatching data network, the simulation analysis method and simulation results can be used to improve the network security performance of power dispatching data network to the operation and maintenance department. 电力调度数据网 仿真建模 OSPF攻击 网络性能 power dispatching data network simulation modeling OSPF (open shortest path first) attacks network performance 引言 1 一个实时、可靠的信息系统是实现智能电网的基础 [ 1 1 ] .电力调度数据网肩负着传输电力生产运行相关的实时/非实时信息的重要责任，其安全性能关系到电力系统的安全稳定运行.研究在路由协议攻击下的电力调度数据网的通信传输性能对于电力通信安全防护架构的建立具有重要意义 [ 2 2 ] .实验和建模仿真是两种主要的研究方法，但电力通信中的许多重要参数与性能只有在故障或攻击下才能得到，性能分析变得尤为困难 [ 3 3 ] .所以在大多数情况下，仿真建模是仅有的并可得出较为准确结果的研究分析方法. 国内外学者针对电力调度数据网的仿真建模开展了一系列研究.文献[ 4 4 ]提出运用复杂网络理论从结构的角度分析电力调度数据网的复杂性及脆弱性，得出了电力调度数据网的脆弱性与其网络结构有很大的联系的结论.文献[ 5 5 ]在OMNET++仿真软件中实现了MPLS (multi-protocol label switching)、VPN (virtual private network)、BGP (border gateway protocol) 等重要协议的仿真模型，并实现了在简单的网络模型中的电力调度数据网业务通信传输.文献[ 6 6 ]介绍一种基于OPNET的电力调度数据网的仿真模型建立方法，以及基于该仿真模型进行的设备故障仿真、为新业务上线仿真预演和网络扩容仿真等场景的研究方法；文献[ 7 7 ]在OPNET软件中实现了配电网集抄业务的数据建模，建立了一个拓扑较为简单的电力调度数据网仿真模型，为今后电力调度数据网业务的流量仿真建模提供了方法. 对于电力通信中的网络攻击仿真研究目前工作较少，文献[ 8 8 ]在OPNET软件中基于一个简单的网络拓扑，建立了DOS攻击的仿真场景，仿真验证了DOS攻击在网络中带来的拒绝服务的影响.文献[ 9 9 ]与文献[ 10 10 ]分析了OSPF (open shortest path first) 协议基于加密验证、泛洪机制、分层路由的三层安全机制，总结了在网络中针对OSPF脆弱性的通过篡改Hello报文、利用UPDATE报文攻击、资源消耗攻击三种主要的网络攻击手段，为该协议的改进与相关网络安全防护措施提供了基础，但没有进行仿真建模. 现有研究存在着以下不足：1) 大部分文献搭建的电力调度数据网模型只是一个简单的拓扑结构符合的网络模型，仿真中网络各节点的地理位置、设备链路型号没有贴近于一个真实的网络环境，导致仿真结果与实际情况还存在一定的误差；2) 对网络攻击下的电力调度数据网通信的研究基于理论分析，而没有搭建一个实际的网络仿真模型更准确地研究网络攻击对通信传输的影响.因此，有必要建立一个基于实际组网方案的电力调度数据网仿真模型，并就网络攻击对其通信性能的影响进行研究，这对于网络风险预控和应急响应方案设计等具有重要的参考价值. 某省电力调度数据网通信架构 1 根据2015年数据，某省电力调度数据网规模覆盖省调、10个地调、60个省直调发电厂、20个500 kV变电站及180个省调直调的220 kV变电站. 网络拓扑 2 该省电力调度数据网采用高可靠结构设计，核心层由省调中心 (主备双台路由器)、备调中心 (双台路由器)4个节点组成，骨干层由10个地调 (各两台路由器) 和2个核心变电站 (各一台路由器)12个骨干节点组成.骨干网络拓扑形成4个环型双归网络，骨干节点各路由器以备份链路与备调中心路由器相连以增加各地通信抗毁性.具体设备配置及链路带宽如 图 1 图 1 所示 [ 11 11 ] . 承载业务及特性 2 电力调度数据网主要承载电力二次系统安全分区中的安全Ⅰ区 (实时控制区) 与安全Ⅱ区 (非控制生产区) 的业务.各类业务的信息流量大小预估值如 表 1 表 1 所示 [ 12 12 ] . 4 kb/s 业务类型 发电厂 变电站 地调 SCADA数据 8 9.6 - 电力市场实时信息 64 - - 功角测量 256 256 - 安稳控制信息 64 64 - 电能量计量系统 9.6 9.6 256 故障录波信息 64 64 - EMS系统准实时数据 - - 128 网络状态监测 0.4 0.4 0.4 远传调度操作票 10 10 - 该省电力调度数据网上以安全区划分为基础，共规划实时、非实时两个MPLS VPN [ 13 13 ] ，分别涵盖两个安全区业务.不同业务系统运行于不同的虚拟专网中，VPN之间限制访问，实现安全隔离. 电力调度数据网仿真建模 1 OPNET采用三层 (Network、Node和Process) 建模机制 [ 14 14 ] ，模型库涵盖了丰富的网络协议、应用、设备等.基于上文的某省调度数据网通信系统结构，在OPNET软件中搭建该电力调度数据网的仿真模型. 省调中心网络仿真模型 2 省调通信模型由双台路由器、内部局域网 (用于放置省调各业务主站) 以及备调双台路由器组成 (路由器型号为思科7 609，OPNET中模型为CS_7609_9s_a2_ae8_fr4_sl8_adv)，省调双台与备调双台间使用1 000 M光纤 (1 000 BaseX) 与622 M/POS链路 (PPP_SONET_OC12) 连接，拓扑结构仿真模型如 图 2 图 2 所示. 地调中心网络仿真模型 2 如 图 3 图 3 所示，地调中心包含各业务主站、交换机及路由器.主路由器以622M/POS链路与其他地调主路由相连，组成电力调度数据网骨干层网络.主、备路由器之间配置HSRP协议并以1 000 M光纤相连，同时主、备路由器通过155 M/POS链路 (PPP_SONET_OC3) 与省备调路由器直接相连，形成备份链路，增大传输可靠性.地调既承担自身与省调的业务通信，也要承担该地区的省直调厂站与省调间的业务通信，各地调平均承担6个电厂、23个变电站的业务通信. 核心变电站网络仿真模型 2 核心变电站通信网络的搭建基于IEC 61850通信规约，建立逻辑上的三层变电站系统 [ 15 15 ] . 图 4 图 4 所示为变电站分层结构，各层安放智能电子设备 (intelligent electronic device，IED) 以实现变电站自动化.以IEC 61850中提出的D2-1变电站为例进行建模， 图 5 图 5 是D2-1变电站通信网基本结构，其网络拓扑图见文献[ 16 16 ]. 设定各间隔中包含MU IED、断路器IED (过程层)、保护控制IED (间隔层) 各一个，用一个交换机将它们连接至中央交换机；IEC61850规定站内报文直接映射至数据链路层，IED节点直接取用OPNET中三层模型ethernet_station.站控层需与调度中心通信，取用七层模型ethernet_wkstn，以TCP/IP传输业务.变电站网络模型及各间隔内部模型如 图 6 图 6 ，其链路带宽设定为100 Mb/s. 站控层对全站过程层IED上传数据进行处理，将业务数据经交换机与CE (customer edge) 路由器发送至PE (provider edge) 路由器，进而至调度中心.变电站业务分为内部通信和与调度中心通信. 1) 变电站内部通信 报文特性如 表 2 表 2 所示，仿真设定采样值及设备状态信息从0秒开始上传，10秒时F1间隔发生故障，跳闸信息从P & C IED传至断路器IED，断路器在10~11 s返回一个GOOSE报文给P & C IED，并且10~11 s时，FTP文件传输开始运行 [ 16 16 ] . 报文类型 报文内容 大小 报文间隔时间 采样值上传 MU向站控层传输采样值 171字节 0.25 ms 设备状态信息 全站IED向站控层服务器传输设备状态信息 256字节 20 ms 跳闸命令 间隔内的P & C IED向本间隔内及母线间隔内的断路器IED发送跳闸命令 16字节 某时刻产生一次 跳闸回传信息 断路器IED收到跳闸命令后向P & C IED返回的一个GOOSE报文 64字节 跳闸命令到达时产生 文件传输 服务器向各主站传送的大容量文件，是各业务主站与调度中心通信所需的业务原始数据 1 M字节 300 s 2) 变电站与省调通信 仿真设定站控层各业务主站从15秒将数据通过中央交换机与CE路由器传输至该变电站PE路由器.主站至交换机至CE这一传输段利用VLAN (虚拟局域网) 的划分可将分属于两个VPN的报文发送给对应的CE路由器. 网络配置 2 如 图 7 图 7 所示，模型包含1个省调中心 (图中0)、10个地调中心 (1~10局域网内)、2个核心变电站 (根据其实际地理位置，分别在1与8内). 主要的配置过程分两步：1) MPLS VPN配置；2) 各路由的IP地址及网络协议等配置.配置完成后的网络模型如 图 8 图 8 (图中彩色线为配置VPN后产生的标签交换路径). 业务配置 2 9种业务及其流量设置依据 表 1 表 1 ，如 图 9 图 9 所示. 以SCADA (实时监控) 实时监控数据为例，如 图 10 图 10 所示.其他8种业务建模同SCADA，不一一列出. OSPF路由协议攻击仿真实验 1 电力调度数据网骨干网的基本路由协议是OSPF，它能使各路由器交换、保存网络的链路状况并建立数据库来获知整个网络拓扑，据此完成路由计算 [ 9 9 ] .其安全机制是电力通信安全重要环节.文献[ 17 17 ]指出OSPF存在如下几种主要攻击. 1) 篡改Hello报文攻击 OSPF路由器周期性地接收与发送Hello报文，以发现与维护邻居关系.Hello报文中参数错误，会使该报文被邻居路由器丢弃，造成邻居Down. 2) 利用UPDATE报文攻击 攻击者可通过假扮成一个OSPF路由器来注入虚假链路状况，造成OSPF路由域的混乱. 3) 资源消耗攻击 通过不间断的大量发送各种类型的OSPF报文 (如发送包含超长邻居列表的Hello报文)，邻居路由器将需为邻居列表依次创建邻居关系而造成资源耗竭，导致无法工作. 上述3种攻击对调度网业务的影响具有相似性，均会导致骨干网路由器选路异常，本文仅以篡改Hello报文攻击为例进行仿真分析. 篡改Hello报文的仿真配置 2 依靠Hello报文的发送来建立和维护邻居关系是OSPF的重要机制.Hello报文会被设定一个周期时间 (Hello Interval，默认为10 s) 向邻居路由器发送，而同样会被设定一个接受时间 (Router Dead Interval，默认为40 s)，如果在这个时间内没有收到邻居路由器发送来的Hello报文，则会认为该邻居路由器“死亡”，中断与他的通信. 通过篡改骨干网路由器上的Hello报文发送时间间隔，使其大于其邻居路由器上所设置Router Dead Interval默认值40 s，将会使得该路由器在骨干网的该OSPF区域内被孤立.本文仿真配置由10改为45，如 图 11 图 11 和 图 12 图 12 . Hello报文攻击下的仿真结果 2 本文仿真基于以下三种攻击场景：省调路由器、地调与核心变电站路由器被攻击. 变电站路由器被攻击后，站内网络通信性能及变电站与调度中心之间的通信性能仿真结果如 图 13 图 13 和 图 14 图 14 .可以看出，当变电站路由器被攻击后，站内MU IED采样值、各设备状态信息、跳闸命令传输正常，以太网整体时延在0.04 ms以内，满足站内通信需求.服务器至各主站的文件传输虽然在设定时间内传输完毕，但主站至调度数据网的流量为0.说明当变电站路由器被攻击时，站内业务依然保持较好的传输性能，但由于变电站路由器的单一性，其与调度中心的通信中断. 省调路由器被攻击后的仿真结果如 图 15 图 15 .可以看出，当省调SD1路由器被攻击后，网络中最大时延增大了20%，但业务通信量保持不变，网络中最大链路带宽使用率上升.这是由于当SD1停止工作后，连接该路由器的地调1报文会改变传输路径，由1-2-3传输.传输距离增大使得时延增大，又使地调3-省调的骨干链路形成一定的“重载”，导致网络中最大链路带宽使用率增大.但时延仍在毫秒级，仍可保持正常的业务通信.而当省调双台路由器均被攻击时，全网各节点均失去与省调的通信，业务通信量为0，时延无穷大. 图 16 图 16 是地调1路由器被攻击后的性能参数变化情况，当地调主路由器被攻击后，由于热备份协议HSRP的生效，数据传输任务转移至备份路由器与备份链路，使得时延略微增大，仍可保持业务通信.当地调双台路由器均被攻击时，该地失去与省调的通信，业务通信量为0，时延无穷大. 各类攻击场景下对业务通信的影响总结见 表 3 表 3 . 攻击场所 破坏程度 对通信骨干网络的影响 时延变化 通信保持 2 省调中心 SD1路由器 部分流量传输路径的改变； 网络可靠性降低； 负载不均衡 (SD2侧增大) 整体时延略微增大； 整体 时延 增大 20% 能 双台路由器 省调失去与其他所有地区骨干 节点业务通信； 趋于 无穷 不能 2 地调中心 主路由器 部分流量传输路径的改变； 网络可靠性降低； 业务经备份链路传输； 当地通信时延增大； 整体 时延 增大 20% 能 双台路 由器 部分流量传输路径的改变； 整体网络可靠性降低； 该地与省调通信中断； 趋于 无穷 不能 核心变电站 主路由器 部分流量传输路径的改变； 整体网络可靠性降低； 变电站调度业务通信中断； 趋于无穷 不能 仿真结果表明：对于只配置了单台路由器的变电站来说，一旦路由器被成功攻击，将直接失去与省调的通信，影响较大.对于地调与省调来说，在单台路由器网络攻击下，网络仍能保持较好的通信性能.而虽然大范围攻击在当前的安防工作下较难发生，但是当省调或地调双台路由攻击一旦发生，将会中断一个地区电力通信业务的传输.因此，对于电力调度数据网来说，保证主、备两台路由器不能同时被攻击是其需要始终维持的安全防护底线. 结论 1 OSPF协议是电力调度数据网骨干网所使用的基本路由协议，该协议已被证明可以被攻击而导致路由器失效或路由选择混乱.在当前严峻的网络安全威胁形势下，必须考虑攻击状态下调度数据网的生存性问题.本文在OPNET仿真软件中搭建了一个基于某省真实环境的调度数据网仿真模型，通过对OSPF协议中的Hello报文进行篡改的方式对该调度数据网模型进行网络攻击仿真，总结了在不同攻击场景下对通信传输性能的影响. 网络仿真是研究大型通信网络特性的一种重要方法，可以帮助网络规划和运行部门发现网络的不足和寻求解决方案.然而，过去在我国通信网建设、特别是电力通信网络建设中几乎未被利用.本文设计的仿真分析方法、对路由协议攻击影响的研究方法和结论可为电力调度数据网运维部门改进网络安全性能提供很好的参考. 参考文献 孙晶.智能电网及其通信技术[J].电力系统通信, 2010, 31(12):1-3. SUN J. The Telecommunication technology used in smart grid[J]. Telecommunications for Electric Power System , 2010, 31(12):1-3(Ch). ZHANG B W, BAILLIEUI J. Communication and Control Protocols for Load Networks in the Smart Grid[C/OL].[2016-03-02] . http://www.nt.ntnu.no/users/skoge/prost/proceedings/ifac2014/media/files/1695.pdf. http://www.nt.ntnu.no/users/skoge/prost/proceedings/ifac2014/media/files/1695.pdf. 廖晨淞, 童晓阳. OPNET仿真及其在电力系统通信研究中的应用[J].电气应用, 2010(9):52-56. LIAO C S, TONG X Y.OPNET simulation and the application in power system communication[J]. Electrotechnical Application , 2010(9):52-56(Ch). 胡娟, 李智欢, 段献忠.电力调度数据网结构特性分析[J].中国电机工程学报, 2009(4):53-59. HU J, LI Z H, DUAN X Z. Structural feature analysis of the electric power dispatching data network[J]. Proceedings of the CSEE , 2009(4):53-59(Ch). 刘守逸.电力调度数据网网络仿真系统设计与实现[D].沈阳:东北大学, 2013. http://www.cnki.com.cn/Article/CJFDTOTAL-NFDW201403019.htm LIU S Y. Design and Implementation of Simulation System for Electric Power Dispatching Data Network [D].Shenyang: Northeastern University, 2013(Ch). 江泽鑫, 梁智强.电力调度数据网的网络仿真研究[J].南方电网技术, 2014(3):95-99. JIANG Z X, LIANG Z Q. Simulation research of power dispatching data network[J]. Southern Power System Technology , 2014(3):95-99(Ch). 杨光敏, 蔡光卉, 常俊, 等.基于OPNET的智能配网AMR业务建模研究及仿真[J].电力系统通信, 2012(10):82-87. YANG G M, CAI G H, CHANG J, et al . Simulation and study of smart distribution network AMR service modeling based on OPNET[J]. Telecommunications for Electric Power System , 2012(10):82-87(Ch). 张文娟, 赵荣彩, 张铮, 等.一种基于OPNET的DoS攻击模拟技术[J].信息工程大学报, 2009(3):412-414. ZHANG W J, ZHAO R C, ZHANG Z, et al . DoS attack simulation technology based on OPNET[J]. Journal of Information Engineering University , 2009(3):412-414(Ch). MCEACHEN J C, CHESSER R L. Vulnerabilities in the Open Shortest Path First Interior Gateway Protocol[DB/OL].[2016-03-02] . http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=904121 http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=904121 . DOI: 10.1109/MILCOM.2000.904121 http://dx.doi.org/10.1109/MILCOM.2000.904121 . WANGM H. The Security analysis and attacks detection of OSPF routing protocol[C]// International Conference on Intelligent Computation Technology and Automation . Washington D C: IEEE Computer Soceity, 2014:836-839. DOI:10.1109/ICICTA.2014.200 http://dx.doi.org/10.1109/ICICTA.2014.200 . 薛永强, 郭一兵, 雒宏锦. MPLS VPN在山西电力调度数据网的应用[J].电力学报, 2007(1):68-71. XUE Y Q, GUO Y B, LUO H J. Research on applying MPLS VPN to shanxi power dispatching data network[J]. Journal of Electric Power , 2007(1):68-71(Ch). 齐聪.鹰潭地区电力调度数据网组网分析及规划[D].南昌:南昌大学, 2012. http://cn.bing.com/academic/profile?id=8ef0bb2cdb5d0787a6d71f6383724aa4&encoded=0&v=paper_preview&mkt=zh-cn QI C. Analysis and planning on Electric Power Dispatching Data Network of Yingtan [D]. Nanchang: Nanchang University, 2012(Ch). 彭清卿, 向力, 卢长燕, 等.国家电力调度数据网组网研究[J].电力系统自动化, 2004(8):10-14. PENG Q Q, XIANG L, LU C Y, et al . Research on the network of national power dispatching data network[J]. Automation of Electric Power Systems , 2004(8):10-14(Ch). 陈敏.OPNET网络仿真[M].北京:清华大学出版社, 2004. CHEN M. OPNET Network Simulation [M].Beijing:Tsinghua University Press, 2004(Ch). ZHANG J, GUNTER C A.IEC 61850-Communication Networks and Systems in Substations: An Overview of Computer Science[DB/OL].[2016-02-02] . https://www.researchgate.net/publication/229008227_IEC_61850-Communication_Networks_and_Systems_in_Substations_An_Overview_of_Computer_Science https://www.researchgate.net/publication/229008227_IEC_61850-Communication_Networks_and_Systems_in_Substations_An_Overview_of_Computer_Science . 张志丹, 黄小庆, 曹一家, 等.基于虚拟局域网的变电站综合数据流分析与通信网络仿真[J].电网技术, 2011(5):204-209. ZHANG Z D, HUANG X Q, CAO Y J, et al . Comprehensive data flow analysis and communication network simulation for virtual local area network-based substation[J]. Power System Technology , 2011(5):204-209(Ch). 钟廷龙, 李鑫. OSPF路由协议安全性分析[J].微计算机信息, 2005(14):15-17. ZHONG T L, LI X.The security analysis for OSPF routing protocol[J]. Microcomputer Information , 2005(14):15-17(Ch). 10.14188/j.1671-8836.2017.02.010 TN915.853;TN915.08 whdxxblxb-63-2-163 国家自然科学基金项目 (51377122)；国家电网公司科技项目“电力信息物理系统安全策略及信息通信支撑关键技术研究”(XXB17201400056) 2016-06-13 2017-04-24 2020-12-09 版权所有© 2017 《武汉大学学报 (理学版)》编辑部 Copyright © 2017 Journal of Wuhan University (Natural Science Edition). All rights reserved. 2017 武汉大学学报 (理学版) 2 63