基于并行的F⁃LSTM模型及其在电力通信设备故障预测中的应用

基于并行的F⁃LSTM模型及其在电力通信设备故障预测中的应用 Parallel⁃Based F⁃LSTM Model and Its Application in Power Communication Fault Prediction 1 first-author 杨济海，男，博士生，教授级高级工程师，研究方向为电力信息通信技术。E⁃mail：jxjihai@139.com 杨济海，男，博士生，教授级高级工程师，研究方向为电力信息通信技术。E⁃mail：jxjihai@139.com jxjihai@139.com 2 2 2 2 国网江西省电力有限公司信息通信分公司，江西 南昌 330077 国网江西省电力有限公司信息通信分公司，江西 南昌 330077 Information & Telecommunication Branch of State Grid Jiangxi Electric Power Company， Nanchang 330077，Jiangxi， China Information & Telecommunication Branch of State Grid Jiangxi Electric Power Company， Nanchang 330077，Jiangxi， China 武汉大学 计算机学院， 湖北 武汉 430072 武汉大学 计算机学院， 湖北 武汉 430072 School of Computer Science， Wuhan University， Wuhan 430072， Hubei， China School of Computer Science， Wuhan University， Wuhan 430072， Hubei， China 电力通信网设备时序故障预测的目标是通过过去设备告警数据，预测设备在下一个时间段是否发生故障，这对设备的管理和维护起着重要作用。为了预测电力设备未来的状态，提出一种Forward⁃LSTM（F⁃LSTM）学习模型，对设备故障的时序特征和非时序特征（静态信息）进行并行训练，探索出一种新的对静态⁃时序数据的训练方法，将其应用在电力通信网故障预测中。F⁃LSTM结合了两个组件，一个学习时序特征的长短期记忆神经网络（LSTM）与一个处理静态数据的前向全连接神经网络（forward full connection neural networks，FC），数据的静态/时序属性被自动判断并传递给FC或LSTM来并行训练。对于具有同时产生动态数据与静态数据的电力通信网络，Forward⁃LSTM（F⁃LSTM）模型能以较高速度与精度预测其故障发生的位置。此外，本文采用一种加权的损失函数，可以更好地捕捉设备故障的时序规律。选取某电力通信网络系统中2016—2017年设备故障数据，对本方法进行测试。实验结果显示，与Xgboost模型相比，F⁃LSTM模型对故障预测的召回率提高5%，同时F⁃LSTM模型较LSTM模型缩减了计算量，加快了模型的训练速度。 The goal of the equipment timing failure prediction of power supply network is to predict whether the equipment will fail in the next time period through past equipment alarm data, which plays an important role in equipment management and maintenance. In order to predict the future state of power equipment, this study proposes a Forward⁃LSTM(F⁃LSTM) learning algorithm to train the timing and non⁃timing features（static information） of equipment faults in parallel, and explore a new training method for static⁃time series data. It is used in power communication network fault prediction. F⁃LSTM combines two components, a long short⁃term memory (LSTM) neural network that learns timing characteristics and a forward full connection neural networks(FC) that processes static data. The static/timing properties of the data are automatically judge and pass to the FC or LSTM for parallel training. For power communication networks with both dynamic and static data, the Forward⁃LSTM model predicts where faults occur at higher speeds and accuracy. In addition, this paper uses a weighted loss function to better capture the timing of device failures. This method was tested by selecting the equipment failure data of 2016-2017 in a power communication network system. The experimental results show that the F⁃LSTM model improves the recall rate of fault prediction by 5% compared with the Xgboost model, while the calculation amount is reduced, and the training speed of the model is accelerated compared with the LSTM model. 电力通信网 故障预测 LSTM Xgboost F⁃LSTM power communication network fault prediction long short⁃term memory （LSTM） Xgboost F⁃LSTM 杨济海,刘洋,刘杰, 等.基于并行的F⁃LSTM模型及其在电力通信设备故障预测中的应用[J].武汉大学学报（理学版）,2019,65(3):263-268. DOI:10.14188/j.1671-8836.2019.03.005. 0 引 言 1 电力通信网是电力系统中重要的支撑系统，它存储了包括业务运行、设备连接、设备告警等大量数据。电力通信网设备时序故障预测的任务是利用设备历史告警数据，预测设备在未来的一定时间内是否发生故障，这对电力通信网设备的管理和维护、以及提高电力通信网的系统可靠性具有重要的意义。对电力通信网设备故障的正确预测能够加强电力系统的稳定性、安全性、可靠性，促进电力行业的可持续发展 ［ 1 1 ］ 。 目前，对电力通信网设备故障预测的方法主要有两类。第一类是基于统计学习的方法，如灰度预测技术 ［ 2 2 ］ 。灰度预测模型的基础是灰色理论，即历史数据累加后具有指数函数规律，灰色理论模型不擅长对长期故障的预测。第二类是机器学习方法，如支持向量机 ［ 3 3 ］ 、神经网络 ［ 4 4 ］ 、Xgboost ［ 5 5 ］ 。这类方法的优点在于易于分析、可解释性好，但是需要人工分析并提取特征，同时模型只考虑了当前时间设备发生故障的相关特征，缺少对设备历史状态信息的考虑，这是非时序的预测，并不能做到对设备未来状态进行分析。 电力通信网中设备告警数据具有数据量大、频闪数据多、非法数据多等特点，现有的预测还只是基于简单的统计分析，没有考虑时序相关因素的影响。为了解决现有方法的缺陷，本文使用基于时序关系的序列模型，提高设备故障预测的准确率。序列模型的输入是设备的历史告警数据，在对设备故障分析中，不仅考虑了设备的属性特征，同时考虑了设备告警时序特征，能够更加精确的对设备状态做出判断。 循环神经网络（recurrent neural network， RNN）是一个广泛应用的序列模型，在图像字幕，语言翻译、手写识别领域取得了重大成果 ［ 6 6 ］ ，它可以周期性捕获时间动态，与前馈神经网络不同，RNN通过记忆单元保留任意长的上下文窗口的状态，但RNN能够保存记忆的长度很有限。LSTM（long short⁃term memory ）网络架构一定程度上解决了标准RNN网络中梯度消失的问题，与标准RNN相比，LSTM考虑的上下文信息更长 ［ 7 7 ］ ，提高了预测的准确性。但是本文对设备故障预测的特征包括两类，一类是与设备告警信息相关的时序特征（350维），另一类是与设备属性相关的非时序特征（约50 000维），时序特征数量占比很小，如果将所有特征都输入给LSTM，LSTM的学习过程中的计算量很大，同时并不能很好的学习到设备发生故障的时序规律。为了解决LSTM模型缺陷，本文结合LSTM网络与前向神经网络，提出一种基于LSTM的模型，即Forward⁃LSTM（F⁃LSTM）模型，对设备故障的时序特征和非时序特征利用不同的网络训练，探索一种新的故障预测方法。 1 F⁃LSTM模型 1 本文提出的F⁃LSTM模型如 图1 图1 所示。F⁃LSTM网络架构由四部分组成：第一部分，静态/时序特征提取和特征预处理；第二部分，使用全连接网络提取设备属性特征并传递给LSTM；第三部分，通过LSTM网络捕获告警时序信息与设备故障的关系；第四部分，计算模型输出。 1.1　特征 2 对设备故障预测的特征包括非时序特征和时序特征两部分。非时序特征是指故障相关的设备属性特征，由于这部分数据不会随时间发生改变又称静态数据。本文从同类型设备中选取10 000个告警数据分布均匀的设备，然后提取设备位置信息、所属系统、所属站点、所属机房、生产厂家、厂家设备类型、投运日期、调度等级、运行状态、维护单位、维护人、设备类型、制造国家、制造时间、最后同步时间等关键信息，并对离散特征进行OneHot编码，得到非时序静态特征约50 000维。 除了静态数据之外，设备在运行过程中会产生大量的告警数据，这些数据是时序变化的，从中提取设备故障的时序特征。在提取特征之前，需要进行数据预处理，包括删除告警的发生或者结束时间为非法时间的记录、删除告警的结束时间早于告警的开始时间的记录、删除告警类型的信息未定义的记录、删除频闪告警记录。之后需要选取时间窗口大小，本文选取的时间窗口为1小时，即统计每个设备每个小时的告警信息特征（2016—2017年）。设备的告警类型 A 1 ， A 2 ，…， A m ，时序特征包括：每种告警在该时间窗口内出现的次数 <math id="M1"><msub><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi>A</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205597&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205584&type= 5.07999992 4.06400013 ， <math id="M2"><msub><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi>A</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205622&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205610&type= 5.07999992 4.06400013 ，…， <math id="M3"><msub><mrow><mi>C</mi></mrow><mrow><msub><mrow><mi>A</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205645&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205632&type= 5.41866684 4.06400013 ；每种在该时间窗口内发生的告警的持续时间（结束时间与开始时间之差） <math id="M4"><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>A</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205664&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205654&type= 4.91066647 4.06400013 ， <math id="M5"><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>A</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205688&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205678&type= 4.91066647 4.06400013 ，…， <math id="M6"><msub><mrow><mi>L</mi></mrow><mrow><msub><mrow><mi>A</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205707&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205697&type= 5.24933338 4.06400013 ；时间窗口的中心时间点距离设备上一次故障的时间长度 W ；三种告警级别提示、次要、重要、紧急在该时间窗口内分别发生的总次数 L 1 ， L 2 ， L 3 ， L 4 。最终得到时序特征350维。 1.2　前向全连接神经网络 2 通过1.1节分析，电力设备故障相关特征中，大部分信息都是静态数据，为了减少LSTM网络训练的计算复杂度，加快网络学习，提高预测的准确度，本文提出将静态特征和时序特征分别采用不同的网络并行学习。对于静态数据使用前向全连接神经网络（forward full connection neural networks ，FC）捕捉与设备发生故障的关系。这样F⁃LSTM网络中的时序连接部分，只考虑了时序特征的影响，更好的学习时序规律，提高模型预测的准确度。前向神经网络每一层的计算： <math display="block" id="M7"><mi>A</mi><mo>=</mo><mi mathvariant="normal">d</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi><mo stretchy="false">(</mo><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">U</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>f</mi></mrow></msub><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>f</mi></mrow></msub><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>f</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205725&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205716&type= 51.13866806 4.65666676 其中，ReLU为激活函数，dropout为随机失活策略， W f 为非时序特征， X f 为网络权重参数， b f 为网络偏差参数， A 为输出。 1.3　LSTM网络学习故障的时序规律 2 在对当前时间段的设备故障预测时，为了考虑历史故障信息，本文使用LSTM网络模型学习设备发生故障的时序规律，LSTM模型比一般的RNN模型更加稳定，并且可以更好的学习长期依赖。LSTM的主要创新之处在于利用存储记忆单元 c t 保存过去的状态信息，存储记忆单元 c t 由几个控制门进行访问。每次有新的输入时，如果输入门被激活，它的信息将被累积到单元中。此外，如果忘记门 f t 处于打开状态，则可以在此过程中“忘记”过去的状态 <math id="M8"><msub><mrow><mi>c</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205744&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205737&type= 5.92666674 3.72533321 。最后输出门 o t 控制存储单元 c t 是否会传播到最终状态 h t 。存储单元和门控制信息流在一定程度上解决了普通RNN模型梯度消失的问题，更易于学习长期的依赖，能够很好地解决序列相关的预测问题 ［ 8 8 ］ 。LSTM网络通过使用递归方程计算更新 ［ 9 9 ］ ： <math display="block" id="M9"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mi mathvariant="normal">f</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mtext> </mtext><mi mathvariant="normal">g</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mo>:</mo><mtext> </mtext><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>f</mi></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>f</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi><mtext> </mtext><mi mathvariant="normal">g</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mo>:</mo><mtext> </mtext><msub><mrow><mi>i</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi><mtext> </mtext><mi mathvariant="normal">g</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mo>:</mo><mtext> </mtext><msub><mrow><mi>o</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>o</mi></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>o</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>c</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><msub><mrow><mi>f</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>∘</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><msub><mrow><mi>i</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>∘</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mtext> </mtext><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><msub><mrow><mi>o</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>∘</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mtext> </mtext><mo stretchy="false">(</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205762&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205755&type= 64.43133545 27.09333420 其中， <math id="M10"><mi mathvariant="normal">σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205782&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205775&type= 1.69333339 2.79399991 和tanh分别是sigmoid、tanh激活函数， i t 、 f t 、 o t 、 c t 分别是输入门、忘记门、输出门、存储记忆单元， <math id="M11"><mo>°</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205803&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205793&type= 1.10066664 2.79399991 表示矢量逐元素乘积， x t 为每个时间窗口的时序特征， W 和 b 为参数矩阵， h t 为输出。 1.4　模型复杂度分析 2 这里对比LSTM模型与F⁃LSTM模型的复杂度，主要分析两个模型的参数数量以及迭代一次的计算量。其中F⁃LSTM模型的计算量主要集中在FC与LSTM部分，LSTM模型的计算量主要集中在LSTM部分。 假设时序特征维度为 n ，非时序特征维度为 m ，LSTM隐藏层状态为 H 维，FC网络层数为 L ，第 i 层的神经元个数为 L i 。则LSTM模型参数数量为 <math id="M12"><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">8</mn><mo stretchy="false">(</mo><mi>m</mi><mo>+</mo><mi>n</mi><mo stretchy="false">)</mo><mi>H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205827&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205815&type= 31.49600029 4.48733330 ，F⁃LSTM模型参数数量为 <math id="M13"><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">F</mi><mi mathvariant="normal">⁃</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>+</mo><mn mathvariant="normal">8</mn><mi>n</mi><mi>H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205847&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205837&type= 36.32199860 8.38199997 ，其中 L 0 = m 。因为 m <math id="M14"><mo>≫</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205865&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205855&type= 3.72533321 2.79399991 <math id="M15"><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205885&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205875&type= 3.21733332 3.72533321 ， <math id="M16"><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205907&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205898&type= 17.77999878 3.21733332 ，所以LSTM模型比F⁃LSTM模型参数多 <math id="M17"><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi></mrow></msub><mo>-</mo><msub><mrow><mi>n</mi></mrow><mrow><mi mathvariant="normal">F</mi><mi mathvariant="normal">⁃</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">8</mn><mi>m</mi><mi>H</mi><mo>-</mo><mi>m</mi><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205926&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205916&type= 46.39733505 3.72533321 ，其中 <math id="M18"><mi>H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205952&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205942&type= 2.96333337 2.79399991 、 <math id="M19"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205972&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205962&type= 3.55599999 3.72533321 为同一量级，可以看出F⁃LSTM模型与LSTM模型相比减小了参数数量。 假设时序长度为 T ，batch为 <math id="M20"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205995&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4205981&type= 2.87866688 2.87866688 ，则LSTM模型一次迭代的乘法的计算量为 <math id="M21"><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">8</mn><mi>N</mi><mo stretchy="false">(</mo><mi>m</mi><mo>+</mo><mi>n</mi><mo stretchy="false">)</mo><mi>H</mi><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206005&type= 37.93066788 4.48733330 ，F⁃LSTM模型一次迭代的乘法的计算量为 <math id="M22"><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">F</mi><mi mathvariant="normal">⁃</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi></mrow></msub><mo>=</mo><mi>N</mi><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi></mrow><mrow><mi>L</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></mrow><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>+</mo><mn mathvariant="normal">8</mn><mi>N</mi><mi>n</mi><mi>H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206031&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206024&type= 49.02199936 8.38199997 ，其中 <math id="M23"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>=</mo><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206048&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206038&type= 11.42999935 3.72533321 。因为 m <math id="M24"><mo>≫</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206064&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206057&type= 3.72533321 2.79399991 <math id="M25"><msub><mrow><mi>L</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206087&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206072&type= 3.21733332 3.72533321 ， <math id="M26"><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206111&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206100&type= 17.77999878 3.21733332 ， T <math id="M27"><mo>≫</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206126&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206117&type= 3.72533321 2.79399991 L ，所以 T LSTM /T F⁃LSTM <math id="M28"><mo>≈</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206155&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206138&type= 3.72533321 2.79399991 （ m+n ） /n 。设备属性特征存在很多离散特征，在进行OneHot编码之后 m 的取值远远大于 n 的取值，这样可以大大减少F⁃LSTM模型的计算量，加快网络的学习速度。 1.5　模型训练 2 电力通信网络中设备故障时序预测的任务是预测下一个时间片段是否会发生故障，这是一个二分类的问题，本文组合时序特征通过前向神经网络的输出与时序特征通过LSTM模型每一时间段的输出，使用sigmoid的激活函数输出每一时间段的设备故障预测概率值： <math display="block" id="M29"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi></mrow></msubsup><mo>=</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi><mo stretchy="false">(</mo><msub><mrow><mi>W</mi></mrow><mrow><mi>s</mi></mrow></msub><msub><mrow><mi>x</mi></mrow><mrow><mi>s</mi></mrow></msub><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>s</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206172&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206162&type= 39.96266937 4.99533367 其中， x s 为每个时间窗口对时序特征和非时序特征的训练输出 A 、 h t 的拼接的结果， W s 、 b s 为模型矩阵参数。F⁃LSTM模型在每个时间窗口都会输出设备故障概率值，从而在每一步中产生局部的误差信息，在设备故障预测时，应该重点关注最后一步的输出，本文通过权重来控制损失函数关注的对象： <math display="block" id="M30"><mi>J</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206190&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206181&type= 10.83733368 7.62000036 <math display="block" id="M31"><mo>⋅</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206204&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206195&type= 1.10066664 2.79399991 <math display="block" id="M32"><mo stretchy="false">{</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover></mstyle><mrow><mo stretchy="false">{</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><mi>α</mi><mo stretchy="false">)</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>T</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">a</mi><msup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>i</mi></mrow></msup></mrow></msubsup><mo stretchy="false">)</mo><mo>+</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206227&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206223&type= 43.51866913 8.46666718 <math display="block" id="M33"><mi>α</mi><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>T</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>t</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>T</mi></mrow></munderover></mstyle><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206246&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206238&type= 17.27199936 8.38199997 <math display="block" id="M34"><mo stretchy="false">(</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>T</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">a</mi><msup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>i</mi></mrow></msup></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206261&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206253&type= 13.03866673 5.58799982 <math display="block" id="M35"><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206280&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206270&type= 0.93133330 3.55599999 <math display="block" id="M36"><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206299&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206288&type= 0.93133330 3.55599999 <math id="M37"><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206320&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206311&type= 18.20333290 4.99533367 = <math id="M38"><mo>-</mo><mo stretchy="false">(</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>⋅</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>+</mo><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo><mo>⋅</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206338&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206330&type= 40.04733276 4.99533367 <math display="block" id="M39"><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo>-</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206354&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206345&type= 20.48933411 4.99533367 ，t =1，…，T 其中， J 为损失函数， N 为batch的个数， <math id="M40"><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206370&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206362&type= 2.62466669 4.57200003 、 <math id="M41"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">h</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206384&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206377&type= 4.65666676 4.82599974 分别是每个时间窗口设备故障的真实值和预测值， T 为输入序列的长度，表示对当前窗口预测时，考虑了时间长度的历史信息， <math id="M42"><mi>α</mi><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">0,1</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206401&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206389&type= 14.56266594 3.55599999 为超参数，表示在序列的中间步骤中其预测结果的相对重要性。在真正的预测阶段，只需要最后步骤的输出。 2 实 验 1 现有的故障预测方法大部分是基于传统的机器学习模型，通过设备的当前告警信息，预测设备是否发生故障。文献［ 5 5 ］表示，在故障预测领域，Xgboost ［ 10 10 ］ 模型表现最好，本文将通过对比Xgboost模型和F⁃LSTM模型在提取的数据集上的预测能力，证明序列模型能够提高设备故障的准确率；通过对比LSTM模型和F⁃LSTM模型在数据集上的训练速度和预测精度，分析对时序特征和非时序特征分开训练后的结果。 2.1　数据集 2 本文使用的数据是某省份电力通信网系统中2016-2017年约100万条告警记录的数据，通过1.1节的介绍，提取需要的时序和静态特征，并预留两个月的数据作为测试集，其余数据作为训练集。本文采用模型的评估指标如下：Precision、Recall、 F 1， <math display="block" id="M43"><mi mathvariant="normal">P</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi>i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mo>=</mo><mfrac><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">P</mi></mrow></mfrac><mo stretchy="false">(</mo><mi mathvariant="normal">精</mi><mi mathvariant="normal">确</mi><mi mathvariant="normal">率</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206415&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206407&type= 50.71533203 7.62000036 <math display="block" id="M44"><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">l</mi><mo>=</mo><mfrac><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">N</mi></mrow></mfrac><mo stretchy="false">(</mo><mi mathvariant="normal">召</mi><mi mathvariant="normal">回</mi><mi mathvariant="normal">率</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206430&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206423&type= 46.22800064 7.62000036 <math display="block" id="M45"><mi>F</mi><mn mathvariant="normal">1</mn><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mo>⋅</mo><mi mathvariant="normal">P</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mo>⋅</mo><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">l</mi></mrow><mrow><mi mathvariant="normal">P</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mo>+</mo><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">l</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206446&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206439&type= 39.70866776 7.62000036 其中，TP、FP、FN、TN的说明见 表1 表1 。 2 预测表现 2 实际表现 发生故障1 未发生故障0 2 发生故障1 未发生故障0 TP FP FN TN 故障预测问题召回率是很重要的指标，因为我们希望模型尽可能的把故障提前预测出来，从而采取一定的维修措施。 2.2　加权的交叉熵损失函数 2 本文采用带权重的损失函数，将对于设备故障的预测重点考虑最近的告警信息。其中F⁃LSTM模型在每个时间窗口产生的误差信息权重不同，网络在反向梯度更新时，学习的重点由权重决定。在加权的交叉熵损失函数（4）式中， <math id="M46"><mi>α</mi><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">0,1</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206477&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206472&type= 14.56266594 3.55599999 。若 <math id="M47"><mi>α</mi><mo>=</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206488&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206482&type= 8.55133343 2.79399991 ，则表示每个时间窗口的同等重要；若 <math id="M48"><mi>α</mi><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206499&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206497&type= 8.55133343 2.79399991 ，则表示模型只关心最后一个时间窗口的损失，而其他时间窗口的误差信息将不会影响网络参数的更新。本文对 <math id="M49"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206503&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206501&type= 1.94733334 2.79399991 进行超参数测试，结果如 表2 表2 所示，最终 <math id="M50"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206509&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206507&type= 1.94733334 2.79399991 取0.9，表示在设备故障预测时，模型比较关心当前时间窗口的误差信息，同时其他时间窗口可以更新前面层的网络参数。其中全连接部分使用三层网络，每个隐藏层大小分别为512，256，128；时序连接部分中，隐藏状态为256维；时序长度选择100 h。 <math id="M51"><mi>α</mi></math> Precision Recall F 1 0.1 0.793 0.812 0.802 0.3 0.843 0.845 0.844 0.5 0.859 0.873 0.895 0.7 0.876 0.893 0.866 0.9 0.886 0.904 0.895 1.0 0.870 0.891 0.880 2.3　F⁃LSTM与Xgboost、LSTM比较 2 Xgboost模型将时序特征和非时序特征合并作为模型的输入，预测当前窗口设备是否故障，从本质上讲，这是一个数学模型，学习的是设备故障的判断规则。本文对Xgboost模型的重要参数采用网格搜索策略进行超参数优化，取值如 表3 表3 所示。本文中F⁃LSTM利用历史的100 h的告警信息，预测下一个时间窗口是否发生故障。F⁃LSTM模型中全连接部分使用三层网络，每个隐藏层大小分别为512，256，128。时序连接部分中，隐藏状态为128和256两种变体，F⁃LSTM模型的隐藏层数选择2层。我们使用反向传播（BPTT） ［ 11 11 ］ 最小化加权的交叉熵损失和（4）式，计算模型参数梯度，通过优化器RMSProp ［ 12 12 ］ 对F⁃LSTM模型参数持续更新，其中学习率为 <math id="M52"><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206520&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206517&type= 6.85800028 3.04799986 、衰减率0.9。损失函数超参数 <math id="M53"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206527&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206521&type= 1.94733334 2.79399991 为0.9。 参数 值 参数 值 max_depth 15 gamma 0.1 min_child_weight 6 n_estimators 100 colsample_bytree 1.05 reg_alpha 0.01 F⁃LSTM模型考虑了设备历史的状态信息，如 表4 表4 所示设备故障预测准确率要远远优于Xgboost模型；F⁃LSTM的隐藏层大小决定了模型的复杂度，改变隐藏层大小可以改变模型的预测能力；其中，LSTM_base模型是只使用时序部分对设备故障进行预测。因此，非时序特征可以增加模型的预测能力。 注： 128和256代表时序连接部分隐藏状态的大小 模型 Precision Recall F 1 Xgboost 0.826 0.855 0.840 LSTM_base(128) 0.812 0.832 0.822 LSTM_base(256) 0.824 0.845 0.834 F⁃LSTM(128) 0.863 0.891 0.876 F⁃LSTM(256) 0.886 0.904 0.895 2.4　F⁃LSTM与LSTM比较 2 LSTM模型需要将时序特征和非时序特征组合作为输入，LSTM同样利用历史信息预测下一个时间窗口是否发生故障，不同的是F⁃LSTM模型中对时序特征和非时序特征利用两个网络训练。全连接部分使用三层网络，每个隐藏层大小分别为512，256，128。时序连接部分中，隐藏状态为256维。LSTM模型和F⁃LSTM模型的隐藏层数选择两层。同时为了考虑时序长度对问题的影响，我们做了三组对比试验，时序长度选择20、60、100 h。其中，损失函数超参数 <math id="M54"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206536&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206534&type= 1.94733334 2.79399991 为经过交叉验证取值为0.9，见2.2节。 如 表5 表5 所示，与LSTM模型相比F⁃LSTM模型的在设备故障预测准确率上有一定的提升，原因在于，F⁃LSTM模型对时序特征单独训练，更好地关注了时序因素的影响，反之，LSTM并没有很好地学习到设备故障的时序规律；另外，F⁃LSTM大大减少了模型计算量，与LSTM相比大大减小了训练时间。 时序长度/h 模型 训练时间/min 平均损失 Precision Recall F 1 2 20 LSTM(256) 7 432 2.213 0.848 0.864 0.856 F⁃LSTM(256) 785 1.743 0.852 0.883 0.867 2 60 LSTM(256) 8 934 1.928 0.851 0.875 0.863 F⁃LSTM(256) 997 1.560 0.862 0.890 0.876 2 100 LSTM(256) 10 043 1.780 0.853 0.872 0.862 F⁃LSTM(256) 1 389 1.453 0.886 0.904 0.895 3 结 语 1 对于设备故障预测问题，现有的方法大都采用传统的机器学习方法，而传统学习方法缺少对时序因素的考虑，无法做到对未来某一段时间设备状态进行预测。本文基于此，提出利用序列模型预测设备故障，但是主流的序列模型（LSTM）会因为存在大量的设备属性非时序特征而带来大量的计算。为了解决这个问题，本文采用基于LSTM的优化模型（F⁃LSTM）对设备故障进行预测，F⁃LSTM模型利用LSTM网络学习设备发生故障的时序规律，利用前向神经网络学习设备属性对发生故障的影响因素，二者相互并行计算，加快了模型训练的速度。同时采用带权重的损失函数，控制模型学习的重点。试验结果表明，与Xgboost模型相比，F⁃LSTM模型提高了设备故障预测的能力；F⁃LSTM模型与LSTM模型相比，大大减小了模型计算量，加快了网络学习速度，同时也提高了设备故障预测的能力。 参 考 文 献 罗珊 . 电力系统设备故障诊断与监测分析 ［J］. 科技创新与应用 ， 2012 （ 7 ）： 73 . 电力系统设备故障诊断与监测分析 LUO S . Fault diagnosis and monitoring analysis of power system equipment ［J］. Technological Innovation and Application ， 2012 （ 7）： 73（Ch） . Fault diagnosis and monitoring analysis of power system equipment WANG M ， KONG B ， LI X ， et al . Grey prediction theory and extension strategy⁃based excitation control for generator ［J］. International Journal of Electrical Power & Energy Systems ， 2016 ， 79 ： 188 - 195 . DOI： 10.1016/j.ijepes.2016.01.014 http://dx.doi.org/10.1016/j.ijepes.2016.01.014 . Grey prediction theory and extension strategy⁃based excitation control for generator CHEN K Y ， CHEN L S ， CHEN M C ， et al . Using SVM based method for equipment fault detection in a thermal power plant ［J］. Computers in Industry ， 2011 ， 62 （ 1 ）： 42 - 50 . DOI： 10.1016/j.compind.2010.05.013 http://dx.doi.org/10.1016/j.compind.2010.05.013 . Using SVM based method for equipment fault detection in a thermal power plant ILLIAS H A ， CHAI X R ， MOKHLIS H . Transformer incipient fault prediction using combined artificial neural network and various particle swarm optimization techniques ［J］. Plos One ， 2015 ， 10 （ 6 ）： e0129363 . DOI： 10.1371/journal.pone.0129363 http://dx.doi.org/10.1371/journal.pone.0129363 . Transformer incipient fault prediction using combined artificial neural network and various particle swarm optimization techniques ZHANG D ， QIAN L ， MAO B ， et al . A data⁃driven design for fault detection of wind turbines using random forests and XGboost ［J］. IEEE Access ， 2018 ， 6 ： 21020 - 21031 . DOI： 10.1109/ACCESS.2018.2818678 http://dx.doi.org/10.1109/ACCESS.2018.2818678 . A data⁃driven design for fault detection of wind turbines using random forests and XGboost LIPTON Z C . A Critical Review of Recurrent Neural Networks for Sequence Learning ［DB/OL］. ［ 2018⁃09⁃30 ］. https：//arxiv.org/pdf/1506.00019v2.pdf https://arxiv.org/pdf/1506.00019v2.pdf . A Critical Review of Recurrent Neural Networks for Sequence Learning SHI X J ， CHEN Z R ， WANG H ， et al . Convolutional LSTM Network： A Machine Learning Approach for Precipitation Nowcasting ［DB/OL］ ［ 2018⁃09⁃30 ］. https：//www.researchgate.net/publication/278413880_Convolutional_LSTM_Network_A_Machine_Learning_Approach _for_Precipitation_Nowcasting https://www.researchgate.net/publication/278413880_Convolutional_LSTM_Network_A_Machine_Learning_Approach_for_Precipitation_Nowcasting . Convolutional LSTM Network： A Machine Learning Approach for Precipitation Nowcasting HOCHREITER S ， SCHMIDHUBER J . Long short⁃term memory ［J］. Neural Computation ， 1997 ， 9 （ 8 ）： 1735 - 1780 . Long short⁃term memory GRAVES A . Generating Sequences with Recurrent Neural Networks ［DB/OL］.［ 2018⁃10⁃11 ］. https：//arxiv.org/pdf/1308.0850v5.pdf https://arxiv.org/pdf/1308.0850v5.pdf . Generating Sequences with Recurrent Neural Networks CHEN T Q ， GUESTRIN C . Xgboost： A scalable tree boosting system ［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining . New York ： ACM ， 2016 ： 785 - 794 . DOI： 10.1145/2939672.2939785 http://dx.doi.org/10.1145/2939672.2939785 . Xgboost： A scalable tree boosting system LECUN Y ， BENGIO Y ， HINTON G . Deep learning ［J］. Nature ， 2015 ， 521 （ 7553 ）： 436 . DOI： 10.1038/nature14539 http://dx.doi.org/10.1038/nature14539 . Deep learning TIELEMAN T ， HINTON G . Divide the Gradient by a Running Average of Its Recent Magnitude ［R］. ［2017⁃04⁃21］ . https：//zh.coursera.org/learn/neuralnetworks/lecture/YQHki/rmsprop⁃divide⁃the⁃gradient⁃by⁃a⁃running⁃average⁃of⁃its⁃recent⁃magnitude. Divide the Gradient by a Running Average of Its Recent Magnitude 10.14188/j.1671-8836.2019.03.005 TN 95.853 A 1671-8836（2019）03-0263-06 YANG Jihai,LIU Yang,LIU Jie, et al .Parallel⁃Based F⁃LSTM model and Its Application in Power Communication Fault Prediction [J]. J Wuhan Univ （ Nat Sci Ed ）,2019,65(3):263-268. DOI: 10.14188/j.1671-8836.2019.03.005 http://dx.doi.org/10.14188/j.1671-8836.2019.03.005 (Ch). YANG Jihai,LIU Yang,LIU Jie,et al.Parallel⁃Based F⁃LSTM model and Its Application in Power Communication Fault Prediction [J].J Wuhan Univ（Nat Sci Ed）,2019,65(3):263-268. DOI:10.14188/j.1671-8836.2019.03.005(Ch). 杨济海,刘洋,刘杰, 等.基于并行的F⁃LSTM模型及其在电力通信设备故障预测中的应用[J].武汉大学学报（理学版）,2019,65(3):263-268. DOI:10.14188/j.1671-8836.2019.03.005 杨济海,刘洋,刘杰, 等.基于并行的F⁃LSTM模型及其在电力通信设备故障预测中的应用[J].武汉大学学报（理学版）,2019,65(3):263-268. DOI:10.14188/j.1671-8836.2019.03.005 国家自然科学基金青年基金（61502350） 2018-10-21 2019-06-24 2020-11-28 武汉大学学报（理学版） 3 65