基于改进NARX神经网络算法的光伏发电功率短期预测

基于改进NARX神经网络算法的光伏发电功率短期预测 Short-Term Forecast for Photovoltaic Power Generation Based on Improved NARX Neural Network Algorithm 1 first-author 朱 想，男，博士生，现从事微电网技术研究。E-mail： 272234957@qq.com 朱 想，男，博士生，现从事微电网技术研究。E-mail： 272234957@qq.com 272234957@qq.com 2 1 1 天津大学 智能电网教育部重点实验室，天津 300000 天津大学 智能电网教育部重点实验室，天津 300000 Key Laboratory of Smart Grid of Ministry of Education， Tianjin University， Tianjin 300000，China Key Laboratory of Smart Grid of Ministry of Education， Tianjin University， Tianjin 300000，China 武汉大学 计算机学院，湖北 武汉 430072 武汉大学 计算机学院，湖北 武汉 430072 School of Computer Science， Wuhan University， Wuhan 430072，Hubei，China School of Computer Science， Wuhan University， Wuhan 430072，Hubei，China 为准确地预测光伏发电功率，节约资源，提出一种基于改进非线性自回归（nonlinear autoregressive with external input，NARX）神经网络算法的光伏发电功率短期预测模型。通过皮尔森相关分析选择影响发电功率的环境因素，利用遗传算法（GA）优化受限玻耳兹曼机（RBM）模型参数，避免陷入局部最优；利用优化后的RBM模型初始化NARX神经网络的参数。实例预测表明，改进NARX神经网络算法对光伏发电功率短期预测精度更高，收敛速度更快。 In order to accurately predict the amount of photovoltaic power generation and save resources, we proposed a short-term forecast model for photovoltaic power generation (PVPG). This model was based on an improved NARX（nonlinear autoregressive with external input） neural network algorithm. Our study analyzed environmental factors through Pearson correlation analysis. In order to avoid falling into local optimum, our research used genetic algorithm (GA) to optimize the parameters of the restricted Boltzmann machine (RBM). The optimized RBM model used to initialize the parameters of NARX. Experiments show that that our algorithm obviously higher accuracy and the convergence time is shorter than the existing methods. 光伏发电 遗传算法 皮尔森相关分析 受限玻耳兹曼机 NARX神经网络 photovoltaic power generation genetic algorithm Pearson correlation analysis restricted Boltzmann machine NARX （nonlinear autoregressive with external input） neural network 朱想,丁云龙,郭力, 等.基于改进NARX神经网络算法的光伏发电功率短期预测[J].武汉大学学报（理学版）,2020,66(5):505-511. DOI:10.14188/j.1671-8836.2019.0451. 0　 引 言 1 光伏发电系统受环境影响较为明显，具体表现在波动性、不确定性和间歇性 ［ 1 1 ］ ，由于环境的变化会直接影响到光伏发电功率的多少，从而降低了光伏发电功率的预测精度。因此，建立行之有效的光伏发电功率短期预测模型对电网的安全调度和经济管理具有重要的意义。 学者们对光伏发电功率预测进行了不同层次的研究，其研究方法主要包括两种：统计预测方法和人工智能预测方法。在统计预测方法方面，文献［ 2 2 ］建立多元线性回归预测算法进行光伏发电功率预测，模型的输入参数为风速和历史光伏发电功率。文献［ 3 3 ］建立灰色神经网络组合模型，将温度和太阳能总辐射强度作为模型输入参数，预测未来24小时的光伏发电功率。在人工智能预测方法方面，文献［ 4 4 ］采用距离分析法将发电功率与气象因素关联起来，输入因子确定为温度和湿度，建立基于BP（back propagation）神经网络的发电功率短期预测模型。文献［ 5 5 ］建立基于循环神经网络（recurrent neural network， RNN）的光伏发电功率预测模型，输入参数为辐照强度、温度、压力、时间和湿度。文献［ 6 6 ］将不同天气类型下的辐照强度作为特征参数，建立基于支持向量机（support vector machine， SVM）的天气状态模式识别模型。文献［ 7 7 ］建立基于动态贝叶斯网络的光伏发电短期概率预测模型，通过分析影响光伏发电功率的多种环境因素及各因素之间的关联，再依据当前时刻的影响因素预测短期光伏发电功率的概率分布。 文献［ 8 8 ］提出基于NARX（nonlinear autoregressive with external input）神经网络的光伏发电功率预测方法，将太阳能总辐射和电池板温度作为光伏发电功率的影响因素。与传统BP神经网络相比，NARX神经网络增加了时间序列的学习能力，但其在一定程度上继承了广义神经网络的特征，存在收敛速度慢，容易陷入局部最优等缺点。文献［ 9 9 ］提出基于改进深度受限玻尔兹曼机（restricted Boltzmann machine， RBM）算法的光伏发电短期功率概率预测模型，利用遗传算法（genetic algorithm，GA）对深度RBM进行参数优化，解决了深度RBM陷入局部最优收敛速度慢等问题。本文在文献［ 9 9 ， 10 10 ］的基础上，建立基于改进NARX神经网络（GARBM-NARX）的光伏发电功率短期预测模型，以一个月的历史数据作为模型的样本数据，每隔15分钟预测一次光伏发电功率的值。 1　 影响光伏发电功率的因素 1 影响光伏发电功率的因素主要体现在环境因素上，包括总辐射、温度、风速、风向、湿度和散射。由于这些环境因素对光伏发电功率的影响程度各有不同，因此选取合适的环境因素作为预测模型的参数尤为重要。本文采用皮尔森相关系数分析发电功率与各影响因素之间的相关性，其公式如下 <math display="block" id="M1"><mover accent="true"><mrow><mi>r</mi></mrow><mo stretchy="true">̂</mo></mover><mo>=</mo><mfrac><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></msubsup><mrow><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><mover><mrow><mi>a</mi></mrow><mo stretchy="true">¯</mo></mover><mo stretchy="false">)</mo><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><mover><mrow><mi>b</mi></mrow><mo stretchy="true">¯</mo></mover><mo stretchy="false">)</mo></mrow></mrow><mrow><mroot><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></msubsup><mrow><mo stretchy="false">(</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub><msup><mrow><mo>-</mo><mover><mrow><mi>a</mi></mrow><mo stretchy="true">¯</mo></mover><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow><mrow/></mroot><mroot><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></msubsup><mrow><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub><msup><mrow><mo>-</mo><mover><mrow><mi>b</mi></mrow><mo stretchy="true">¯</mo></mover><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow><mrow/></mroot></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558210&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558207&type= 53.93266296 19.21933365 其中， <math id="M2"><mi>a</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558219&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558214&type= 1.86266661 2.79399991 表示环境因素， <math id="M3"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558229&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558224&type= 1.86266661 2.79399991 表示光伏发电功率（kW）， <math id="M4"><mover><mrow><mi>a</mi></mrow><mo stretchy="true">¯</mo></mover><mo>=</mo><mfrac><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></msubsup><mrow><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow><mrow><mi>n</mi></mrow></mfrac><mo>,</mo><mover><mrow><mi>b</mi></mrow><mo stretchy="true">¯</mo></mover><mo>=</mo><mfrac><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></msubsup><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mrow><mrow><mi>n</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558238&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558234&type= 33.95133591 12.27666664 。 <math id="M5"><mover accent="true"><mrow><mi>r</mi></mrow><mo stretchy="true">̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558243&type= 1.52399993 2.79399991 的取值区间为［ <math id="M6"><mo>-</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558258&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558253&type= 3.72533321 2.79399991 1，1］，若 <math id="M7"><mover accent="true"><mrow><mi>r</mi></mrow><mo stretchy="true">̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558268&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558263&type= 1.52399993 2.79399991 大于0，则说明 <math id="M8"><mi>a</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558278&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558272&type= 1.86266661 2.79399991 和 <math id="M9"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558290&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558285&type= 1.86266661 2.79399991 是正相关关系，否则为负相关关系。各环境因素的皮尔森相关系数计算结果如 表1 表1 所示。 因素 <math id="M10"><mover accent="true"><mrow><mi mathvariant="bold-italic">r</mi></mrow><mo stretchy="true">̂</mo></mover></math> 总辐射 0.844 温度 0.425 风速 0.273 湿度 0.107 风向 0.062 散射 0.047 由 表1 表1 得出的结果可知，总辐射、温度和风速与光伏发电功率表现出较强的相关性，其余影响因素的相关性较弱，因此本文将这三种因素作为所建立的预测模型输入参数，并且将求得的相关系数与样本数据进行归一化处理。 2　 预测模型的算法设计 1 2.1　原始数据预处理 2 由于参数总辐射、温度和风速在数量级上存在一定差异，因此需要对数据进行预处理，本文采用归一化的数据预处理方式。归一化公式为 <math display="block" id="M11"><msub><mrow><mi>Z</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi>Z</mi><mo>-</mo><msub><mrow><mi>Z</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow><mrow><msub><mrow><mi>Z</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>-</mo><msub><mrow><mi>Z</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558306&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558303&type= 26.07733345 8.46666718 其中 <math id="M12"><mi>Z</mi><mi>、</mi><msub><mrow><mi>Z</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mi>、</mi><msub><mrow><mi>Z</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558315&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558311&type= 17.52599907 3.97933340 分别表示原始输入数据、原始输入数据最小和最大值。 对原始数据归一化后，通过预测模型输出的值需要进行反归一化，反归一化公式如下 <math display="block" id="M13"><mi>Z</mi><mo>=</mo><msub><mrow><mi>Z</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>Z</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>-</mo><msub><mrow><mi>Z</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>Z</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558325&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558319&type= 40.63999939 4.48733330 2.2　遗传算法优化受限玻耳兹曼机 2 文献［ 9 9 ］建立GA优化深度RBM概率预测模型，利用GA来优化深度RBM的初始参数值。本文采用GA优化RBM（GA-RBM）的初始参数。 GA是一种随机化的全局寻优算法。其借鉴生物进化的思想，通过遗传算子的操作对种群进行连续迭代，直至达到最优解。 RBM是两层神经网络，一个可见层，一个隐藏层。它具有层内神经元间无连接，层间神经元全连接的特性 ［ 10 10 ］ 。其结构如 图1 图1 所示。 可见层节点作为RBM模型的输入，隐藏层节点用于挖掘数据集中的抽象特征。 <math id="M14"><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558348&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558343&type= 2.62466669 3.72533321 为可见层中第 i 个神经元的状态， <math id="M15"><msub><mrow><mi>h</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558357&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558353&type= 2.62466669 3.72533321 为隐藏层中第 j 个神经元的状态，对于可见层的 <math id="M16"><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558365&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558361&type= 2.62466669 3.72533321 和隐藏层的 <math id="M17"><msub><mrow><mi>h</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558373&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558369&type= 2.62466669 3.72533321 （ <math id="M18"><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><mo stretchy="false">{</mo><mn mathvariant="normal">0,1</mn><mo stretchy="false">}</mo><mo>,</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558382&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558380&type= 18.20333290 4.48733330 <math id="M19"><msub><mrow><mi>h</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>∈</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558392&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558388&type= 6.09599972 4.06400013 <math id="M20"><mo stretchy="false">{</mo><mn mathvariant="normal">0,1</mn><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558400&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558396&type= 9.05933285 3.55599999 ）。输入归一化的数据后，RBM通过对条件概率 <math id="M21"><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>/</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558411&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558404&type= 13.03866673 4.57200003 的计算，求出隐藏层的输出 <math id="M22"><msub><mrow><mi>h</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558418&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558415&type= 2.62466669 3.72533321 ，再根据隐藏层 <math id="M23"><msub><mrow><mi>h</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558426&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558422&type= 2.62466669 3.72533321 和条件概率 <math id="M24"><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>/</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558435&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558431&type= 13.03866673 4.57200003 计算可见层的 <math id="M25"><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558442&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558438&type= 2.62466669 3.72533321 ，将其与原始数据集生成的可见层向量相比较，再不断调整参数直到最新的可见层向量与原始数据集生成的可见层向量不断靠近，进而达到误差最小化 ［ 11 11 ］ 。 RBM是基于能量模型的算法，对于给定状态的 <math id="M26"><mo stretchy="false">(</mo><mi mathvariant="bold-italic">v</mi><mo>,</mo><mi mathvariant="bold-italic">h</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558450&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558446&type= 8.97466660 3.55599999 ，能量模型定义如下 <math display="block" id="M27"><msub><mrow><mi>E</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">v</mi><mo>,</mo><mi mathvariant="bold-italic">h</mi><mo stretchy="false">)</mo><mo>=</mo><mo>-</mo><mo stretchy="false">(</mo><munderover><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>v</mi></mrow></msub></mrow></munderover><mrow><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>+</mo><munderover><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>h</mi></mrow></msub></mrow></munderover><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi>j</mi></mrow></msub><msub><mrow><mi>h</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>+</mo><munderover><mo>∑</mo><mrow><mtext> </mtext><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>v</mi></mrow></msub></mrow></munderover><mrow><munderover><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>h</mi></mrow></msub></mrow></munderover><mrow><msub><mrow><mi>h</mi></mrow><mrow><mi>j</mi></mrow></msub><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></mrow></mrow></mrow><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558461&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558456&type= 75.52266693 9.73666668 其中， <math id="M28"><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558469&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558466&type= 4.23333359 3.72533321 为第 <math id="M29"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558482&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558477&type= 1.10066664 2.79399991 个可见层单元和第 <math id="M30"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558492&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558487&type= 1.10066664 3.64066648 个隐藏层单元之间连接权重， <math id="M31"><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558502&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558497&type= 2.62466669 3.72533321 为可见层单元的偏置值， <math id="M32"><msub><mrow><mi>b</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558511&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558505&type= 2.62466669 3.72533321 为隐藏层单元的偏置值。当确定了RBM模型的网络参数后，就可以依据能量函数计算矢量 <math id="M33"><mo stretchy="false">(</mo><mi mathvariant="bold-italic">v</mi><mo>,</mo><mi mathvariant="bold-italic">h</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558521&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558516&type= 8.97466660 3.55599999 的联合概率分布 <math id="M34"><msub><mrow><mi>p</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">v</mi><mo>,</mo><mi mathvariant="bold-italic">h</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558530&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558527&type= 12.61533356 4.65666676 ，具体公式如下 <math display="block" id="M35"><msub><mrow><mi>p</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">v</mi><mo>,</mo><mi mathvariant="bold-italic">h</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><msup><mrow><mi mathvariant="normal">e</mi></mrow><mrow><mo>-</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">v</mi><mo>,</mo><mi mathvariant="bold-italic">h</mi><mo stretchy="false">)</mo></mrow></msup></mrow><mrow><msub><mrow><mi>Z</mi></mrow><mrow><mi>θ</mi></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558536&type= 29.71799850 9.65199947 其中， <math id="M36"><msub><mrow><mi>Z</mi></mrow><mrow><mi>θ</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558555&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558551&type= 3.47133350 3.72533321 为归一化因子， <math id="M37"><msub><mrow><mi>Z</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi mathvariant="bold-italic">v</mi><mo>,</mo><mi mathvariant="bold-italic">h</mi></mrow></munder><mrow><msup><mrow><mi mathvariant="normal">e</mi></mrow><mrow><mo>-</mo><msub><mrow><mi>E</mi></mrow><mrow><mi>θ</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">v</mi><mo>,</mo><mi mathvariant="bold-italic">h</mi><mo stretchy="false">)</mo></mrow></msup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558567&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558562&type= 24.97666740 7.45066643 。 根据RBM模型层内神经元间无连接，层间神经元全连接的特性，当可见层单元的状态为固定值时，第 <math id="M38"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558577&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558572&type= 1.10066664 3.64066648 个隐藏层单元的激活状态概率值为 <math display="block" id="M39"><mi>p</mi><mo stretchy="false">(</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">|</mo><mi mathvariant="bold-italic">v</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi><mo stretchy="false">(</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>i</mi></mrow></munder><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558589&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558582&type= 50.71533203 6.60399961 其中， <math id="M40"><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><mo>-</mo><mi>x</mi><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558599&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558594&type= 44.70399857 8.46666718 。 同理可求出从隐藏层神经元到可见层神经元的概率 <math display="block" id="M41"><mi>p</mi><mo stretchy="false">(</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">|</mo><mi mathvariant="bold-italic">h</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi><mo stretchy="false">(</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>j</mi></mrow></munder><mrow><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><msub><mrow><mi>h</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow><mo>+</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558610&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558605&type= 50.79999924 7.02733326 训练RBM的首要目的就是要找到一组参数 <math id="M42"><mi>θ</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558621&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558615&type= 22.94466591 4.48733330 ，使其能够更精确的拟合训练数据集。假设训练数据集集合为 <math id="M43"><mi>S</mi><mo>=</mo><mo stretchy="false">{</mo><msup><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo>,</mo><mo>…</mo><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>n</mi></mrow></msup><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558630&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558624&type= 28.95599937 3.81000018 ，其中 <math id="M44"><msup><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msup><mo>=</mo><mo stretchy="false">(</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><mo>…</mo><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>e</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msubsup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>,</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>n</mi></mrow><mrow><mi>e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558641&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558637&type= 55.11800385 5.50333357 ， <math id="M45"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558651&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558645&type= 1.10066664 2.79399991 为训练样本数目。 RBM模型采用对数损失函数的方法求参数 <math id="M46"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558663&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558658&type= 1.77800000 2.79399991 ，损失函数为 L ，公式如下 <math display="block" id="M47"><mi>L</mi><mo stretchy="false">(</mo><mi>θ</mi><mo stretchy="false">)</mo><mo>=</mo><mi>L</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">W</mi><mo>,</mo><mi mathvariant="bold-italic">a</mi><mo>,</mo><mi mathvariant="bold-italic">b</mi><mo stretchy="false">)</mo><mo>=</mo><mo>-</mo><munderover><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">n</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">(</mo><msup><mrow><mi>V</mi></mrow><mrow><mi>i</mi></mrow></msup><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558674&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558669&type= 57.91199875 8.38199997 由于 <math id="M48"><munderover><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover><mrow><mi mathvariant="normal">l</mi><mi mathvariant="normal">n</mi><mo stretchy="false">(</mo><mi>p</mi><mo stretchy="false">(</mo><msup><mrow><mi>V</mi></mrow><mrow><mi>i</mi></mrow></msup><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558686&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558681&type= 20.48933411 8.38199997 的计算过程较为繁琐，RBM模型中可采用 <math id="M49"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558697&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558692&type= 1.69333339 2.79399991 步对比散度CD- <math id="M50"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558709&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558702&type= 1.69333339 2.79399991 （contrastive divergence- <math id="M51"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558720&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558714&type= 1.69333339 2.79399991 steps）算法简化计算，具体过程如下：对 <math id="M52"><mo>∀</mo><mi>v</mi><mo>∈</mo><mi>S</mi><mo>,</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558731&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558725&type= 11.85333347 3.30199981 从样本 <math id="M53"><msup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558742&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558736&type= 3.04799986 3.04799986 开始，进行 <math id="M54"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558752&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558747&type= 1.69333339 2.79399991 步Gibbs采样。其中第 <math id="M55"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558762&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558756&type= 1.10066664 2.79399991 （ <math id="M56"><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558777&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558771&type= 20.74333382 3.21733332 ）步Gibbs采样过程如 图2 图2 所示。 第 <math id="M59"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558827&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558824&type= 1.10066664 2.79399991 步中 <math id="M60"><msup><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558838&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558833&type= 2.62466669 3.04799986 和 <math id="M61"><msup><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558850&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558842&type= 2.70933342 3.04799986 的计算公式为 <math display="block" id="M62"><msup><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msup><mo>~</mo><mi>p</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">h</mi><mo stretchy="false">|</mo><msup><mrow><mi>v</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558859&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558853&type= 20.23533440 3.97933340 <math display="block" id="M63"><msup><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msup><mo>~</mo><mi>p</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">v</mi><mo stretchy="false">|</mo><msup><mrow><mi>h</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558872&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558864&type= 20.06599998 3.97933340 得到样本 <math id="M64"><msup><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558885&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558879&type= 2.62466669 3.04799986 后，再用（11）~（13）式计算参数 <math id="M65"><mi>θ</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558895&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558890&type= 22.94466591 4.48733330 的值 <math display="block" id="M66"><mo>∆</mo><mi mathvariant="bold-italic">w</mi><mo>=</mo><mfrac><mrow><mo>∂</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">n</mi><mi>p</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">v</mi><mo stretchy="false">)</mo></mrow><mrow><mo>∂</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></mfrac><mo>≈</mo><mi>p</mi><mo stretchy="false">(</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo stretchy="false">|</mo><msup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup><mo stretchy="false">)</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>j</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msubsup><mo>-</mo><mi>p</mi><mo stretchy="false">(</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo stretchy="false">|</mo><msup><mrow><mi>v</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>k</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558906&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558899&type= 77.63933563 8.55133343 <math display="block" id="M67"><mo>∆</mo><mi mathvariant="bold-italic">a</mi><mo>=</mo><mfrac><mrow><mo>∂</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">n</mi><mi>p</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">v</mi><mo stretchy="false">)</mo></mrow><mrow><mo>∂</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfrac><mo>≈</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msubsup><mo>-</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>k</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558917&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558912&type= 38.86199951 8.55133343 <math display="block" id="M68"><mo>∆</mo><mi mathvariant="bold-italic">b</mi><mo>=</mo><mfrac><mrow><mo>∂</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">n</mi><mi>p</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">v</mi><mo stretchy="false">)</mo></mrow><mrow><mo>∂</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfrac><mo>≈</mo><mi>p</mi><mo stretchy="false">(</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo stretchy="false">|</mo><msup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup><mo stretchy="false">)</mo><mo>-</mo><mi>p</mi><mo stretchy="false">(</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn><mo stretchy="false">|</mo><msup><mrow><mi>v</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558927&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558922&type= 68.91867065 8.55133343 通过CD- <math id="M69"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558937&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558932&type= 1.69333339 2.79399991 算法计算出 <math id="M70"><mo>∆</mo><mi mathvariant="bold-italic">w</mi><mo>,</mo><mo>∆</mo><mi mathvariant="bold-italic">a</mi><mo>,</mo><mo>∆</mo><mi mathvariant="bold-italic">b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558947&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558942&type= 18.96533394 3.30199981 的近似值后，再利用下式更新参数 <math id="M71"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558958&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558953&type= 1.77800000 2.79399991 <math display="block" id="M72"><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><msup><mrow><mi mathvariant="bold-italic">w</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>=</mo><msup><mrow><mi mathvariant="bold-italic">w</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>+</mo><mi>φ</mi><mo>∆</mo><mi mathvariant="bold-italic">w</mi></mtd></mtr><mtr><mtd><msup><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>=</mo><msup><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>+</mo><mi>φ</mi><mo>∆</mo><mi mathvariant="bold-italic">a</mi></mtd></mtr><mtr><mtd><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>k</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>=</mo><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>+</mo><mi>φ</mi><mo>∆</mo><mi mathvariant="bold-italic">b</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558969&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558964&type= 31.58066750 16.17133331 在整个迭代计算过程中，RBM模型不断更新参数 <math id="M73"><mi>θ</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558982&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558974&type= 22.94466591 4.48733330 的值，使得目标函数在迭代范围内取得最大值。 2.3　NARX神经网络 2 NARX神经网络是循环神经网络（RNN）中的一类，是一种具有记忆功能的网络 ［ 12 12 ］ 。与BP神经网络不同，NARX神经网络包含了多步输入输出的时延，这使NARX神经网络对历史数据敏感，具有动态存储功能，其网络模型定义为 <math display="block" id="M74"><msub><mrow><mi>y</mi></mrow><mrow><mi>n</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mi>f</mi><mo stretchy="false">[</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>n</mi><mo>-</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>;</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>,</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>n</mi><mo>-</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558993&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558987&type= 77.89333344 5.16466665 其中， <math id="M75"><msub><mrow><mi>y</mi></mrow><mrow><mi>n</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559007&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558999&type= 6.51933336 4.57200003 为网络的输出变量， <math id="M76"><mi>f</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559017&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559011&type= 1.10066664 3.64066648 为非线性函数， <math id="M77"><msub><mrow><mi>u</mi></mrow><mrow><mi>n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559028&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559022&type= 3.04799986 3.72533321 为模型的输入变量； <math id="M78"><msub><mrow><mi>y</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>n</mi><mo>-</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559039&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559033&type= 30.14133263 4.99533367 为模型的历史输出， <math id="M79"><msub><mrow><mi>u</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>,</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>n</mi><mo>-</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559049&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559043&type= 30.22600174 4.99533367 为模型时延后的输入变量。NARX神经网络结构如 图3 图3 所示。 NARX神经网络采用三层网络模型结构 ［ 13 13 ］ ，即输入层、隐含层和输出层。输入层向量为总辐射、温度和风速；输出层向量为有功功率。令 <math id="M80"><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi>'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559073&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559069&type= 5.16466665 3.97933340 为输入层第 <math id="M81"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559083&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559078&type= 1.10066664 2.79399991 个神经元到隐含层第 <math id="M82"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559096&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559091&type= 1.10066664 3.64066648 个元素的权重， <math id="M83"><msubsup><mrow><mi>a</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi>'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559112&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559102&type= 4.14866638 3.97933340 为隐含层神经元的偏置值， <math id="M84"><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mrow><mo>″</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559123&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559117&type= 5.16466665 3.97933340 为隐含层到输出层权重， <math id="M85"><msubsup><mrow><mi>b</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow><mrow><mi>'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559134&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559129&type= 4.14866638 3.97933340 为输出神经元的偏置值。NARX神经网络的目标就是通过多次训练样本数据以求出 <math id="M86"><mi>ψ</mi><mo>=</mo><mo stretchy="false">{</mo><msup><mrow><mi mathvariant="bold-italic">w</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>,</mo><mi mathvariant="bold-italic">w</mi><mo>″</mo><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>'</mi></mrow></msup><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559145&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559139&type= 28.70199966 3.97933340 最优权值系数。 2.4　GARBM-NARX算法设计 2 GARBM-NARX算法采用GA优化深度RBM，主要有以下两个优点，一是利用GA为RBM选择训练数据的维数；二是利用GA来设定RBM的隐单元个数 ［ 11 11 ］ 。采用优化后的RBM模型初始化NARX神经网络的权值和阈值，可以提高模型精度和训练速度。算法流程图如 图4 图4 所示。 1)　编码方式的选择 3 遗传算法的编码方式有二进制编码、实数编码以及浮点数编码。根据RBM模型参数的特性可知，参数 <math id="M87"><mi>θ</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559172&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559167&type= 22.94466591 4.48733330 的计算是一个连续且复杂的非线性优化问题。因此本文在优化RBM参数上选择采用浮点数编码方式，相比二进制编码它可以降低参数 <math id="M88"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559183&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559178&type= 1.77800000 2.79399991 的计算复杂性，提高计算效率。 2)　适应度函数的选择 3 针对RBM模型的个体适应度函数的设计需考虑以下两个因素：RBM模型对训练样本的似然程度和可见层单元维数对RBM的训练作用。对于第一个因素，用重构误差的方法来评价训练样本的似然程度，第 <math id="M89"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559193&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559188&type= 1.10066664 3.64066648 次迭代的重构误差如下 <math display="block" id="M90"><mi mathvariant="normal">E</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mo stretchy="false">(</mo><mi>j</mi><mo stretchy="false">)</mo><mo>=</mo><munderover><mo>∑</mo><mrow><mi>m</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>M</mi></mrow></munderover><mrow><munderover><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover><mrow><mo stretchy="false">|</mo><mtext> </mtext><msub><mrow><mi>P</mi></mrow><mrow><mi>m</mi><mo>,</mo><mi>i</mi></mrow></msub><mo>-</mo><msubsup><mrow><mi>P</mi></mrow><mrow><mi>m</mi><mo>,</mo><mi>i</mi></mrow><mrow><mi>'</mi></mrow></msubsup><mtext> </mtext><mo stretchy="false">|</mo></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559203&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559197&type= 48.00600052 8.46666718 其中， <math id="M91"><mi>M</mi><mo>,</mo><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559211&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559207&type= 8.04333305 3.21733332 分别是训练样本的个数和可见层的维数， <math id="M92"><msub><mrow><mi>P</mi></mrow><mrow><mi>m</mi><mo>,</mo><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559220&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559216&type= 5.67266655 3.72533321 为测试数据集中第 m 个样本第 <math id="M93"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559230&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559225&type= 1.10066664 2.79399991 维的数据值， <math id="M94"><msubsup><mrow><mi>P</mi></mrow><mrow><mi>m</mi><mo>,</mo><mi>i</mi></mrow><mrow><mi>'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559240&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559234&type= 5.67266655 3.97933340 为训练迭代后计算得到的第 m 个样本第 <math id="M95"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559245&type= 1.10066664 2.79399991 维的数据值。 对于第二个因素，可见层单元维数会影响整个模型的效率和精度，主要体现在以下两个方面： ① 过多的可见单元会影响RBM训练效率； ② 过少的可见单元难以确保训练数据涵盖特征信息量。 因此可将第 <math id="M96"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559262&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559256&type= 1.69333339 2.79399991 个个体的适应度函数定义如下 <math display="block" id="M97"><mi>F</mi><mo stretchy="false">(</mo><mi>k</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mo stretchy="false">(</mo><mi mathvariant="normal">E</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">r</mi></mrow><mrow><mi>K</mi></mrow></msub><mo>/</mo><mo stretchy="false">(</mo><mi>M</mi><mo>×</mo><mi>N</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559274&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559268&type= 49.10666656 4.57200003 其中， <math id="M98"><mi mathvariant="normal">E</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi><msub><mrow><mi mathvariant="normal">r</mi></mrow><mrow><mi>K</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559284&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559278&type= 9.73666668 3.72533321 为该个体经过第 Ｋ 次CD- k 算法迭代以后的重构误差， Ｍ 是训练样本的个数， Ｎ 是可见层的维数。 3)　RBM参数优化 3 利用GA，通过选择、交叉和变异三个操作不断更新RBM模型参数 <math id="M99"><mi>θ</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559294&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559289&type= 22.94466591 4.48733330 ，使其达到最优。 4)　NARX参数初始化 3 将优化后的参数 <math id="M100"><mi>θ</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559307&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559300&type= 22.94466591 4.48733330 与样本数据一起进行RBM训练，从而求得NARX神经网络参数 <math id="M101"><mi>ψ</mi><mo>=</mo><mo stretchy="false">{</mo><msup><mrow><mi mathvariant="bold-italic">w</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>,</mo><mi mathvariant="bold-italic">w</mi><mo>″</mo><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>'</mi></mrow></msup><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559316&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559311&type= 28.70199966 3.97933340 的初始值。具体操作过程为： 步骤1 确定RBM训练样本集合 S 、训练周期 J 、学习率 <math id="M102"><mi>η</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559328&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559324&type= 1.86266661 3.64066648 和CD- <math id="M103"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559339&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559333&type= 1.69333339 2.79399991 算法参数 <math id="M104"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559349&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559343&type= 1.69333339 2.79399991 ，初始参数 <math id="M105"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559359&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559353&type= 1.77800000 2.79399991 确定为经GA优化后的值。 步骤2 调用CD- <math id="M106"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559369&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559365&type= 1.69333339 2.79399991 算法生成 <math id="M107"><mo>∆</mo><mi mathvariant="bold-italic">w</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559380&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559374&type= 5.92666674 3.13266659 、 <math id="M108"><mo>∆</mo><mi mathvariant="bold-italic">a</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559390&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559384&type= 4.74133348 3.13266659 和 <math id="M109"><mo>∆</mo><mi mathvariant="bold-italic">b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559399&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559396&type= 4.74133348 3.13266659 ，并利用（14）式进行参数 <math id="M110"><mi>θ</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>,</mo><msub><mrow><mi>a</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559413&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559405&type= 22.94466591 4.48733330 的更新，在训练周期内确定最优参数 <math id="M111"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559422&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559417&type= 1.77800000 2.79399991 。 步骤3 选择一组样本数据经过RBM训练，将其预测结果作为NARX神经网络的输入，从而生成NARX初始参数 <math id="M112"><mi>ψ</mi><mo>=</mo><mo stretchy="false">{</mo><msup><mrow><mi mathvariant="bold-italic">w</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup><mo>,</mo><mi mathvariant="bold-italic">w</mi><mo>″</mo><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup><mo>,</mo><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559430&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559426&type= 28.70199966 3.97933340 。 5)　NARX神经网络训练 3 通过遗传算法和受限玻耳兹曼机优化得到NARX初始参数 <math id="M113"><mi>ψ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559442&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559436&type= 2.11666679 3.64066648 后，再进行NARX神经网络训练。其中，NARX输入层到隐含层的激活函数采用 <math id="M114"><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559451&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559445&type= 6.51933336 2.79399991 函数，隐含层到输出层的激活函数采用purelin函数，即线性函数 <math id="M115"><mi>f</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559461&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559456&type= 14.39333344 3.81000018 。利用莱文伯格-马夸特（Levenberg-Marquardt，LM） ［ 12 12 ］ 学习算法进行模型训练，在误差范围内不断更新参数，最终输出最优解。 3　 案 例 1 本文采用某光伏发电站2019年1月的实测数据及相关天气预报数据作为样本数据，对已建立的光伏发电预测模型进行有效性验证。共计样本数据8 264组，并将样本数据划分为10个互斥子集，且各子集容量接近，使用10折交叉验证法进行参数寻优，将其中的9个子集作为训练集，剩下的1个子集作为测试集，循环测试10次，将10次预测结果的均值作为模型的最终输出结果，以防止模型产生过拟合的风险。 采用本文提出的GARBM-NARX光伏发电功率短期预测模型，以历史光伏发电功率和环境因素中的总辐射、温度和风速作为模型的输入参数，输出为预测的光伏发电功率。模型分别在晴天、雨天和多云三种不同天气类型下进行预测，采样时间段取09：00~20：00，每隔15 min预测一次光伏发电功率。模型参数初始值详见 表2 表2 。 参数 设定值 GA种群规模 20 GA迭代次数 150 GA交叉概率 0.6 GA变异概率 0.15 RBM隐含层数 NARX阶数 4 9 图5 图5 为GA操作过程中种群适应度的变化曲线。从 图5 图5 可以看出，随着迭代次数的增加，种群中个体适应度和最优适应度均有减小的趋势，且两者在数值上的差异逐渐减小。这表明随着迭代次数的增加，种群之间的个体差异越来越小，RBM结构趋于最优化，进一步说明了GA优化RBM的正确性和可行性。 为验证GARBM-NARX的优越性，我们做了两个对比实验：1） 将GARBM-NARX与基于NARX神经网络算法模型进行对比，验证GARBM-NARX预测模型在训练速度上的提升；2） 将GARBM-NARX预测模型与GA-RBM预测模型的预测结果进行对比，验证GARBM-NARX预测模型在预测精度上的提升。 图6 图6 为GARBM-NARX和NARX模型同实际发电功率的结果对比图， 图7 图7 为两种模型分别与实际发电功率的误差比较图。从 图6 图6 和7中可以看出，优化后的NARX模型精度更高。根据统计，NARX耗时为13.131 s，GARBM-NARX耗时为7.153 s。这表明用GA和RBM去优化NARX神经网络有效地缩小了NARX参数寻优的范围，提高了预测模型的精度和效率。 GARBM-NARX与GA-RBM模型在晴天、多云和雨天天气类型下对发电功率预测的结果如图 8 8 ~ 10 10 所示。从结果中可以看出，GARBM-NARX在不同天气类型下都表现出较高的预测精确度，进一步验证了模型的可靠性。 表3 表3 显示了三种不同天气类型下的误差评价指标，分别是均方误差（MSE）、平均绝对误差（MAE）和平均绝对百分误差（MAPE） ［ 14 14 ］ 。从 表3 表3 中可以看出，在不同天气类型下，GARBM-NARX预测模型的各项指标均优于GA-RBM预测模型，性能提升的原因在于NARX神经网络在训练时考虑了数据的时序性，并将历史输出数据也作为输入数据带入模型中进行训练，得到的结果比GA优化RBM的预测模型精度更高。本文用GA和RBM去优化NARX神经网络，避免其陷入局部最小值，使得NARX神经网络更好的去拟合输入数据，提高了预测模型的精确性。 2 模型 3 晴天 3 多云 3 雨天 MSE MAE MAPE MSE MAE MAPE MSE MAE MAPE GA-RBM 0.044 2 0.175 4 0.176 7 0.082 1 0.210 1 0.264 1 0.084 6 0.315 6 0.246 2 GARBM-NARX 0.022 1 0.047 1 0.042 2 0.043 2 0.054 6 0.073 3 0.024 6 0.065 4 0.051 2 NARX 0.051 7 0.213 7 0.112 4 0.103 4 0.224 6 0.186 2 0.064 7 0.213 4 0.184 6 4　 结 语 1 为准确地预测光伏发电功率，本文建立了基于改进NARX神经网络算法的光伏发电功率短期预测模型GARBM-NARX，相比基于NARX神经网络预测模型，GARBM-NARX的训练耗时更短，收敛速度更快，预测精度更高，并且针对不同的天气类型，该模型都表现出较高的预测精度，案例分析验证了模型的正确性和可行性。 参考文献 丁明 ， 王伟胜 ， 王秀丽 ， 等 . 大规模光伏发电对电力系统影响综述 ［J］. 中国电机工程学报 ， 2014 ， 34 （ 1 ）： 1 - 14 . DOI： 10.13334/j.0258-8013.pcsee.2014.01.001． http://dx.doi.org/10.13334/j.0258-8013.pcsee.2014.01.001． 大规模光伏发电对电力系统影响综述 DING M ， WANG W S ， WANG X L ， et al . Review on the effect of large-scale PV generation on power systems ［J］． Proceedings of the CSEE ， 2014 ， 34 （ 1 ）： 1 - 14 . DOI： 10.13334/j.0258-8013.pcsee.2014.01.001（Ch）． http://dx.doi.org/10.13334/j.0258-8013.pcsee.2014.01.001（Ch）． Review on the effect of large-scale PV generation on power systems 张晓波 ， 张保会 ， 吴雄 . 风光预测后微电网的优化运行 ［J］. 电力自动化设备 ， 2016 ， 36 （ 3 ）： 21 - 25 . 风光预测后微电网的优化运行 ZHANG X B ， ZHANG B H ， WU X . Optimized operation of microgrid after wind and weather forecast ［J］. Electric Power Automation Equipment ， 2016 ， 36 （ 3 ）： 21 - 25 （Ch） . Optimized operation of microgrid after wind and weather forecast 王守相 ， 张娜 . 基于灰色神经网络组合模型的光伏短期出力预测 ［J］. 电力系统自动化 ， 2012 ， 36 （ 19 ）： 37 - 41 . 基于灰色神经网络组合模型的光伏短期出力预测 WANG S X ， ZHANG N . Prediction of short-term photovoltaic output based on grey neural network combined model ［J］. Automation of Electric Power Systems ， 2012 ， 36 （ 19 ）： 37 - 41 （Ch） . Prediction of short-term photovoltaic output based on grey neural network combined model 代倩 ， 段善旭 ， 蔡涛 ， 等 . 基于天气类型聚类识别的光伏系统短期无辐照度发电预测模型研究 ［J］. 中国电机工程学报 ， 2011 ， 31 （ 34 ）： 28 - 35 . 基于天气类型聚类识别的光伏系统短期无辐照度发电预测模型研究 DAI Q ， DUAN S X ， CAI T ， et al . Short-term PV generation system forecasting model without irradiation based on weather type clustering ［J］. Proceedings of the CSEE ， 2011 ， 31 （ 34 ）： 28 - 35 （Ch） . Short-term PV generation system forecasting model without irradiation based on weather type clustering YONA A ， SENJYU T ， FUNABASHI T . Application of recurrent neural network to short-term-ahead generating power forecasting for photovoltaic system ［C］// IEEE Power Engineering Society General Meeting . Piscataway ： IEEE ， 2007 . DOI： 10.1109/PES.2007.386072 http://dx.doi.org/10.1109/PES.2007.386072 . Application of recurrent neural network to short-term-ahead generating power forecasting for photovoltaic system 王飞 ， 米增强 ， 甄钊 ， 等 . 基于天气状态模式识别的光伏电站发电功率分类预测方法 ［J］. 中国电机工程学报 ， 2013 ， 33 （ 34 ）： 75 - 82 . 基于天气状态模式识别的光伏电站发电功率分类预测方法 WANG F ， MI Z Q ， ZHEN Z ， et al . A classified forecasting approach of power generation for photovoltaic plants based on weather condition pattern recognition ［J］. Proceedings of the CSEE ， 2013 ， 33 （ 34 ）： 75 - 82 （Ch） . A classified forecasting approach of power generation for photovoltaic plants based on weather condition pattern recognition 董雷 ， 周文萍 ， 张沛 ， 等 . 基于动态贝叶斯网络的光伏发电短期概率预测 ［J］. 中国电机工程学报 ， 2013 ， 33 （ 增刊 1 ）： 38 - 45 . 基于动态贝叶斯网络的光伏发电短期概率预测 DONG L ， ZHOU W P ， ZHANG P ， et al . Short-term photovoltaic output forecast based on dynamic bayesian network theory ［J］. Proceedings of the CSEE ， 2013 ， 33（add 1）：38-45（Ch） . Short-term photovoltaic output forecast based on dynamic bayesian network theory 付青 ， 单英浩 ， 朱昌亚 . 基于NARX神经网络的光伏发电 功率预测研究 ［J］. 电气传动 ， 2016 ， 46 （ 4 ）： 42 - 45 . 基于NARX神经网络的光伏发电 功率预测研究 FU Q ， SHAN Y H ， ZHU C Y . Generated power forecasting for photovoltaic system based on NARX neural network ［J］. Electric Drive ， 2016 ， 46 （ 4 ）： 42 - 45 （Ch） . Generated power forecasting for photovoltaic system based on NARX neural network 王继东 ， 冉冉 ， 宋智林 . 基于改进深度受限玻尔兹曼机算法的光伏发电短期功率概率预测 ［J］. 电力自动化设备 ， 2018 ， 38 （ 5 ）： 43 - 49 . DOI： 10.16081/j.issn.1006-6047.2018.05.006 http://dx.doi.org/10.16081/j.issn.1006-6047.2018.05.006 . 基于改进深度受限玻尔兹曼机算法的光伏发电短期功率概率预测 WANG J D ， RAN R ， SONG Z L . Probability prediction of short-term power of photovoltaic power generation based on improved depth-limited Boltzmann machine algorithm ［J］. Electric Power Automation Equipment ， 2018 ， 38 （ 5 ）： 43 - 49 . DOI： 10.16081/j.issn.1006-6047.2018.05.006（Ch http://dx.doi.org/10.16081/j.issn.1006-6047.2018.05.006（Ch ）. Probability prediction of short-term power of photovoltaic power generation based on improved depth-limited Boltzmann machine algorithm 陆萍 ， 陈志峰 ， 施连敏 . RBM学习方法对比 ［J］. 计算机时代 ， 2014 ， 11 ： 10 - 13 . RBM学习方法对比 LU P ， CHEN Z F ， SHI L M . RBM learning method comparison ［J］. Computer Era ， 2014 ， 11：10-13（Ch） . RBM learning method comparison 刘凯 ， 张立民 ， 孙永威 . 基于遗传算法的RBM优化设计 ［J］. 微电子学与计算机 ， 2015 ， 32 （ 6 ）： 2 - 3 . 基于遗传算法的RBM优化设计 LIU K ， ZHANG L M ， SUN Y W . RBM optimization based on genetic algorithms ［J］. Microelectronics & Computer ， 2015 ， 32 （ 6 ）： 2 - 3 （Ch） . RBM optimization based on genetic algorithms CORUH S ， GEYIKCI F ， KILIC E ， et al . The use of NARX neural network for modeling of adsorption of zinc ions using activated almond shell as a potential biosorbent ［J］. Bioresource Technology ， 2014 ， 151 （ 1 ）： 406 - 410 . The use of NARX neural network for modeling of adsorption of zinc ions using activated almond shell as a potential biosorbent 潘丽莎 ， 程晓卿 ， 秦勇 ， 等 . 基于NARX神经网络的轮重减载率预测 ［J］. 铁道车辆 ， 2012 ， 50 （ 9 ）： 4 - 7 . 基于NARX神经网络的轮重减载率预测 PAN L S ， CHENG X Q ， QIN Y ， et al . Prediction of wheel load shedding rate based on NARX neural network ［J］. Railway Vehicles ， 2012 ， 50 （ 9 ）： 4 - 7 （Ch） . Prediction of wheel load shedding rate based on NARX neural network MUHAMMAD J ， ALI S M ， BILAL K ， et al . Genretic algorithm-based non-linear auto-regressive with exogenous inputs neural network short-term and medium-term uncertainty modelling and prediction for electrical load and wind speed ［J］. The Journal of Engineering ， 2018 （ 8 ）： 721 - 729 . DOI： 10.1049/joe.2017.0873 http://dx.doi.org/10.1049/joe.2017.0873 . Genretic algorithm-based non-linear auto-regressive with exogenous inputs neural network short-term and medium-term uncertainty modelling and prediction for electrical load and wind speed 10.14188/j.1671-8836.2019.0451 TP391 A 1671-8836（2020）05-0505-07 ZHU Xiang,DING Yunlong,GUO Li, et al .Short-Term Forecast for Photovoltaic Power Generation Based on Improved NARX Neural Network Algorithm [J]. J Wuhan Univ （ Nat Sci Ed ）,2020,66(5):505-511. DOI: 10.14188/j.1671-8836.2019.0451 http://dx.doi.org/10.14188/j.1671-8836.2019.0451 (Ch). ZHU Xiang,DING Yunlong,GUO Li,et al.Short-Term Forecast for Photovoltaic Power Generation Based on Improved NARX Neural Network Algorithm [J].J Wuhan Univ （Nat Sci Ed）,2020,66(5):505-511. DOI:10.14188/j.1671-8836.2019.0451(Ch). 朱想,丁云龙,郭力, 等.基于改进NARX神经网络算法的光伏发电功率短期预测[J].武汉大学学报（理学版）,2020,66(5):505-511. DOI:10.14188/j.1671-8836.2019.0451 朱想,丁云龙,郭力, 等.基于改进NARX神经网络算法的光伏发电功率短期预测[J].武汉大学学报（理学版）,2020,66(5):505-511. DOI:10.14188/j.1671-8836.2019.0451 国家自然科学基金（51907140） 2019-12-12 2020-10-24 2020-12-15 武汉大学学报（理学版） 5 66