基于EEMD⁃Transformer模型的舆情分析：以COVID⁃19舆情为例

基于EEMD⁃Transformer模型的舆情分析：以COVID⁃19舆情为例 Public Opinion Analysis Based on EEMD⁃Transformer Model： Taking COVID⁃19 Public Opinion as an Example 1 first-author 徐 阳，男，硕士生，现从事舆情分析研究。E-mail：Xuyang08@sues.edu.cn 徐 阳，男，硕士生，现从事舆情分析研究。E-mail：Xuyang08@sues.edu.cn Xuyang08@sues.edu.cn 1 1 1 1 上海工程技术大学 电子电气工程学院，上海 201620 上海工程技术大学 电子电气工程学院，上海 201620 School of Electronic and Electrical Engineering， Shanghai University of Engineering Science， Shanghai 201620，China School of Electronic and Electrical Engineering， Shanghai University of Engineering Science， Shanghai 201620，China 现有的舆情分析模型，存在滞后性和不准确性，个体选择影响舆情预测的特征具有一定的主观性和不确定性。本文将集合经验模态分解（ensemble empirical mode decomposition，EEMD）方法和Transformer注意力机制相结合，提出一种组合模型EEMD-Transformer。该模型利用EEMD分解技术，将原始舆情事件的热度值进行分解，将分解后的数据通过特征提取器Transformer进行特征提取，然后通过一个全连接神经网络做预测。以新型冠状病毒肺炎（corona virus disease 2019，COVID-19）疫情的舆情为例，用训练好的模型预测COVID-19的舆情走向。实验结果表明，本文提出的模型可以较准确预测舆情趋势，对于辅助政府和企业引导舆情事件发展有重要的作用。 The existing public opinion analysis models have hysteresis and inaccuracy, and the characteristics of individual choice affecting public opinion prediction are subjective and uncertain. In this paper, the ensemble empirical mode decomposition (EEMD) method and transformer attention mechanism are combined to propose a combined model EEMD⁃Transformer. The model decomposes the heat value of the original public opinion event by using EEMD decomposition technology. The decomposed data are extracted by feature extractor Transformer, and then predicted by a fully connected neural network. Taking the public opinion novel coronavirus pneumonia (corona virus disease 2019, COVID-19) as an example, the COVID-19 model is predicted by the trained model. The experimental results show that the research in this paper can accurately predict the trend of public opinion, which plays an important role in assisting the government and enterprises to guide the development of public opinion events. 舆情分析 集合经验模态分解 神经网络 新型冠状病毒肺炎 public opinion analysis ensemble empirical mode decomposition（EEMD） neural networks COVID-19（corona virus disease 2019） 徐阳,朱良奇,黄勃, 等.基于EEMD⁃Transformer模型的舆情分析：以COVID⁃19舆情为例[J].武汉大学学报（理学版）,2020,66(5):418-424. DOI:10.14188/j.1671-8836.2020.0147. 0　 引 言 1 由于突发传染病可预见性差、来势凶猛、波及面广、未来发展不明确，常常会引起公众的高度关注。2020年初暴发的新型冠状病毒肺炎（corona virus disease 2019，COVID-19）疫情传播速度快、感染范围广、防控难度大，在网络和移动终端已非常普及的情况下，有关COVID-19网络舆情热度值在很短时间内迅速上升。对突发传染病网络舆情事件进行管理是突发事件应急管理的重要内容之一，准确预测突发传染病网络舆情事件的热度值，及时研判网络舆情的发展趋势，对于网络舆情管理有着积极的意义。 网络舆情相关问题已经有众多的学者做了大量研究。在传统方法方面，游丹丹等 ［ 1 1 ］ 基于改进传统的粒子群算法和反向传播（back propagation，BP）神经网络来对网络舆情热度做预测。潘新 ［ 2 2 ］ 基于复杂网络研究舆情的传播问题，周耀明等 ［ 3 3 ］ 基于经验模态分解（empirical mode decomposition，EMD）算法进行网络舆情演化的分析和建模。赵剑华等 ［ 4 4 ］ 基于信息传播模型-SIR传染病模型的社交网络舆情传播动力学模型进行舆情分析。在机器学习方法方面，张一文等 ［ 5 5 ］ 基于贝叶斯网络建模的非常规危机事件网络研究舆情的预警问题，孙靖超等 ［ 6 6 ］ 基于循环神经网络建立舆情预测模型实现对网络舆情的预测。舒予等 ［ 7 7 ］ 基于小波分析与人工神经网络搭建预测模型进行舆情预测。魏德志等 ［ 8 8 ］ 基于混沌理论和改进径向基函数神经网络的模型完成网络舆情的预测。杜智涛等 ［ 9 9 ］ 利用灰色预测与模式识别方法构建网络舆情预测与预警模型实现对舆情的监控。 有关传染病的舆情研究中，安璐等 ［ 10 10 ］ 利用机器学习算法中的决策树模型对突发传染病在微博中的传播进行舆情预测；曾子明等 ［ 11 11 ］ 基于BP神经网络对突发传染病舆情热度趋势进行预测；霍飞等 ［ 12 12 ］ 研究了舆情监控和预测在重大传染病的预防控制工作中的应用。 综上所述，在网络舆情研究方面已有大量的研究成果，而且取得了一定的进展，但是无论是传统模型还是机器学习模型大多数都是利用原始数据建立模型，然后做预测。一般来说，原始数据存在各种各样的噪声，如果不进行预处理，会对模型的准确性造成影响。为了提高已有的传染病舆情热度的预测模型精准度，追踪COVID-19疫情舆情的变化，本文将集合经验模态分解（ensemble empirical mode decomposition，EEMD）方法 ［ 13 13 ］ 和Transformer注意力机制相结合，提出一种新的预测模型来预测突发传染病所引发的舆情。 1　 本文的模型 1 本文的模型分为三部分：1） 利用EEMD算法对获取的COVID-19舆情数据进行分解，得到不同频率下的时间序列，减少噪音对于真实数据的影响。2） 改进的Transformer模型，利用该模型中的多头注意力机制和多个编码器实现对时间序列数据的不同维度特征抽取，构建序列预测模型。3） 将各个序列预测结果按权重叠加，得到最终的序列预测结果。本文的模型框架如 图1 图1 所示。 1.1　EEMD算法 2 本文在进行数据特征抽取之前，首先对原始的时间序列采用EEMD技术进行预处理，减小噪音对于后续模型的预测性能的影响。EEMD是在1998年Huang等人提出的一种时频分析方法经验模态分解 ［ 14 14 ］ （empirical mode decomposition，EMD）基础之上，通过加入白噪声辅助信号分解，有效地缓解了EMD在时序信号分解过程中出现模态混叠的现象，可以更加准确地对原始时间序列信号进行模态分解，为信号的恢复提供了保障。EEMD的信号分解过程如下。 Step1：在待分解信号 x （ t ）中加入和该信号长度一样、一定幅值的白噪声 n i （ t ），处理后的信号为 <math display="block" id="M1"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo><mo>=</mo><mi>x</mi><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo><mo>,</mo><mn mathvariant="normal">1</mn><mo>≤</mo><mi>i</mi><mo>≤</mo><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560413&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560408&type= 48.51399994 4.57200003 （1）式中， x i （t） 为第 i 次加入白噪声得到的信号， n i （ t ）是第 i 次用来处理待分解信号的白噪声， N 是分解过程中迭代的次数。 Step 2：对处理过后的信号 x i （ t ）进行EMD分解，得到基本模态分量（intrinsc mode function，IMF），分解过程如下： 1） 获取信号 x i （ t ）的最大值和最小值形成上包络和下包络，并且得到上下包络的平均值 m 1 。 2） 利用 x i （ t ）减去步骤1）得到的包络平均值，得到新的信号 <math display="block" id="M2"><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560421&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560417&type= 28.95599937 4.48733330 3） 判断步骤2）得到的信号 v 1 （ t ）是否满足IMF分量条件，如果满足，则 v 1 （ t ）就是一个IMF分量，否则将 v 1 （ t ）信号代替 x i （ t ），重复上述步骤1）和2），迭代 n 次后直到满足IMF分量条件且差值为 v 1， n （ t ）， n 的终止条件是满足（3）式的值在0.2到0.3之间，其中 T 为信号总数。 <math display="block" id="M3"><mi>K</mi><mo>=</mo><mfrac><mrow><msubsup><mo>∑</mo><mrow><mi>t</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>T</mi></mrow></msubsup><mrow><msup><mrow><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>,</mo><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>,</mo><mi>n</mi></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow><mrow><msubsup><mo>∑</mo><mrow><mi>t</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>T</mi></mrow></msubsup><mrow><msup><mrow><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>,</mo><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560429&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560425&type= 45.55066681 17.86466599 4） 获取剩余信号 <math display="block" id="M4"><msub><mrow><mi>r</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo><mo>-</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>,</mo><mi>n</mi></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560438&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560433&type= 34.62866592 4.48733330 5） 将剩余信号代替原始信号 x i （ t ）重复上述步骤1）到4），提取所有的信号分量，最后余项 r j （ t ）即为信号的趋势项。最终分解过后得到的信号分量和残差趋势项与原始信号的关系如（5）式，其中 n 是在上述步骤1）到2）迭代的次数。 <math display="block" id="M5"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo><mo>=</mo><munderover><mo>∑</mo><mrow><mi>h</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>j</mi></mrow></munderover><mrow><msub><mrow><mi>v</mi></mrow><mrow><mi>h</mi><mo>,</mo><mi>n</mi></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo><mo>+</mo><msub><mrow><mi>r</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560445&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560442&type= 39.70866776 8.88999939 Step 3：重复步骤Step 1到Step 2 N 次，即加入 N 次不同幅值的噪声进行EMD信号分解，得到 N 组信号分量IMF。由于白噪声具有零均值特性，为了原始信号不受影响，最后对得到的信号分量取均值，如（6）式所示，其中IMF ij 表示序列第 i 次加入噪声后分解得到的第 j 个IMF信号分量。 <math display="block" id="M6"><mi mathvariant="normal">I</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">F</mi><mmultiscripts><mrow><mo stretchy="false">(</mo></mrow><mprescripts/><mrow><mi>i</mi></mrow><mrow/></mmultiscripts><mi>t</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><munderover><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover><mrow><mi mathvariant="normal">I</mi><mi mathvariant="normal">M</mi><msub><mrow><mi mathvariant="normal">F</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560454&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560449&type= 41.14799881 8.88999939 COVID-19舆情时间序列经过该算法分解之后，得到了5个IMF信号分量，分别从不同的方面对于原始数据进行表征，对各个IMF信号分量按照7∶3的比例划分，得到训练集和测试集，并且对这些数据做标准化处理，有助于提高模型的拟合和预测能力。经过神经网络之后，为了信号的完整性，需要把不同的IMF信号分量的输出叠加得到原始信号 ［ 15 15 ， 16 16 ］ 。具体操作在实验部分详细描述。 1.2　改进的Transformer模型 2 Transformer模型 ［ 17 17 ］ 是谷歌公司在2017年提出的解决序列处理的模型，它没有采用传统的循环神经网络模型，而是利用完全Attention机制来捕获序列中各单元的相关性，解决了传统循环网络中的梯度问题以及长程序列依赖问题，得到了广泛应用。但由于Transformer的结构设计，局部信息的捕获能力不足，所以本文通过改进原模型的多头注意力部分，增加卷积网络捕获局部信息，提高模型的特征抽取能力。由于做特征抽取，所以本文只采用原模型的编码器部分。本文中所用的Transformer模型由多个编码器模块堆叠而成，单个编码器模块结构可表示为（7）式到（10）式。 <math display="block" id="M7"><mi mathvariant="normal">L</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">y</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">O</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi><mo>=</mo><mi mathvariant="normal">L</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">y</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">N</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">m</mi><mo stretchy="false">(</mo><mi>x</mi><mo>+</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">y</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560461&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560458&type= 68.91867065 3.72533321 其中SubLayer包括多头注意力机制（multi-head self-attention）和前馈神经网络。多头注意力机制由Attention模块堆叠而成，Attention可以抽象成如下公式 <math display="block" id="M8"><mi mathvariant="normal">A</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">Q</mi><mo>,</mo><mi mathvariant="bold-italic">K</mi><mo>,</mo><mi mathvariant="bold-italic">V</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="bold-italic">Q</mi><msup><mrow><mi mathvariant="bold-italic">K</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></mrow><mrow><mroot><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow/></mroot></mrow></mfrac><mo stretchy="false">)</mo><mi mathvariant="bold-italic">V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560469&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560465&type= 64.00800323 9.99066734 其中， <math id="M9"><mi mathvariant="bold-italic">Q</mi><mo>∈</mo><msup><mrow><mi mathvariant="normal">ℝ</mi></mrow><mrow><mi>n</mi><mi>x</mi><msub><mrow><mi>d</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560477&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560473&type= 13.12333298 3.81000018 是查询向量，可以表示为 <math id="M10"><mi mathvariant="bold-italic">Q</mi><mo>=</mo><mo stretchy="false">[</mo><msub><mrow><mi>q</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>q</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo><msub><mrow><mi>q</mi></mrow><mrow><mi>n</mi></mrow></msub><msup><mrow><mo stretchy="false">]</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560486&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560481&type= 30.39533424 4.91066647 ， <math id="M11"><mi mathvariant="bold-italic">K</mi><mo>∈</mo><msup><mrow><mi mathvariant="normal">ℝ</mi></mrow><mrow><mi>m</mi><mi>x</mi><msub><mrow><mi>d</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560494&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560490&type= 13.71600056 3.72533321 和 <math id="M12"><mi mathvariant="bold-italic">V</mi><mo>∈</mo><msup><mrow><mi mathvariant="normal">ℝ</mi></mrow><mrow><mi>m</mi><mi>x</mi><msub><mrow><mi>d</mi></mrow><mrow><mi>v</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560503&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560498&type= 14.13933372 3.72533321 分别表示为 <math id="M13"><mi mathvariant="bold-italic">K</mi><mo>=</mo><mo stretchy="false">[</mo><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>k</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo><msub><mrow><mi>k</mi></mrow><mrow><mi>n</mi></mrow></msub><msup><mrow><mo stretchy="false">]</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560511&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560507&type= 29.88733292 4.65666676 和 <math id="M14"><mi mathvariant="bold-italic">V</mi><mo>=</mo><mo stretchy="false">[</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>n</mi></mrow></msub><msup><mrow><mo stretchy="false">]</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560519&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560515&type= 30.81866837 4.65666676 。Attention函数可以看成是通过该函数将一个 nxd k 的序列编码为一个 nxd v 的序列的过程， <math id="M15"><mroot><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560528&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560523&type= 6.94266701 4.99533367 是调节因子，防止内积很大时梯度小的问题。为了扩展模型专注于不同位置的能力，采用多头注意力机制，每个注意力头的计算如下 <math display="block" id="M16"><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><msub><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">A</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">Q</mi><msubsup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="bold-italic">Q</mi></mrow></msubsup><mo>,</mo><mi mathvariant="bold-italic">K</mi><msubsup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="bold-italic">K</mi></mrow></msubsup><mo>,</mo><mi mathvariant="bold-italic">V</mi><msubsup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="bold-italic">V</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560536&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560532&type= 59.43599701 4.65666676 其中 <math id="M17"><msubsup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="bold-italic">Q</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="bold-italic">K</mi></mrow></msubsup><mo>∈</mo><msup><mrow><mi mathvariant="normal">ℝ</mi></mrow><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>×</mo><msub><mrow><mover><mrow><mi>d</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>k</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560543&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560540&type= 26.33133316 5.33399963 ， <math id="M18"><msubsup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="bold-italic">V</mi></mrow></msubsup><mo>∈</mo><msup><mrow><mi mathvariant="normal">ℝ</mi></mrow><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>v</mi></mrow></msub><mo>×</mo><msub><mrow><mover><mrow><mi>d</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>v</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560550&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560547&type= 18.79599953 5.24933338 是注意力头head i 的权重矩阵，通过线性变换把 Q 、 K 和 V 映射到不同的表示空间，按照 <math display="block" id="M19"><mi mathvariant="normal">M</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">H</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">d</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">Q</mi><mo>,</mo><mi mathvariant="bold-italic">K</mi><mo>,</mo><mi mathvariant="bold-italic">V</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mo stretchy="false">(</mo><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><msub><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><msub><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>⋯</mo><mo>,</mo><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><msub><mrow><mi mathvariant="normal">d</mi></mrow><mrow><mi>h</mi></mrow></msub><mo stretchy="false">)</mo><msup><mrow><mi>W</mi></mrow><mrow><mi>o</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560560&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560556&type= 89.66200256 4.65666676 做加权拼接，得到一个 <math id="M20"><mi>n</mi><mo>×</mo><mo stretchy="false">(</mo><mi>h</mi><msub><mrow><mover><mrow><mi>d</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><mi>v</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560569&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560563&type= 13.88533401 4.91066647 的序列，权重矩阵通过训练模型自动学习。 舆情时间序列经过EEMD分解之后得到信号分量IMF输入到改进的Transformer模型，首先会通过不同大小卷积核的卷积模块，对输入序列做初次的序列映射，捕捉时间序列的局部特征得到 C i ，然后 C i 输入到多个注意力模块组成的多头注意力部分，获取序列的长程依赖信息。由于Attention机制每两个时间点之间的相对距离都是一个单位，这解决了传统的序列处理中长距离信息丢失问题。通过多头注意力模块之后，为了减小模型的过拟合问题，添加层正则化方法，最后通过全连接前馈网络 ［ 18 18 ］ 。原Transformer模型对于序列的局部信息捕获能力不足，而异常点处理需要依靠该点上下文环境信息，因此在计算查询向量 Q i 、键向量 K i 时采用卷积运算代替原来的线性变换，提高模型的局部信息抽取能力，进而提高模型对于异常点处理能力，使模型的拟合预测能力更强。 2　 实 验 1 2.1　样本数据 2 谷歌趋势是谷歌公司一种记录分析用户的搜索历史并根据关键词的搜索量形成该词热度值的服务。其中的搜索量指标代表指定区域和指定时间内该关键词相对于最高搜索量的得分。谷歌公司在搜索引擎市场占有绝对的主导地位，所以在分析国外COVID-19相关舆情的时候，以谷歌趋势中相应的关键词的搜索热度值作为研究数据。 由于国外疫情暴发的时间相对于中国晚一个多月，所以本文采用从2020年2月10日到2020年4月20日总计71 d的COVID-19相关搜索数据。谷歌趋势采用关键词搜索量做热度值分析，为了保证实验数据的可靠性，本文采用如 表1 表1 所示的10条关键词的搜索量之和作为COVID-19的热度值。 关键词索引 关键词 1 covid-19 2 covid 3 number of coronavirus cases 4 coronavirus 5 how many cases of covid 19 6 covid 19 number of cases 7 covid 19 cases 8 coronavirus covid 19 global cases 9 coronavirus cases 10 cases of covid 19 为了可以清楚的观察到各个关键词的热度趋势走向，本文绘制了其中6组具有代表性的关键词在2020年2月10日之后的71 d的趋势图如 图2 图2 所示。可以看到各个关键词的搜索趋势基本一致，高峰期也基本一样，说明通过利用这些关键词的搜索数据可以达到一定的舆情分析效果。 为了便于作图和显示，本文将2020年2月10号作为第一天，然后递增，利用整数序列作为日期的索引。从 图2 图2 中可以看到在40 d（2020年3月26日）左右，对于COVID-19的搜索量达到顶峰，因为此时疫情在多个国家集中暴发，国外确诊病例超过10万以上。通过将这10组关键词的搜索热度值取平均值作为最终研究国外对于COVID-19关注度变化的数据，并且将得到的平均值数据可视化如 图3 图3 所示。 2.2　结果分析 2 本文的实验共有71 d的COVID-19相关谷歌搜索趋势数据，利用EEMD分解算法，将舆情数据分解得到5个IMF子序列，舆情数据和分解之后的子序列可视化为 图4 图4 中子图（a）到（f）。 由 图4 图4 可以看出通过对于原时间序列分解得到了不同特征，如 图4 图4 （b）显示的是原始数据的局部波动特征， 图4 图4 （e）是原始序列的趋势走向特征，相比原始数据更加光滑，预测模型更加容易拟合结果更加准确。将得到的5个信号分量分别取前50 d的数据作为训练集，剩余21 d的数据作为测试集，验证模型的准确性。本文的Transformer模型中编码器的个数设置为3个，纵向嵌套叠加，第一个编码器中提取数据局部特征的三个卷积模块，设置卷积核大小分别为2、3和5，最大训练次数为3 000次，训练误差采用均方误差MSE。 对于各个IMF信号分量分别进行训练和预测，可视化结果如 图5 图5 所示。由 图5 图5 可以看出，深度神经网络对平稳序列的拟合能力好于非平稳序列。在本文的预测模型中，时间序列通过分解过后的趋势项是相对光滑的，所以模型对于该序列的整体趋势模拟准确度更高。因此，通过前期的数据处理、训练和测试，利用本文所提出的模型可以更加准确地预测疫情在未来的发展趋势。 为了验证本文提出的模型的特征抽取和预测能力，我们选取长短期记忆网络LSTM、变换器网络Transformer以及混合模型LSTM-CNN模型与本文模型进行实验。训练时，进行多次实验，取结果最好时的参数，用测试集数据进行测试，不同模型的预测结果可视化如 图6 图6 所示。从 图6 图6 可以直观的看到，相对于已有的预测模型，本文设计的模型对于序列的预测能力在该舆情热度数据集上的准确度更高。 为了验证本文提出模型的拟合预测能力，在测试数据集上用标准均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）以及平均绝对百分比误差（MAPE）对模型进行评价，其计算公式如下 <math display="block" id="M21"><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mo stretchy="false">(</mo><mi>y</mi><mo>,</mo><mover accent="true"><mrow><mi>y</mi></mrow><mo stretchy="true">̂</mo></mover><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></mfrac><msup><mrow><munderover><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover><mrow><mo stretchy="false">(</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mover accent="true"><mrow><mi>y</mi></mrow><mo stretchy="true">̂</mo></mover></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560652&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560646&type= 45.38133240 9.14400005 <math display="block" id="M22"><mi mathvariant="normal">R</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mo stretchy="false">(</mo><mi>y</mi><mo>,</mo><mover accent="true"><mrow><mi>y</mi></mrow><mo stretchy="true">̂</mo></mover><mo stretchy="false">)</mo><mo>=</mo><mroot><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></mfrac><munderover><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover><mrow><mo stretchy="false">(</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mover accent="true"><mrow><mi>y</mi></mrow><mo stretchy="true">̂</mo></mover></mrow><mrow><mi>i</mi></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560660&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560655&type= 50.54600143 9.73666668 <math display="block" id="M23"><mi mathvariant="normal">M</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">E</mi><mo stretchy="false">(</mo><mi>y</mi><mo>,</mo><mover accent="true"><mrow><mi>y</mi></mrow><mo stretchy="true">̂</mo></mover><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></mfrac><munderover><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover><mrow><mfenced open="|" close="|" separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mover accent="true"><mrow><mi>y</mi></mrow><mo stretchy="true">̂</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560669&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560665&type= 43.60333252 8.38199997 <math display="block" id="M24"><mi mathvariant="normal">M</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">P</mi><mi mathvariant="normal">E</mi><mo stretchy="false">(</mo><mi>y</mi><mo>,</mo><mover accent="true"><mrow><mi>y</mi></mrow><mo stretchy="true">̂</mo></mover><mo stretchy="false">)</mo><mo>=</mo><munderover><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover><mrow><mfenced open="|" close="|" separators="|"><mrow><mfrac><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mover accent="true"><mrow><mi>y</mi></mrow><mo stretchy="true">̂</mo></mover></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfrac></mrow></mfenced></mrow><mo>×</mo><mfrac><mrow><mn mathvariant="normal">100</mn></mrow><mrow><mi>n</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560677&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4560673&type= 54.69466782 9.56733322 从 表2 表2 中可以看出，本文模型的平均绝对误差和均方误差等4个评价指标都是最低的，这是因为经过EEMD分解之后，从不同的频率范围表征原数据，降低了原数据中噪声的影响，增强了特征抽取的效果，进一步提高了神经网络的拟合和预测能力。尤其是本文的模型和原Transformer模型的MAPE和MSE，分别相差4.15和9.7左右，所以对于时间序列信号，通过分解得到不同频率上的特征对于模型建立和预测十分重要。由实验结果可以看出本文所提出的时间序列预测模型可信。 模型名称 MAE MAPE MSE RMSE RNN 7.838 65 10.694 96 87.710 34 9.365 38 LSTM 9.358 90 13.263 21 33.747 79 11.169 06 LSTM-CNN 3.500 70 14.519 21 24.125 19 4.911 74 Transformer 3.637 40 13.042 50 22.192 33 4.710 87 EEMD-Transformer 2.143 25 8.853 70 12.493 42 3.534 60 3　 结 语 1 网络舆情无论对于企业还是政府部门都极其重要。特别地，传染病等公共事件容易引发大规模的网络舆情，所以及时、准确发现和引导舆情很有必要。笔者在高校工作，精准把握新冠疫情舆情的发展趋势，建立健全舆情监测和分析系统，有利于做好学生的心理辅导，促进学生身心健康发展。本文提出的EEMD-Transformer舆情预测模型，采用谷歌趋势中全球对于COVID-19等关键词的搜索数据作为模型的训练集和测试集，通过与RNN、LSTM、LSTM⁃CNN、Transformer等模型在测试集上作比对，结果显示在MSE、RMSE、MAE以及平均绝对百分比误差4个评价指标上，本文模型表现最好，说明本文所提模型EEMD-Transformer具有更好的拟合预测能力。本文的研究成果可以为决策机构在网络舆情管理，制定相应的应对措施方面提供支持。 参考文献 游丹丹 ， 陈福集 . 基于改进粒子群和BP神经网络的网络舆情预测研究 ［J］. 情报杂志 ， 2016 ， 35 （ 8 ）： 156 - 161 . DOI： 10.3969/j.issn.1002-1965.2016.08.027 http://dx.doi.org/10.3969/j.issn.1002-1965.2016.08.027 . 基于改进粒子群和BP神经网络的网络舆情预测研究 YOU D D ， CHEN F J . Research on the prediction of network public opinion based on improved PSO and BP neural network ［J］. Information Science ， 2016 ， 35 （ 8 ）： 156 - 161 . DOI： 10.3969/j.issn.1002-1965.2016.08.027（Ch http://dx.doi.org/10.3969/j.issn.1002-1965.2016.08.027（Ch ）. Research on the prediction of network public opinion based on improved PSO and BP neural network 潘新 . 基于复杂网络的舆情传播模型研究 ［D］. 大连 ： 大连理工大学 ， 2010 . 基于复杂网络的舆情传播模型研究 PAN X . Opinion Spreading Models on Complex Networks ［D］. Dalian ： Dalian University of Technology ， 2010（Ch） . Opinion Spreading Models on Complex Networks 周耀明 ， 王波 ， 张慧成 . 基于EMD的网络舆情演化分析与建模方法 ［J］. 计算机工程 ， 2012 ， 38 （ 21 ）： 5 - 9 . DOI： 10.3969/j.issn.1000-3428.2012.21.002 http://dx.doi.org/10.3969/j.issn.1000-3428.2012.21.002 . 基于EMD的网络舆情演化分析与建模方法 ZHOU Y M ， WANG B ， ZHANG H C . Evolution analysis and modeling method of internet public opinions based on EMD ［J］. Computer Engineering ， 2012 ， 38 （ 21 ）： 5 - 9 . DOI： 10.3969/j.issn.1000-3428.2012.21.002（Ch http://dx.doi.org/10.3969/j.issn.1000-3428.2012.21.002（Ch ）. Evolution analysis and modeling method of internet public opinions based on EMD 赵剑华 ， 万克文 . 基于信息传播模型-SIR传染病模型的社交网络舆情传播动力学模型研究 ［J］. 情报科学 ， 2017 ， 35 （ 12 ）： 34 - 38 . DOI： CNKI：SUN：QBKX.0.2017-12-006 http://dx.doi.org/CNKI：SUN：QBKX.0.2017-12-006 . 基于信息传播模型-SIR传染病模型的社交网络舆情传播动力学模型研究 ZHAO J H ， WAN K W . Research on the communication dynamics model of social network public opinion based on the SIS model ［J］. Information Science ， 2017 ， 35 （ 12 ）： 34 - 38 . DOI： CNKI：SUN：QBKX.0.2017-12-006（Ch http://dx.doi.org/CNKI：SUN：QBKX.0.2017-12-006（Ch ）. Research on the communication dynamics model of social network public opinion based on the SIS model 张一文 ， 齐佳音 ， 方滨兴 ， 等 . 基于贝叶斯网络建模的非常规危机事件网络舆情预警研究 ［J］. 图书情报工作 ， 2012 ， 56 （ 2 ）： 76 - 81 . 基于贝叶斯网络建模的非常规危机事件网络舆情预警研究 ZHANG Y W ， QI J Y ， WAN B X ， et al . Online public opinion risk warning based on bayesian network modeling ［J］. Library and Information Service ， 2012 ， 56 （ 2 ）： 76 - 81 （Ch） . Online public opinion risk warning based on bayesian network modeling 孙靖超 ， 周睿 ， 李培岳 ， 等 . 基于循环神经网络的网络舆情趋势预测研究 ［J］. 情报科学 ， 2018 ， 36 （ 8 ）： 120 - 124+129 . DOI： CNKI：SUN：QBKX.0.2018-08-020 http://dx.doi.org/CNKI：SUN：QBKX.0.2018-08-020 . 基于循环神经网络的网络舆情趋势预测研究 SUN J C ， ZHOU R ， LI P Y ， et al . Research on the prediction of network public opinion based on recurrent neural network ［J］. Information Science ， 2018 ， 36 （ 8 ）： 120 - 124+129 . DOI： CNKI：SUN：QBKX.0.2018-08-020（Ch http://dx.doi.org/CNKI：SUN：QBKX.0.2018-08-020（Ch ）. Research on the prediction of network public opinion based on recurrent neural network 舒予 ， 张黎俐 . 基于小波分析与人工神经网络的网络舆情预测 ［J］. 情报科学 ， 2016 ， 34 （ 4 ）： 40 - 42+47 . DOI： 10.13833/j.cnki.is.2016.04.008 http://dx.doi.org/10.13833/j.cnki.is.2016.04.008 . 基于小波分析与人工神经网络的网络舆情预测 SHU Y ， ZHANG L L . Internet public opinions forecasting based on wavelet and artifical neural networks ［J］. Information Science ， 2016 ， 34 （ 4 ）： 40 - 42+47 . DOI： 10.13833/j.cnki.is.2016.04.008（Ch http://dx.doi.org/10.13833/j.cnki.is.2016.04.008（Ch ）. Internet public opinions forecasting based on wavelet and artifical neural networks 魏德志 ， 陈福集 ， 郑小雪 . 基于混沌理论和改进径向基函数神经网络的网络舆情预测方法 ［J］. 物理学报 ， 2015 ， 64 （ 11 ）： 52 - 59 . DOI ： 10.7498/aps.64.110503 http://dx.doi.org/10.7498/aps.64.110503 . 基于混沌理论和改进径向基函数神经网络的网络舆情预测方法 WEI D Z ， CHEN F J ， ZHENG X X . Internet public opinion chaotic prediction based on chaos theory and the improved radial basis function in neural networks ［J］. Acta Physica Sinica ， 2015 ， 64 （ 11 ）： 52 - 59 . DOI ： 10.7498/aps.64.110503（Ch http://dx.doi.org/10.7498/aps.64.110503（Ch ）. Internet public opinion chaotic prediction based on chaos theory and the improved radial basis function in neural networks 杜智涛 ， 谢新洲 . 利用灰色预测与模式识别方法构建网络舆情预测与预警模型 ［J］. 图书情报工作 ， 2013 ， 57 （ 15 ）： 27 - 33 . DOI： 10.7536/j.issn.0252-3116.2013.15.004 http://dx.doi.org/10.7536/j.issn.0252-3116.2013.15.004 . 利用灰色预测与模式识别方法构建网络舆情预测与预警模型 DU Z T ， XIE X Z . The establishment of public opinion forecasting and early-warning model with the methods of grey forecasting and pattern recognition ［J］. Library and Information Service ， 2013 ， 57 （ 15 ）： 27 - 33 . DOI： 10.7536/j.issn.0252-3116.2013.15.004（Ch http://dx.doi.org/10.7536/j.issn.0252-3116.2013.15.004（Ch ）. The establishment of public opinion forecasting and early-warning model with the methods of grey forecasting and pattern recognition 安璐 ， 周思瑶 ， 余传明 ， 等 . 突发传染病微博影响力的预测研究 ［J］. 情报科学 ， 2017 ， 35 （ 4 ）： 27 - 31 . DOI： CNKI：SUN：QBKX.0.2017-04-005 http://dx.doi.org/CNKI：SUN：QBKX.0.2017-04-005 . 突发传染病微博影响力的预测研究 AN L ， ZHOU S Y ， YU C M ， et al . Predicting the influence of microblog entries on emergent infectious diseases ［J］. Information Science ， 2017 ， 35 （ 4 ）： 27 - 31 . DOI： CNKI：SUN：QBKX.0.2017-04-005（Ch http://dx.doi.org/CNKI：SUN：QBKX.0.2017-04-005（Ch ）. Predicting the influence of microblog entries on emergent infectious diseases 曾子明 ， 黄城莺 . 基于BP神经网络的突发传染病舆情热度趋势预测模型研究 ［J］. 现代情报 ， 2018 ， 38 （ 05 ）： 37 - 44+52 . 基于BP神经网络的突发传染病舆情热度趋势预测模型研究 ZENG Z M ， HUANG C Y . Research on public opinion heat trend prediction model of emergent infectious diseases based on BP neural network ［J］. Journal of Modern Information ， 2018 ， 38 （ 05 ）： 37 - 44+52 （Ch） . Research on public opinion heat trend prediction model of emergent infectious diseases based on BP neural network 霍飞 ， 高浩宇 ， 刘长娜 ， 等 . 舆情监测在重大传染病预防控制工作中的应用 ［J］. 职业与健康 ， 2013 ， 29 （ 23 ）： 3205 - 3206+3209 . DOI： 10.13329/j.cnki.zyyjk.2013.23.014 http://dx.doi.org/10.13329/j.cnki.zyyjk.2013.23.014 . 舆情监测在重大传染病预防控制工作中的应用 HUO F ， GAO H Y ， LIU C N ， et al . Application of public opinion monitoring in control of major infectious diseases ［J］. Occupation and Health ， 2013 ， 29 （ 23 ）： 3205 - 3206+3209 . DOI： 10.13329/j.cnki.zyyjk.2013.23.014（Ch http://dx.doi.org/10.13329/j.cnki.zyyjk.2013.23.014（Ch ）. Application of public opinion monitoring in control of major infectious diseases HUANG N E ， SHEN Z ， LONG S R ， et al . The empirical mode decomposition and the hilbert spectrum for nonlinear and non-stationary time series analysis ［J］. Proceedings of the Royal Society of London ， 1998 ， 454 ： 903 - 905 . DOI： 10.1098/rspa.1998.0193 http://dx.doi.org/10.1098/rspa.1998.0193 . The empirical mode decomposition and the hilbert spectrum for nonlinear and non-stationary time series analysis WU Z H ， HUANG N E . Ensemble empirical mode decomposition： A noise⁃assisted data analysis method ［J］. Advances in Adaptive Data Analysis ， 2009 ， 1 （ 1 ）： 1 - 41 . DOI： 10.1142/S1793536909000047 http://dx.doi.org/10.1142/S1793536909000047 . Ensemble empirical mode decomposition： A noise⁃assisted data analysis method ZHENG K ， LUO J F ， ZHANG Y ， et al . Incipient fault detection of rolling bearing using maximum autocorrelation impulse harmonic to noise deconvolution and parameter optimized fast EEMD ［J］. ISA Transactions ， 2018 ， 89 ： 256 - 271 . DOI： 10.1016/j.isatra.2018.12.020 http://dx.doi.org/10.1016/j.isatra.2018.12.020 . Incipient fault detection of rolling bearing using maximum autocorrelation impulse harmonic to noise deconvolution and parameter optimized fast EEMD CHENG Y ， WANG Z W ， CHEN B Y ， et al . An improved complementary ensemble empirical mode decomposition with adaptive noise and its application to rolling element bearing fault diagnosis ［J］. ISA Transactions ， 2019 ， 91 ： 218 - 234 . DOI： 10.1016/j.isatra.2019.01.038 http://dx.doi.org/10.1016/j.isatra.2019.01.038 . An improved complementary ensemble empirical mode decomposition with adaptive noise and its application to rolling element bearing fault diagnosis ASHISH V ， NOAM S ， NIKI P ， et al . Attention is all you need ［DB/OL］.［ 2020-05-02 ］. https：//dl.acm.org/doi/pdf/10.5555/3295222.3295349 https://dl.acm.org/doi/pdf/10.5555/3295222.3295349 . Attention is all you need HAN T ， LIU C ， WU L J ， et al . An adaptive spatiotemporal feature learning approach for fault diagnosis in complex systems ［J］. Mechanical Systems and Signal Processing ， 2019 ， 117 ： 170 - 187 . DOI： 10.1016/j.ymssp.2018.07.048 http://dx.doi.org/10.1016/j.ymssp.2018.07.048 . An adaptive spatiotemporal feature learning approach for fault diagnosis in complex systems 10.14188/j.1671-8836.2020.0147 TP391.1 G2 A 1671-8836（2020）05-0418-07 XU Yang,ZHU Liangqi,HUANG Bo, et al .Public Opinion Analysis Based on EEMD-Transformer Model: Taking COVID-19 Public Opinion as an Example [J]. J Wuhan Univ （ Nat Sci Ed ）,2020,66(5):418-424. DOI: 10.14188/j.1671-8836.2020.0147 http://dx.doi.org/10.14188/j.1671-8836.2020.0147 (Ch). XU Yang,ZHU Liangqi,HUANG Bo,et al.Public Opinion Analysis Based on EEMD-Transformer Model: Taking COVID-19 Public Opinion as an Example [J].J Wuhan Univ（Nat Sci Ed）,2020,66(5):418-424. DOI:10.14188/j.1671-8836.2020.0147(Ch). 徐阳,朱良奇,黄勃, 等.基于EEMD⁃Transformer模型的舆情分析：以COVID⁃19舆情为例[J].武汉大学学报（理学版）,2020,66(5):418-424. DOI:10.14188/j.1671-8836.2020.0147 徐阳,朱良奇,黄勃, 等.基于EEMD⁃Transformer模型的舆情分析：以COVID⁃19舆情为例[J].武汉大学学报（理学版）,2020,66(5):418-424. DOI:10.14188/j.1671-8836.2020.0147 国家自然科学基金青年基金项目（61802251） 2020-06-06 2020-10-24 2020-12-15 武汉大学学报（理学版） 5 66