基于细粒度信息交互注意力的情绪分类方法 An Emotion Classification Method Based on Interactive Attention Mechanism with Fine⁃Grained Information 1 2 3 first-author 胡慧君，女，博士，副教授，研究方向为自然语言处理、智能媒体计算。E-mail：huhuijun@wust.edu.cn 胡慧君，女，博士，副教授，研究方向为自然语言处理、智能媒体计算。E-mail：huhuijun@wust.edu.cn huhuijun@wust.edu.cn 1 2 3 1 2 3 4 1 2 3 武汉科技大学 计算机科学与技术学院，湖北 武汉 430065 武汉科技大学 计算机科学与技术学院，湖北 武汉 430065 School of Computer Science and Technology， Wuhan University of Science and Technology， Wuhan 430065， Hubei， China School of Computer Science and Technology， Wuhan University of Science and Technology， Wuhan 430065， Hubei， China 智能信息处理与实时工业系统湖北省重点实验室，湖北 武汉 430065 智能信息处理与实时工业系统湖北省重点实验室，湖北 武汉 430065 Hubei Province Key Laboratory of Intelligent Information Processing and Real-Time Industrial System， Wuhan 430065， Hubei， China Hubei Province Key Laboratory of Intelligent Information Processing and Real-Time Industrial System， Wuhan 430065， Hubei， China 武汉科技大学 大数据科学与工程研究院，湖北 武汉 430065 武汉科技大学 大数据科学与工程研究院，湖北 武汉 430065 Big Data Science and Engineering Research Institute，Wuhan University of Science and Technology， Wuhan 430065， Hubei，China Big Data Science and Engineering Research Institute，Wuhan University of Science and Technology， Wuhan 430065， Hubei，China 贵州中医药大学第一附属医院，贵州 贵阳 550002 贵州中医药大学第一附属医院，贵州 贵阳 550002 The First Affiliated Hospital of Guizhou University of Traditional Chinese Medicine， Guiyang 550002， Guizhou， China The First Affiliated Hospital of Guizhou University of Traditional Chinese Medicine， Guiyang 550002， Guizhou， China 现有细粒度分析方法未能充分利用细粒度情绪信息来增强上下文与评价目标间的语义关联性，且对多词构成的评价目标仅平均化处理，损失了词间内容与关系信息，导致分类不精准。针对上述问题，本文提出了一种基于细粒度信息交互注意力（interactive attention with fine-grained information，FGIA）的情绪分类方法，通过采用更加细粒度的注意力机制来实现评价目标与上下文之间的充分交互，同时得到目标对上下文以及上下文对目标的交互注意力表示，进而辅助完成情绪分类。在本文构建的COVID-19网络舆情中文数据集上进行了实验验证，结果表明，FGIA能够有效地提升网络舆情数据情绪分类的准确性，相比于主流的分类方法，在各项评价指标上均取得了较高的提升。 The fine-grained information in the text cannot be fully used by the existing fine-grained emotion analysis methods, leading to the weak relevance of the contextual semantic representation of the target. Moreover, the target is generally composed of multiple words, and average pooling will lose the content and relationship information inside, resulting in inaccurate classification. This paper proposes a novel classification method based on an interactive attention mechanism with fine-grained information（FGIA）. Our FGIA method can ensure that the interaction between target and context can be effectively completed, and simultaneously calculate the attention vectors of context and target. Finally, emotion classification can be obtained with its guidance. Extensive experimental results on the Chinese Dataset of COVID-19 Online Public Opinion demonstrate that our FGIA can effectively complete emotion classification. Compared with several state-of-the-art methods, our FGIA can yield superior performance according to the evaluation metrics. 情绪分类 细粒度信息 交互注意力 emotion classification fine-grained information interactive attention 0　 引 言 1 细粒度情绪分析作为情感分析领域中的一个重要任务，其研究对象不再是整篇文本、整个句子，而是从方面级、目标级等细粒度层次上对具体的观点进行情绪分析 [ 1 1 ] 。例如，给定意见句“这家餐厅的服务员非常友好，但是意大利面一般，环境很糟糕”，它包含了三个评价目标“服务员”“意大利面”和“环境”，结合上下文语义可知，三者表达的情绪分别为正向、中性和负向。由于此任务更加贴近真实场景需求，并能够挖掘出更加精准的情绪信息，近年来众多国内外学者对此做出了一系列的研究工作。相关的研究方法主要分为两类：传统机器学习方法和基于神经网络的方法。 传统的机器学习方法主要使用基于规则的情感分类模型进行预测。Nasukawa等 [ 2 2 ] 首先对文本进行了浅层依赖解析，然后根据手工预定义的情感词典识别方面级的情感极性。Nguyen等 [ 3 3 ] 结合组成树和依赖树的两个树核开发新树核用于提取方面-意见关系，进而识别给定方面的情感倾向。Rao等 [ 4 4 ] 将极性检测转化为基于图的半监督标签传播问题，探索自动构建情感词典。Zhang等 [ 5 5 ] 通过提取和构建多个相关词典来扩展情感词典，再根据权重计算得到的微博文本情感值进行分类。 虽然传统机器学习方法取得了一定效果，但是由于其性能在很大程度上依赖于手工特征、词典特征的有效性，限制了模型的灵活性和泛化能力，严重影响了细粒度情感分类的准确性 [ 6 6 ] 。随着神经网络的不断发展，以及注意力机制在自然语言处理领域中的成功应用，基于神经网络的方法 [ 7 7 ~ 11 11 7~11 ] 成为细粒度情感分析研究的主流方法。该类方法具有良好的特征提取能力，可以在不需要依托特征工程的情况下完成分类任务，显著提高了模型的通用性和泛化性。 当前主流的细粒度情绪分析方法，已经意识到评价目标的重要性，并在上下文语义表示过程中融入了评价目标的语义信息。但是忽略了不同上下文中目标所表示的语义不尽相同，对情绪持有者、评价观点等细粒度信息也没有充分利用，使得上下文与评价目标的语义表示之间的关联性较差；缺乏对评价目标通常由多个词构成的认识，简单对其进行平均化处理损失了目标词间的内容和关系信息，导致分类效果与真实情况存在较大差距。此外，网络舆情数据具有上下文语境复杂、文本包含多个情绪目标且目标所表达的情绪并不完全一致的显著特点。显然，对于此类数据当前方法无法充分挖掘其中存在的深层次情绪信息，以致不能有效地完成分类任务。 针对网络舆情数据的特点以及上述方法存在的问题，本文提出了一种基于细粒度信息交互注意力的情绪分类方法FGIA（interactive attention with fine-grained information），将评价对象、情绪观点等细粒度信息融入到模型中辅助情绪分类。该方法可以灵活地与长短期记忆网络 [ 7 7 ] (long short-term memory,LSTM)和基于转换器的双向编码表征 [ 11 11 ] (bidirectional encoder representations from transformers,BERT)相结合，具有较强的通用性和泛化能力。为了验证FGIA的有效性，本文以新冠肺炎疫情为主题构建了一个含有人工标注细粒度情绪信息的COVID-19网络舆情中文数据集，通过与主流方法实验对比，从定量和定性两个方面分析了FGIA的有效性和优越性。此外，为了进一步实现整个任务流程的全自动化，本文引入了一种新型网格标注框架(grid tagging scheme,GTS) [ 12 12 ] 对细粒度情绪信息进行自动抽取和识别。 1　 本文方法 1 1.1　方法概述 2 图1 图1 为本文所提出的FGIA方法。对于给定一段长度为 <math id="M1"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526874&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526857&type= 1.86266661 2.79399991 的上下文文本 <math id="M2"><mi>C</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526889&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526876&type= 27.60133362 4.48733330 ，其中 <math id="M3"><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>E</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526881&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526878&type= 10.83733368 4.23333359 表示文本中的第 <math id="M4"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526937&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526935&type= 1.10066664 2.79399991 个词， <math id="M5"><msub><mrow><mi>d</mi></mrow><mrow><mi>E</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526903&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526886&type= 3.72533321 3.72533321 表示词向量维度，以及文本中所有的评价目标 <math id="M6"><mi mathvariant="bold-italic">A</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">}</mo><mo>∈</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526908&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526906&type= 34.79800034 4.48733330 <math id="M7"><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>k</mi><mo>⋅</mo><mi>m</mi><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>E</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526911&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526910&type= 9.31333351 3.04800010 ，其中 <math id="M8"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526902&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526899&type= 1.69333339 2.79399991 表示评价目标的总数， <math id="M9"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526921&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526912&type= 2.87866688 2.79399991 表示各评价目标的长度， <math id="M10"><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">}</mo><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>m</mi><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>E</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526924&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526914&type= 41.31733322 4.48733330 表示文本中第 <math id="M11"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526937&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526935&type= 1.10066664 2.79399991 个评价目标，其中 <math id="M12"><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>E</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526930&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526929&type= 11.17599964 4.23333359 表示该评价目标中的第 <math id="M13"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526937&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526935&type= 1.10066664 2.79399991 个词，对于每个评价目标 <math id="M14"><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526951&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526949&type= 3.72533321 3.72533321 对应的细粒度信息为 <math id="M15"><mi mathvariant="bold-italic">g</mi><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>E</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526955&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526952&type= 13.88533401 3.89466691 ，其中 <math id="M16"><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526944&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526941&type= 3.97933316 3.72533321 表示细粒度信息的长度。FGIA首先通过编码层得到上下文、评价目标及其对应的细粒度信息的特征向量表示 <math id="M17"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>n</mi><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>H</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526960&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526947&type= 14.47799969 4.23333359 、 <math id="M18"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>a</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>m</mi><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>H</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526962&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526966&type= 15.23999977 4.23333359 和 <math id="M19"><mi mathvariant="bold-italic">G</mi><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>H</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526971&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526980&type= 14.64733315 3.38666677 ， <math id="M20"><msub><mrow><mi>d</mi></mrow><mrow><mi>H</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526975&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526974&type= 3.89466691 3.72533321 表示特征向量维度；然后利用更加细粒度的注意力机制获取上下文和评价目标之间相关的语义信息表示 <math id="M21"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>I</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526993&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526977&type= 11.26066685 4.23333359 和 <math id="M22"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>a</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>I</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526997&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45526995&type= 11.43000031 4.23333359 ， <math id="M23"><msub><mrow><mi>d</mi></mrow><mrow><mi>I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527014&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527012&type= 2.96333337 3.72533321 表示注意力向量维度，以实现两者间的充分交互；最后在输出层将 <math id="M24"><mi mathvariant="bold-italic">S</mi><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527003&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527015&type= 3.13266683 2.79399991 和 <math id="M25"><mi mathvariant="bold-italic">S</mi><mi>a</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527023&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527005&type= 3.30200005 2.79399991 拼接得到最终的分类特征表示 <math id="M26"><mi mathvariant="bold-italic">I</mi><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>d</mi></mrow><mrow><mi>I</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527021&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527026&type= 10.58333302 3.38666677 ，进而有效完成网络舆情情绪分析任务。 1.2　细粒度信息的识别与抽取 2 为了进一步实现整个任务流程的全自动化，本文引入了Wu等 [ 12 12 ] 提出的一种新型网格标注框架GTS对文本中各评价目标及其对应的细粒度信息进行自动抽取和识别，其中细粒度信息是指该评价目标对应的情绪线索。GTS通过标记所有词对之间的关系，将细粒度情绪信息提取转化为统一的网格标记任务，然后使用特定的解码方法实现评价目标线索对的抽取，GTS抽取模型如 图2 图2 所示。 首先，利用预训练模型BERT对输入文本进行编码，获得其词向量表示。然后使用四个标签 <math id="M27"><mo stretchy="false">{</mo><mi mathvariant="normal">A</mi><mo>,</mo><mi mathvariant="normal">O</mi><mo>,</mo><mi mathvariant="normal">P</mi><mo>,</mo><mi mathvariant="normal">N</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527057&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527046&type= 19.98133469 3.55599999 标记任意无序词对 <math id="M28"><mo stretchy="false">{</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527068&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527060&type= 12.36133385 4.48733330 ，形成一个上三角形网格。其中，A和O分别代表 <math id="M29"><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527072&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527062&type= 3.72533321 3.72533321 和 <math id="M30"><msub><mrow><mi>w</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527078&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527083&type= 3.64066648 3.72533321 属于同一个评价目标或情绪线索，P代表 <math id="M31"><mo stretchy="false">{</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>w</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527092&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527089&type= 12.36133385 4.48733330 由一个评价目标和一个情绪线索组成且两者存在对应关系，N表示两个词没有任何关系。最后，通过特定的解码方法从网格标注结果中解码得到目标线索对。这种解码方法将网格中主对角线上连续的A标签对应的词作为评价目标集合中的元素，所有连续O标签对应的词组成情绪线索集合，然后观察两个集合中的任意元素形成的词对是否存在P标签，如果存在，则认为该词对是有内部对应关系的目标线索对。 1.3　编码层的特征向量表示 2 为了验证融合细粒度信息交互注意力的通用性和泛化能力，本文采用两种最常用的方法对输入信息进行编码，提取出包含更丰富语义信息的特征表示。 LSTM通过门控机制控制信息传输状态，使网络遗忘不重要的信息，实现长时记忆，在长序列中具有较好的表现。其中更特殊的Bi-LSTM可以同时学习上下文信息，更好地获取不同语境下的深层语义，所以本文采用Bi-LSTM作为第一种编码方法完成上下文和评价目标的特征表示。将给定的上下文文本 <math id="M32"><mi>C</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527096&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527082&type= 27.60133362 4.48733330 和评价目标 <math id="M33"><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527114&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527100&type= 30.39533424 4.48733330 分别输入到Bi-LSTM中，得到对应的隐藏层输出 <math id="M34"><msub><mrow><mi>h</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527106&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527104&type= 2.87866688 3.72533321 和 <math id="M35"><msub><mrow><mi>h</mi></mrow><mrow><mi>a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527109&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527120&type= 3.04800010 3.72533321 作为最终的特征表示 <math id="M36"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527172&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527156&type= 3.80999994 3.72533321 和 <math id="M37"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527200&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527184&type= 3.97933316 3.72533321 。 <math display="block" id="M38"><msub><mrow><mi>h</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">B</mi><mi mathvariant="normal">i</mi><mo>-</mo><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><mi>n</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527139&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527136&type= 46.82066727 3.97933316 <math display="block" id="M40"><msub><mrow><mi>h</mi></mrow><mrow><mi>a</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">B</mi><mi mathvariant="normal">i</mi><mo>-</mo><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527161&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527158&type= 48.68333054 3.97933316 为了验证FGIA机制可以与多种编码方式结合具有泛化性，本文采用BERT作为另一种编码方法，BERT是一种新的预训练语言表达模型，它使用多层双向Transformer [ 13 13 ] 作为基础编码器，在大规模语料库上以无监督方式对语言模型进行预训练。BERT通过自注意力机制捕获句子中每个词的上下文信息，能够在序列向量中明确地表示一对句子。相较于LSTM，BERT更轻量，只需将上下文和评价目标分别转化为“ <math id="M42"><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi></mrow></mfenced><mo>+</mo><mi>C</mi><mo>+</mo><mo stretchy="false">[</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mi mathvariant="normal">P</mi><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527164&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527148&type= 32.34266663 3.97933316 ”和“ <math id="M43"><mfenced open="[" close="]" separators="|"><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi></mrow></mfenced><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">A</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>+</mo><mo stretchy="false">[</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">E</mi><mi mathvariant="normal">P</mi><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527166&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527153&type= 33.35866928 3.97933316 ”形式后输入到预训练模型BERT中，获取模型最后一层的隐藏层状态即为最终对应的特征表示 <math id="M44"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527172&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527156&type= 3.80999994 3.72533321 和 <math id="M45"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527190&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527175&type= 3.97933316 3.72533321 。 1.4　融合细粒度信息的交互注意力机制 2 为了更好地适应网络舆情数据的特点，并挖掘出数据中存在的深层次情绪信息，本文提出了融合细粒度信息的交互注意力机制，充分学习上下文与评价目标之间的交互关系，在细粒度信息的指导下实现更加准确的情绪分类。该机制结构如 图3 图3 所示。 首先将编码层获取的评价目标特征向量 <math id="M46"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>a</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527200&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527184&type= 3.97933316 3.72533321 与其对应的细粒度信息表示 <math id="M47"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527220&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527203&type= 2.87866688 2.79399991 进行融合，使评价目标对应的细粒度信息得到充分利用，得到融合细粒度信息后的评价目标表示 <math id="M48"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>a</mi><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527225&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527222&type= 4.99533367 3.72533321 ： <math display="block" id="M49"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>a</mi><mi>g</mi></mrow></msub><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>a</mi></mrow></msub><mo>;</mo><mi mathvariant="bold-italic">G</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527209&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527227&type= 21.42066574 4.06400013 其中， <math id="M51"><mo stretchy="false">[</mo><mo>;</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527233&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527231&type= 2.87866688 3.55599999 表示向量拼接操作。 根据编码层获取的上下文特征向量表示 <math id="M52"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>n</mi><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>H</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527237&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527213&type= 14.47799969 4.23333359 和新的评价目标特征表示 <math id="M53"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>a</mi><mi>g</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mo stretchy="false">(</mo><mi>m</mi><mo>+</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>H</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527216&type= 22.52133369 4.40266657 ，计算出融合细粒度信息的交互注意力权重矩阵 <math id="M54"><mi mathvariant="bold-italic">M</mi><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>n</mi><mi>*</mi><mo stretchy="false">(</mo><mi>m</mi><mo>+</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527243&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527241&type= 20.06599998 3.55599999 ： <math display="block" id="M55"><mi mathvariant="bold-italic">M</mi><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>⋅</mo><msubsup><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>a</mi><mi>g</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527247&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527256&type= 19.13466644 4.06400013 权重矩阵中的每个值就是上下文文本词与融合细粒度信息后的评价目标词之间的交互结果。 然后对矩阵 <math id="M57"><mi mathvariant="bold-italic">M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527265&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527259&type= 3.97933316 2.96333337 的各行各列分别进行计算得到权重 <math id="M58"><mi mathvariant="bold-italic">α</mi><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mfenced separators="|"><mrow><mi>m</mi><mo>+</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced><mo>⋅</mo><mi>n</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527269&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527266&type= 18.54199982 3.72533321 和 <math id="M59"><mi mathvariant="bold-italic">β</mi><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>n</mi><mo>⋅</mo><mfenced separators="|"><mrow><mi>m</mi><mo>+</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527274&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527271&type= 18.62666702 4.23333359 ： <math display="block" id="M60"><msub><mrow><mi>α</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><msub><mrow><mi>M</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></mfenced></mrow><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><msub><mrow><mi>M</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></mfenced></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527280&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527262&type= 27.60133362 14.81666565 <math display="block" id="M62"><msub><mrow><mi>β</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><msub><mrow><mi>M</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></mfenced></mrow><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi><mo>+</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></munderover></mstyle><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><msub><mrow><mi>M</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></mfenced></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527295&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527294&type= 29.88733101 15.66333294 <math id="M64"><mi mathvariant="bold-italic">α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527335&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527333&type= 2.11666679 2.79399991 表示评价目标中的每个词对上下文文本中的每个词的注意力权重， <math id="M65"><mi mathvariant="bold-italic">β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527306&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527310&type= 2.28600001 3.64066648 表示上下文文本中的每个词对评价目标中的每个词的注意力权重。 对 <math id="M66"><mi mathvariant="bold-italic">β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527306&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527310&type= 2.28600001 3.64066648 继续平均化操作得到上下文整体对评价目标中的每个词的注意力权重 <math id="M67"><mover accent="true"><mi mathvariant="bold-italic">β</mi><mo>¯</mo></mover><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>⋅</mo><mfenced separators="|"><mrow><mi>m</mi><mo>+</mo><msub><mrow><mi>m</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></mfenced></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527326&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527314&type= 18.62666702 4.23333359 ： <math display="block" id="M68"><mover accent="true"><mi mathvariant="bold-italic">β</mi><mo>¯</mo></mover><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>β</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527339&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527318&type= 18.28800011 8.63599968 <math id="M70"><mover accent="true"><mi mathvariant="bold-italic">β</mi><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527343&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527331&type= 2.28600001 4.14866638 值越大表示对应的评价目标中的词对上下文文本越重要。 根据 <math id="M71"><mi mathvariant="bold-italic">α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527335&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527333&type= 2.11666679 2.79399991 和 <math id="M72"><mover accent="true"><mi mathvariant="bold-italic">β</mi><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527369&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527353&type= 2.28600001 4.14866638 得到评价目标整体对上下文文本中的每个词的注意力权重 <math id="M73"><mi mathvariant="bold-italic">γ</mi><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>⋅</mo><mi>n</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527360&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527373&type= 11.68400002 3.89466691 ： <math display="block" id="M74"><mi mathvariant="bold-italic">γ</mi><mo>=</mo><mover accent="true"><mi>β</mi><mo>¯</mo></mover><mo>⋅</mo><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527380&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527364&type= 13.03866673 4.06400013 <math id="M76"><mi mathvariant="bold-italic">γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527388&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527384&type= 2.11666679 3.64066648 值越大表示对应的上下文文本中的词对该评价目标越重要。从注意力权重 <math id="M77"><mover accent="true"><mi mathvariant="bold-italic">β</mi><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527417&type= 2.28600001 4.14866638 和 <math id="M78"><mi mathvariant="bold-italic">γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527424&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527409&type= 2.11666679 3.64066648 的计算方式发现，这种处理机制能够在更加细粒度的单词级上实现上下文和评价目标之间的交互，进一步增强两者语义表示之间的关联性。 通过注意力权重 <math id="M79"><mover accent="true"><mi mathvariant="bold-italic">β</mi><mo>¯</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527406&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527417&type= 2.28600001 4.14866638 和 <math id="M80"><mi mathvariant="bold-italic">γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527424&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527409&type= 2.11666679 3.64066648 获取上下文和评价目标之间的相互作用关系，进而更新评价目标和上下文的语义信息表示 <math id="M81"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>I</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527431&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527426&type= 11.26066685 4.23333359 和 <math id="M82"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>g</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>I</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527435&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527446&type= 11.51466751 4.23333359 ，表达式分别如下： <math display="block" id="M83"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>c</mi></mrow></msub><msubsup><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>c</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><mo>⋅</mo><msup><mrow><mi mathvariant="bold-italic">γ</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527453&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527438&type= 23.79133224 4.82600021 <math display="block" id="M85"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>g</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>a</mi></mrow></msub><msubsup><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>a</mi><mi>g</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><mo>⋅</mo><msup><mrow><mover accent="true"><mi mathvariant="bold-italic">β</mi><mo>¯</mo></mover></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527456&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527459&type= 24.46866608 5.24933338 其中， <math id="M87"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>I</mi></mrow></msub><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>H</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527465&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527474&type= 16.00200081 4.23333359 和 <math id="M88"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>a</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>I</mi></mrow></msub><mo>⋅</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>H</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527477&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527467&type= 16.17133331 4.23333359 为待学习的参数矩阵。 最后在输出层将 <math id="M89"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527469&type= 3.30200005 3.72533321 和 <math id="M90"><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>g</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527490&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527488&type= 3.47133350 3.72533321 拼接得到最终的分类特征表示 <math id="M91"><mi mathvariant="bold-italic">I</mi><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mn mathvariant="normal">2</mn><msub><mrow><mi>d</mi></mrow><mrow><mi>I</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527503&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527485&type= 10.58333302 3.38666677 ，经过全连接层和Softmax层映射到情绪类别空间上进行预测分析，从而得到情绪分类结果： <math display="block" id="M92"><mi mathvariant="bold-italic">x</mi><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="bold-italic">I</mi></mrow></msub><mi mathvariant="bold-italic">I</mi><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi mathvariant="bold-italic">I</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527499&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527495&type= 21.33600044 3.89466691 <math display="block" id="M94"><mi mathvariant="bold-italic">y</mi><mo>~</mo><mi>p</mi><mo>=</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">x</mi></mrow></mfenced><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mtext> </mtext><mfenced separators="|"><mrow><mi mathvariant="bold-italic">x</mi></mrow></mfenced></mrow><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>C</mi></mrow></munderover></mstyle><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527502&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527510&type= 52.66266251 13.97000027 其中， <math id="M96"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="bold-italic">I</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>C</mi><mo>⋅</mo><mn mathvariant="normal">2</mn><msub><mrow><mi>d</mi></mrow><mrow><mi>I</mi></mrow></msub></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527517&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527514&type= 16.17133331 4.23333359 和 <math id="M97"><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi mathvariant="bold-italic">I</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>C</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527522&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527520&type= 10.58333302 4.31799984 是待学习的参数， <math id="M98"><mi mathvariant="bold-italic">y</mi><mo>∈</mo><msup><mrow><mi mathvariant="double-struck">R</mi></mrow><mrow><mi>C</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527527&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527524&type= 9.90600014 3.89466691 是每个情绪类别的预测概率分布， <math id="M99"><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527542&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527540&type= 2.62466669 2.79399991 是情绪类别数。 此外，本文使用带有L2正则化系数的交叉熵损失函数进行训练，用 <math id="M100"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527543&type= 1.86266661 2.79399991 表示模型中的参数，最小化模型的交叉熵损失函数 <math display="block" id="M101"><mi>L</mi><mfenced separators="|"><mrow><mi>θ</mi></mrow></mfenced><mo>=</mo><mo>-</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>C</mi></mrow></munderover></mstyle><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>*</mi></mrow></msubsup><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mfenced separators="|"><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi>θ</mi></mrow></msub><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>θ</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527553&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527549&type= 51.22333527 8.55133343 其中， <math id="M103"><msup><mrow><mi>y</mi></mrow><mrow><mi>*</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527566&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527547&type= 3.30200005 3.89466691 表示情绪标签真实分布， <math id="M104"><msub><mrow><mi>λ</mi></mrow><mrow><mi>θ</mi></mrow></msub><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>θ</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527559&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527555&type= 9.99066734 5.24933338 表示L2正则化项，可以在一定程度上防止模型过拟合，加快模型收敛。 本文在情绪分类方法中，通过采用更加细粒度的交互注意力机制实现了上下文和评价目标之间的充分交互，增强了两者语义表示之间的关联性，最终在细粒度情绪信息指导下完成了更加精准的情绪分类。 2　 实 验 1 2.1　数据集和评价指标 2 2.1.1　数据集 3 由于目前公开的网络舆情中文数据集稀少，对其开展情绪分析工作比较困难，本文以新冠肺炎疫情为主题构建了一个含有人工标注细粒度情绪信息的COVID-19网络舆情中文数据集。该数据集以国内各大新媒体平台发表的有关新冠肺炎疫情的言论为原始语料，在此基础上进行了数据预处理操作，剔除了文本中非法字符和网页链接等无效信息。 在数据集标注过程中，按照事先制定好的标注规范，标注人员将情绪对象、评价观点作为情绪对标注出来，再根据情绪对标注情绪标签。 传统的情绪分类通常是粗粒度的，仅考虑正向、负向两种情绪类别 [ 14 14 ] 。针对网络舆情数据的特点，本文扩展定义了更加细粒度的七大情绪类别标签，包括：悲伤(sadness)、喜爱(like)、快乐(happiness)、生气(anger)、厌恶(disgust)、惊讶(surprise)、害怕(fear)。 本文对8 254条网络舆情数据进行了标注，最终获得了5 091条有效数据，共11 267个情绪对，平均每条文本2.21个情绪对，情绪标签分布如 表1 表1 所示。为了分析数据集中情绪表达的均衡性，本文统计了每条数据内情绪对的数量，56.28%的有效数据包含至少两个情绪对，每个情绪对所对应的情绪标签也不尽相同。 情绪标签 数量/条 占比/% 悲伤 1 257 11.16 喜爱 5 774 51.25 快乐 398 3.53 生气 516 4.58 厌恶 1 874 16.63 惊讶 904 8.02 害怕 544 4.83 合计 11 267 100.00 从 表1 表1 可知，数据集中各类情绪标签的占比存在一定差异，这正与人类表达情绪的偏好和疫情期间舆论倾向的真实情况相符合。所有实验数据按照3∶1∶1的比例随机划分为训练集、验证集和测试集。 2.1.2　评价指标 3 由 表1 表1 可知数据集的情绪标签分布并不平衡，仅使用准确率(ACC)作为评价指标不能很好地衡量数量较少的类别上的分类性能，而macro- F 1得分恰好能够客观准确地计算各类别分类性能，所以本文采用准确率(ACC)和macro- F 1得分共同作为评价指标来对分类方法的性能进行评估。对于抽取方法的性能，本文采用精确率( P )、召回率( R )及 <math id="M105"><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527581&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45527579&type= 4.48733330 2.79399991 得分三种评价指标对其进行评估。 2.2　实验参数设置 2 基于LSTM的方法中，采用Li等 [ 15 15 ] 在维基百科语料库上预训练的中文词向量来初始化词表示，词向量维度设置为300，LSTM隐藏层和注意力向量的维度均设置为1 024，其他网络参数随机初始化。基于BERT的方法中，采用BERT-base作为编码层，隐藏层的维度设置为768，注意力向量的维度设置为1 024，其他网络参数随机初始化。在训练阶段，两种方法均采用Adam作为优化器，具体的训练参数设置如 表2 表2 所示。 方法 类型 学习率 Dropout 批处理大小 最大迭代周期 最大句子长度 LSTM 1E-3 0.5 32 50 512 BERT 1E-5 0.1 16 30 512 2.3　实验结果定量分析 2 为了实现整个任务流程的全自动化，本文使用了新型网格标注框架GTS对COVID-19网络舆情中文数据集的细粒度情绪信息进行自动抽取和识别。模型抽取共得到了9 986个情绪对，其中正确抽取7 031个，平均每个文本抽取到1.96个情绪对。 表3 表3 展示了本文数据集的抽取实验结果，表明GTS能满足本文的需求。 情绪标签 P R F 1 悲伤 68.90 63.60 66.17 喜爱 71.79 62.54 66.85 快乐 76.37 66.58 71.14 生气 73.59 63.18 67.99 厌恶 75.98 63.29 69.05 惊讶 73.39 61.95 67.19 害怕 55.75 51.65 53.63 7种情绪 70.41 62.40 66.16 % 为了验证本文方法的有效性，选取六种主流分类方法在COVID-19网络舆情中文数据集上进行了实验对比，对比实验包括基于人工标注和自动抽取数据的结果。对比方法的详细介绍如下： LSTM [ 7 7 ] ：仅使用一个LSTM对句子建模并获取每个单词的隐藏状态，最后一个隐藏状态作为最终的分类特征表示。 AT-LSTM [ 8 8 ] ：首先通过LSTM对上下文进行建模，然后将上下文单词的隐藏状态与目标词嵌入相结合生成注意向量，最后将隐藏状态的加权和作为最终的分类特征表示。 ATAE-LSTM [ 8 8 ] ：将平均池化后的目标词向量与上下文中每一个词的词向量拼接作为LSTM的输入，然后根据上下文和目标的关系利用注意力机制动态计算注意力权重，最后根据加权上下文预测给定目标的情绪标签。 AEN [ 9 9 ] ：采用预训练模型BERT和注意力编码网络对上下文和目标进行建模，得到上下文与目标之间的语义交互。在损失函数中引入标签平滑正则项，从而解决标签不可靠性问题。 CapsNet-BERT [ 10 10 ] ：利用BERT模型和胶囊指导路由机制学习上下文与目标之间的复杂关系。在提出的多方面多情感MAMS数据集上取得了比其他目标级情绪分类方法更好的实验效果。 BERT-FC [ 11 11 ] ：用预训练模型BERT获得对应的向量表示，通过全连接层和Softmax函数将最后一层的隐藏状态转换为情绪标签的概率分布，利用交叉熵损失函数进行微调。 表4 表4 展示了本文方法和上述方法在COVID-19网络舆情中文数据集上的对比实验结果。其中FGIA-*表示采用Bi-LSTM或者BERT进行特征向量的编码表示。实验结果表明，融合细粒度信息的交互注意力机制与Bi-LSTMBERT结合，在各项指标上均优于其他基于LSTM的主流分类方法；与BERT结合，在各项指标上均由于其他基于BERT的主流分类方法，具有很强的竞争优势。其中FGIA-Bi-LSTM和FGIA-BERT在人工标注和自动抽取数据上的macro- F 1值分别达到了67.21%/66.79%和80.76%/77.03%，进一步说明了本文方法可以有效提升分类效果。 2 方法 2 标注数据 2 2 抽取数据 ACC Marco- F 1 ACC Marco- F 1 LSTM [ 7 7 ] 77.43 62.65 76.89 61.24 AT-LSTM [ 8 8 ] 77.62 64.81 77.23 62.17 ATAE-LSTM [ 8 8 ] 78.30 64.54 78.11 62.58 FGIA-Bi-LSTM 80.62 67.21 80.01 66.79 AEN [ 9 9 ] 80.71 69.38 79.51 65.05 CapsNet-BERT [ 10 10 ] 81.70 72.13 83.67 69.19 BERT-FC [ 11 11 ] 87.36 79.57 85.72 74.86 FGIA-BERT 88.05 80.76 87.17 77.03 % 此外，从 表4 表4 中可以发现基于BERT的方法在各项指标上均优于基于LSTM的方法。这是由于BERT不同于以往采用传统的单向语言或者浅层拼接两个单向语言模型，而是采用全新的掩码语言模型(masked language model,MLM)对双向Transformers进行预训练以生成深层的双向语言表征，更充分地利用上下文文本信息，因此效果更具优势。 为了验证细粒度信息以及交互注意力机制在分类过程中的有效性，本文对FGIA进行了消融实验，实验结果如 表5 表5 所示。其中，Bi-LSTM-FG、BERT-FG表示在基线方法（LSTM/BERT-FC）中仅加入细粒度信息作为指导，但未利用交互注意力机制。Bi-LSTM-IA、BERT-IA表示在基线方法中仅采用交互注意力机制，未融合细粒度信息。由 表5 表5 可以看出，Bi-LSTM-FG、BERT-FG和Bi-LSTM-IA、BERT-IA相比于基线方法在各项指标上均有所提高。这说明增加细粒度信息的指导能够增强上下文与评价目标的语义表示之间的关联性，加入交互注意力机制不仅可以关注到多词组成的评价目标词间的内容和关系信息，还能实现上下文和评价目标之间的充分交互，从而提升分类效果。消融实验结果表明了细粒度信息和交互注意力机制的有效性和必要性，也进一步证明了FGIA的有效性。 方法 ACC Macro- F 1 基线方法（LSTM-FC） 77.43 62.65 Bi-LSTM-FG 78.70 65.74 Bi-LSTM-IA 79.56 66.38 基线方法（BERT-FC） 87.36 79.57 BERT-FG 87.55 79.89 BERT-IA 87.85 80.51 % 2.4　实验结果定性分析 2 为了进一步评估本文方法的有效性，以基于BERT的方法为例，对本文方法FGIA-BERT与BERT-FC方法在一些典型样本上的分类结果进行了对比，如 表6 表6 。例1中，虽然文本整体表达了对突如其来的新冠肺炎疫情的惊讶情绪，但不难判断出作者在最后一句表达的是对“新型冠状病毒肺炎”的害怕情绪。BERT-FC从文档级情感分析角度对“新型冠状病毒肺炎”错误预测出了惊讶的情绪。本文方法在细粒度情绪线索“恐惧不安”的指导下，正确学习到作者对该评价目标的害怕情绪。由例1~例3可以看出，与BERT-FC相比，FGIA-BERT在文本细粒度信息的指导下，更加深入地利用上下文语义信息，实现上下文和评价目标之间的充分交互，增强两者语义表示之间的关联性，从而挖掘出文本中蕴含的情绪信息。 2 实例 真实标签 BERT-FC FGIA-BERT 例1 ……突如其来 新型冠状病毒肺炎 (T) 的传染性、患病率高得让人 恐惧不安 (C) …… 害怕 惊讶 害怕 例2 武汉，是一个“不服周”的英雄城市，抗过洪水，踏过冰灾，武汉依然坚挺在这里。在这场猝不及防的疫情当中， 武汉的医护人员、企业、环卫工人、志愿者们，甚至是大马路上不起眼的环卫工人，超市里的收银员 (T) ， 都展示出大武汉的江湖豪气 ! (C) …… 喜爱 惊讶 喜爱 例3 ……四大王牌齐聚光明顶！2月9日，近6000人组成的多支医疗队，乘坐41架次包机陆续抵达武汉。 北协和、南湘雅、东齐鲁、西华西 (T1) ，中国医疗界四大王牌军，这一次，共同会师武汉。男理光头女短发， 像不像少林和峨眉大侠 ？ (C1) 其实，不仅仅只这四大医院，……全国资源正在不断向武汉集中，医护人员，更是全国向武汉紧急集结， 中国大陆的白衣战士 (T2) ， 不会临阵脱逃，只会向死而生 (C2) 。中国，精锐尽出！用网友的话说： 全村的龙 (T3) 已把最硬的鳞给你 (C3) ，哪怕自己也伤痕累累…… 喜爱 (1) ； 喜爱 (2) ；喜爱 (3) 惊讶 (1) ； 悲伤 (2) ；喜爱 (3) 喜爱 (1) ； 喜爱 (2) ；喜爱 (3） 例4 应该让那些有意见的学生去回到武汉，让其身临其境地当一次志愿者，就不相信，在这么大的灾难面前，全国人民有力出力有钱捐钱都在援助武汉， 你等高府中之人 (T1) 就 没一点点奉献精神么 ？ (C1) 那就 更别指望 (C2) 以后 这些学子中的精英们 (T2) 为国需要之时捐躯了…… 生气 (1) ；厌恶 (2) 厌恶 (1) ；厌恶 (2) 厌恶 (1) ；厌恶 (2) 最后，为了更好地改进本文方法以及完善实验定性分析，本文根据FGIA-BERT的混淆矩阵进行了错误分析，如 图4 图4 所示。 从 图4 图4 可以发现，本文方法在“喜爱”标签上具有最好的预测效果，准确率达到了88.4%，在除了“生气”“厌恶”的其他标签上也都超过80%的准确率。通过进一步分析，准确率最低的两类标签中“生气”的错误预测大部分来源于“厌恶”标签。由于人们在正常情绪表达过程中，生气与厌恶情绪往往会伴随发生，两者之间的界限原本就比较模糊，难以界定。同时模型对测试数据中标签数量更少的“生气”情绪的特征识别不足，导致错误预测，如例4所示。 3　 结 语 1 本文提出了一种基于细粒度信息交互注意力的情绪分类方法FGIA，解决了主流分类方法针对网络舆情数据泛化能力较弱的问题。该方法首先利用交互注意力机制实现上下文与评价目标间的充分交互，然后在细粒度信息的指导下获取上下文和评价目标语义表示，最后将两者进行拼接得到最终的分类特征表示，进而完成情绪分类。在本文构建的COVID-19网络舆情中文数据集上进行了实验验证，表明本文方法能够有效地提升网络舆情数据情绪分类的准确性，具有较强的通用性和泛化能力。 下一步可继续完善辅助信息的抽取工作，实现对网络舆情数据中更复杂的长文本数据中细粒度信息的准确识别与抽取，以充分利用文本中的语义信息，用于完成网络舆情情绪分析任务。此外，可进一步在方法中融入更多的背景知识作为先验信息辅助分类。例如网络媒体中发表主观言论的公众不仅关注其所在区域的热点事件，还会留意其他地域的新闻信息，采集用户的位置信息进行融合，兼顾不同区域之间网络舆情的差异性和关联性，更好地实现网络舆情情绪分类。 参考文献 陈虹 ， 杨燕 ， 杜圣东 . 用户评论方面级情感分析研究 ［J］. 计算机科学与探索 ， 2021 ， 15 （ 3 ）： 478 - 485 . DOI： 10.3778/j.issn.1673-9418.2007011 http://dx.doi.org/10.3778/j.issn.1673-9418.2007011 . 用户评论方面级情感分析研究 CHEN H ， YANG Y ， DU S D . Research on aspect-level sentiment analysis of user reviews ［J］. Journal of Frontiers of Computer Science and Technology ， 2021 ， 15 （ 3 ）： 478 - 485 . DOI： 10.3778/j.issn.1673-9418.2007011（Ch http://dx.doi.org/10.3778/j.issn.1673-9418.2007011（Ch ）. Research on aspect-level sentiment analysis of user reviews NASUKAWA T ， YI J . Sentiment analysis： Capturing favorability using natural language processing ［C］// Proceedings of the 2nd International Conference on Knowledge Capture . New York ： ACM ， 2003 ： 70 - 77 . DOI： 10.1145/945645.945658 http://dx.doi.org/10.1145/945645.945658 . Sentiment analysis： Capturing favorability using natural language processing NGUYEN T H ， SHIRAI K . Aspect-based sentiment analysis using tree kernel based relation extraction ［C］// Computational Linguistics and Intelligent Text Processing . Cham ： Springer International Publishing ， 2015 ： 114 - 125 . DOI： 10.1007/978-3-319-18117-2_9 http://dx.doi.org/10.1007/978-3-319-18117-2_9 . Aspect-based sentiment analysis using tree kernel based relation extraction RAO D ， RAVICHANDRAN D . Semi-supervised polarity lexicon induction ［C］// Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics . Stroudsburg ： Association for Computational Linguistics ， 2009 ： 675 - 682 . DOI： 10.3115/1609067.1609142 http://dx.doi.org/10.3115/1609067.1609142 . Semi-supervised polarity lexicon induction ZHANG S X ， WEI Z L ， WANG Y ， et al . Sentiment analysis of Chinese micro-blog text based on extended sentiment dictionary ［J］. Future Generation Computer Systems ， 2018 ， 81 （ C ）： 395 - 403 . DOI： 10.1016/j.future.2017.09.048 http://dx.doi.org/10.1016/j.future.2017.09.048 . Sentiment analysis of Chinese micro-blog text based on extended sentiment dictionary LIU M Z ， ZHOU F Y ， CHEN K ， et al . Co-attention networks based on aspect and context for aspect-level sentiment analysis ［J］. Knowledge⁃Based Systems ， 2021 ， 217 ： 106810 . DOI： 10.1016/j.knosys.2021.106810 http://dx.doi.org/10.1016/j.knosys.2021.106810 . Co-attention networks based on aspect and context for aspect-level sentiment analysis HOCHREITER S ， SCHMIDHUBER J . Long short-term memory ［J］. Neural Computation ， 1997 ， 9 （ 8 ）： 1735 - 1780 . DOI： 10.1162/neco.1997.9.8.1735 http://dx.doi.org/10.1162/neco.1997.9.8.1735 . Long short-term memory WANG Y Q ， HUANG M L ， ZHU X Y ， et al . Attention-based LSTM for aspect-level sentiment classification ［C］// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing . Stroudsburg ： Association for Computational Linguistics ， 2016 ： 606 - 615 . DOI： 10.18653/v1/d16-1058 http://dx.doi.org/10.18653/v1/d16-1058 . Attention-based LSTM for aspect-level sentiment classification SONG Y W ， WANG J H ， JIANG T ， et al . Targeted sentiment classification with attentional encoder network ［C］// International Conference on Artificial Neural Networks . Cham ： Springer International Publishing ， 2019 ： 93 - 103 . DOI： 10.1007/978-3-030-30490-4_9 http://dx.doi.org/10.1007/978-3-030-30490-4_9 . Targeted sentiment classification with attentional encoder network JIANG Q N ， CHEN L ， XU R F ， et al . A challenge dataset and effective models for aspect-based sentiment analysis ［C］// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP） . Stroudsburg ： Association for Computational Linguistics ， 2019 ： 6280 - 6285 . DOI： 10.18653/v1/d19-1654 http://dx.doi.org/10.18653/v1/d19-1654 . A challenge dataset and effective models for aspect-based sentiment analysis DEVLIN J ， CHANG M W ， LEE K ， et al . BERT： Pre-training of deep bidirectional transformers for language understanding ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies . Stroudsburg ： Association for Computational Linguistics ， 2019 ： 4171 - 4186 . DOI： 10.18653/v1/N19-1423 http://dx.doi.org/10.18653/v1/N19-1423 . BERT： Pre-training of deep bidirectional transformers for language understanding WU Z H ， YING C C ， ZHAO F ， et al . Grid tagging scheme for end-to-end fine-grained opinion extraction ［C］// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing： Findings . Stroudsburg ： Association for Computational Linguistics ， 2020 ： 2576 - 2585 . DOI： 10.18653/v1/2020.findings-emnlp.234 http://dx.doi.org/10.18653/v1/2020.findings-emnlp.234 . Grid tagging scheme for end-to-end fine-grained opinion extraction VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention is all You need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . New York ： ACM ， 2017 ： 6000 - 6010 . DOI： 10.5555/3295222.3295349 http://dx.doi.org/10.5555/3295222.3295349 . Attention is all You need 张真练 ， 刘茂福 ， 胡慧君 . 基于联合特征与Bi-LSTM模型的英汉双语文本情绪预测 ［J］. 武汉大学学报（理学版） ， 2019 ， 65 （ 3 ）： 269 - 275 . DOI： 10.14188/j.1671-8836.2019.03.006 http://dx.doi.org/10.14188/j.1671-8836.2019.03.006 . 基于联合特征与Bi-LSTM模型的英汉双语文本情绪预测 ZHANG Z L ， LIU M F ， HU H J . Emotion prediction of English-Chinese bilingual texts based on joint features and Bi-LSTM model ［J］. Journal of Wuhan University （Natural Science Edition） ， 2019 ， 65 （ 3 ）： 269 - 275 . DOI： 10.14188/j.1671-8836.2019.03.006 （Ch http://dx.doi.org/10.14188/j.1671-8836.2019.03.006（Ch ）. Emotion prediction of English-Chinese bilingual texts based on joint features and Bi-LSTM model LI S H ， ZHAO Z H ， HU R F ， et al . Analogical reasoning on Chinese morphological and semantic relations ［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics . Stroudsburg ： Association for Computational Linguistics ， 2018 ： 138 - 143 . DOI： 10.18653/v1/p18-2023 http://dx.doi.org/10.18653/v1/p18-2023 . Analogical reasoning on Chinese morphological and semantic relations 10.14188/j.1671-8836.2021.0360 TP391 A 1671-8836（2023）03-0400-09 胡慧君，易洋，施琦， 等.基于细粒度信息交互注意力的情绪分类方法［J］.武汉大学学报（理学版），2023，69（3）：400-408. DOI： 10.14188/j.1671-8836.2021.0360 http://dx.doi.org/10.14188/j.1671-8836.2021.0360 . 胡慧君，易洋，施琦， 等.基于细粒度信息交互注意力的情绪分类方法［J］.武汉大学学报（理学版），2023，69（3）：400-408. DOI：10.14188/j.1671-8836.2021.0360. HU Huijun，YI Yang，SHI Qi， et al .An Emotion Classification Method Based on Interactive Attention Mechanism with Fine⁃Grained Information ［J］. J Wuhan Univ （ Nat Sci Ed ），2023，69（3）：400-408. DOI： 10.14188/j.1671-8836.2021.0360（Ch http://dx.doi.org/10.14188/j.1671-8836.2021.0360(Ch ）. HU Huijun，YI Yang，SHI Qi，et al.An Emotion Classification Method Based on Interactive Attention Mechanism with Fine⁃Grained Information ［J］.J Wuhan Univ （Nat Sci Ed），2023，69（3）：400-408. DOI：10.14188/j.1671-8836.2021.0360（Ch）. 国家重点研发计划（2019YFC1712500）；贵州省科技计划项目（黔科合支撑［2021］一般095） 2021-12-29 2023-06-24 2023-07-11 39574586 武汉大学学报（理学版） 3 69