基于AM⁃BiLSTM模型的情绪原因识别

基于AM⁃BiLSTM模型的情绪原因识别 Emotion Cause Recognition Based on AM⁃BiLSTM Model 1 2 first-author 夏林旭，男，硕士生，研究方向为自然语言处理。E⁃mail：990234477@qq.com 夏林旭，男，硕士生，研究方向为自然语言处理。E⁃mail：990234477@qq.com 990234477@qq.com 1 2 1 2 corresp E⁃mail： huhuijun@wust.edu.cn E⁃mail： huhuijun@wust.edu.cn huhuijun@wust.edu.cn 武汉科技大学 计算机科学与技术学院，湖北 武汉 430065 武汉科技大学 计算机科学与技术学院，湖北 武汉 430065 School of Computer Science and Technology， Wuhan University of Science and Technology， Wuhan 430065， Hubei， China School of Computer Science and Technology， Wuhan University of Science and Technology， Wuhan 430065， Hubei， China 智能信息处理与实时工业系统湖北省重点实验室，湖北 武汉 430065 智能信息处理与实时工业系统湖北省重点实验室，湖北 武汉 430065 Hubei Province Key Laboratory of Intelligent Information Processing and Real⁃Time Industrial System， Wuhan 430065， Hubei，China Hubei Province Key Laboratory of Intelligent Information Processing and Real⁃Time Industrial System， Wuhan 430065， Hubei，China 文本情绪原因识别是情感分析中一个新的研究方向，旨在从文本中自动检测出导致某一情绪产生的原因。针对循环神经网络在长文中出现的长期依赖问题，本文提出了一种基于注意力机制和双向长短时记忆（attention model and bi⁃directional long short⁃term memory，AM⁃BiLSTM）神经网络模型的情绪原因识别方法。该方法采用字符向量表示文本语义信息，使用BiLSTM模型提取文本特征，该过程结合了人工提取的子句特征，在训练模型时，引入了注意力机制来优化模型性能，使用softmax对子句进行分类。实验结果表明本文方法对情绪原因的识别是有效的。 Textual emotion cause recognition is a new research direction in sentiment analysis, which aims to identify the causes of a certain emotion from the natural language texts automatically. In order to solve the long⁃term dependency problem of recurrent neural network in long natural language texts, this paper proposes an emotion cause recognition model based on attention mechanism (AM) and bi⁃directional long short⁃term memory (BiLSTM). The AM⁃BiLSTM model adopts character embedding to represent semantic information of the text, and then the BiLSTM is used to extract the textual features. In the model training phase, the AM is introduced to optimize the performance, and finally, we use softmax to classify the text. The experimental results show that our model is effective in the emotion cause recognition task. 情绪原因识别 注意力机制 双向长短时记忆网络 特征提取 emotion cause recognition attention mechanism bi-directional long short⁃term memory feature extraction 夏林旭,刘茂福,胡慧君.基于AM⁃BiLSTM模型的情绪原因识别[J].武汉大学学报（理学版）,2019,65(3):276-282. DOI:10.14188/j.1671-8836.2019.03.007. 0　 引 言 1 情绪作为人内心世界的一种外在表达方式，也是实现人与机器交流的重要接口，很早就成为了众多学者 ［ 1 1 ］ 的研究对象。文本情绪分析就是利用情绪计算来挖掘文本中所表达的情绪及其相关信息，这些研究不仅能帮助人们获取更多的关于内心世界的知识，而且对人工智能的研究也有巨大的推动作用。目前，大部分针对情绪分析的研究主要集中在情绪识别 ［ 2 2 ］ 和情绪分类 ［ 3 3 ~ 6 6 3~6 ］ 方面，只关注情绪的类别，属于比较浅层的情绪分析任务。 情绪原因识别是近年来出现的深层次文本分析与理解的研究，它能针对文本中出现的情绪关键词，自动识别出导致其产生的原因信息。该研究建立在标注语料库的基础之上，而语料库的建立基本依赖人工标注，非常匮乏，相关的研究技术还不成熟。因此，目前有关情绪原因识别的研究相对较少，主流方法采用的是基于语言学规则 ［ 7 7 ］ 和基于统计 ［ 8 8 ， 9 9 ］ 的策略。 随着深度学习模型的广泛应用，基于深度学习的情绪分析在大数据下也表现出了较好的效果。慕永利等 ［ 10 10 ］ 提出了基于集成卷积神经网络的情绪原因识别方法，该方法集成了多个CNN（convolutional neural network）模型，用来降低数据不平衡性，省略了传统方法中规则制定和特征抽取等过程。最终结果表明，该方法不如加入了命名实体识别NER（named entity recognition）和语义分析后的SVM效果好，但是作者指出，当选取多个候选项时，识别结果有了明显的提高，这对于文本情绪原因识别的方法研究具有一定的指导作用。 针对神经网络模型在情绪原因识别任务中的良好表现，本文综合考虑文本和子句特征，提出了一种模型AM⁃BiLSTM（attention model and bi⁃directional long short⁃term memory）识别情绪原因。该模型将情绪原因识别任务视为一个分类问题，依赖双向长短时记忆网络和注意力机制进行建模 ［ 11 11 ］ ，通过softmax对训练结果进行分类，得到情绪原因识别结果。 1　 系统结构 1 为了描述问题的方便，本文将情绪原因所在的子句称为情绪原因子句，将情绪关键词所在的子句称为情绪关键子句，这里的子句是以逗号、问号、感叹号、句号等标点符号为结尾的句子。情绪原因识别实际上是一个分类问题，主要判断文本中每个子句是否为情绪原因子句。已有的分类问题大多都是采用SVM模型，该模型并不能充分利用子句中的语义信息。因此，为了更好的识别情绪原因子句，本文利用BiLSTM（bi⁃directional long short term memory）来建模，并在模型中加入注意力机制。将人工提取的词性特征、距离和情绪关键词等子句特征与BiLSTM模型训练的特征进行融合以达到充分利用子句语义信息的目的。本方法的系统结构如 图1 图1 所示。 1） 数据预处理。首先利用Jieba分词工具（ http：//pypi.python.org/pypi/jieba/ http://pypi.python.org/pypi/jieba/ ）对训练数据和测试数据进行分词和词性标注处理，然后提取每个子句中名词、动词并统计其数目。触发情绪产生的原因主要是一类事物或者一系列行为，而这两类原因一般分别由名词表示的名词性短语和动词表示的动词性短语组成，所以本文选择了这两类词性作为子句词性特征。经统计发现，情绪原因子句一般会出现在情绪关键子句周围，而且越靠近出现的概率越大，因此系统提取了子句相对于情绪关键子句的位置特征。最后将情绪关键词本身作为标志词，也能为分类任务提供一定的语义信息。 2） 语料规范化。在这个模块中，首先利用Word2Vec进行字符向量训练，得到每个字符的向量。因为新闻属于开放领域，所以使用中文的维基百科数据（ https：//dumps.wikimedia.org/ https://dumps.wikimedia.org/ ）来训练字符向量。然后将提取的子句特征与子句本身进行融合，得到每个子句的句向量表示。 3） 模型训练与分类。使用训练语料训练基于注意力机制的BiLSTM模型，并选用softmax为子句进行分类。softmax作为最常用的分类器，可以将神经网络的输出变成0到1的概率分布。最后利用训练好的模型对测试语料进行预测，得到最终的分类结果。 4） 情绪原因子句提取。在此模块中，将分类结果与测试语料作对比，找到情绪原因子句并提取出来，并将其作为情绪原因识别的最终结果。同时，利用最终结果和评测工具来评测系统的性能。 2　 AM⁃BiLSTM 1 AM⁃BiLSTM模型如 图2 图2 所示。 2.1　文本向量化 2 使用深度学习算法来处理数据，需要先将文本向量化。本文采用的是Mikolov等 ［ 12 12 ］ 提出的Word2Vec方法，该方法有连续词袋模型CBOW（continuous bag⁃of⁃words ）和Skip⁃Gram两种模型。本文字符向量训练采用的是连续词袋模型CBOW。Word2Vec能够将文本中的字符转化为向量空间中的向量，而向量之间的相似度则可以表示文本中的语义相似度。 研究表明，加入了预先训练的字符向量可以有效地提升自然语言处理模型的性能，本文在规范化语料的模块中加入了预先训练好的字符向量。 2.2　双向长短时记忆网络 2 在有些新闻文本中，子句比较长，这样可能会使当前的预测标签和相关信息之间的间隔很大。而标准的神经网络能够学习到的上下文信息有限，且随着子句的变长，隐含层的输入信息对模型的输出信息影响越来越小。而长短时记忆网络LSTM（long short⁃term memory）的设计就是为了解决这样的长期依赖问题。 LSTM是一种特殊的循环体结构，能够有效地解决标准循环神经网络中梯度消失和梯度爆炸问题。本文先将子句中每个字的向量进行组合形成子句向量，然后与子句中提取的特征向量融合，作为LSTM模型的输入进行训练。LSTM将RNN（recurrent neural network）的输入层和隐藏层移入记忆单元加以保护，并通过“门”结构来让信息有选择性地影响循环神经网络中每个时刻的状态。所谓的“门”结构就是使用sigmoid神经网络和逐点乘积操作。经过sigmoid作为激活函数的全连接神经网络层会输出一个0和1之间的数值，以此来定义信息通过的程度，0表示信息都无法通过，1表示信息都可以通过。 在LSTM神经网络中，状态的传输是单向的，即从前往后传播。然而，在某些新闻语料中，当前时刻的状态不仅和之前的状态有关，也和之后的状态相关，即需要充分利用子句的上下文关系。例如：在句子“拿到红本时还是格外的开心”和“更令他开心的是失业多年的儿子当上了协管员”中，都有“开心”这个情绪词，第一个句子的情绪原因为上文的“拿到红本”，而第二个句子则是下文中的“失业多年的儿子当上了协管员”。此时，就需要使用双向的LSTM来解决这类问题。 BiLSTM是RNN的一个变种，其结构如 图3 图3 所示。从 图3 图3 可以看出，BiLSTM是由两个LSTM上下反向叠加在一起组成的，输出则由这两个LSTM的状态共同决定。当向输入层输入一个子句时，模型会分别从前向和后向两个方向进行运算，这样既能保存子句中过去的语义信息，又能考虑到子句未来的语义信息，从而更充分地利用子句的上下文信息。 2.3　注意力模型（Attention model） 2 在新闻语料中，并不是所有的词都对子句的语义表达有相同的贡献，每个子句的长短不一，有用信息的间隔有大有小。因此，本文引入了注意力机制来提取重要的信息，并选择性的忽略无用的信息，最后将这些信息的向量组合在一起作为输出。 注意力模型是一种模拟人脑注意力的模型 ［ 11 11 ］ 。在自然语言处理领域中，该模型主要是用来表示文本句子中的词与输出结果之间的相关性 ［ 13 13 ］ ，使模型在训练时聚焦到数据中的重要信息，然后对重要信息做放大处理，并选择性忽略不重要的信息，从而更好的表征文本信息，使训练出的模型具有更好的性能。具体计算公式如下： <math display="block" id="M1"><msub><mrow><mi>u</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mtext> </mtext><mo stretchy="false">(</mo><msub><mrow><mi>W</mi></mrow><mrow><mi>w</mi></mrow></msub><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>+</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>w</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207272&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207269&type= 34.12066650 4.48733330 <math display="block" id="M2"><msub><mrow><mi>α</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mtext> </mtext><mo stretchy="false">(</mo><msubsup><mrow><mi>u</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msub><mrow><mi>u</mi></mrow><mrow><mi>w</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><msub><mo>∑</mo><mrow><mi>t</mi></mrow></msub><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mtext> </mtext><mo stretchy="false">(</mo><msubsup><mrow><mi>u</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><msub><mrow><mi>u</mi></mrow><mrow><mi>w</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207278&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207276&type= 30.90333366 9.73666668 <math display="block" id="M3"><mi mathvariant="bold-italic">V</mi><mo>=</mo><msub><mo>∑</mo><mrow><mi>t</mi></mrow></msub><mrow><msub><mrow><mi>α</mi></mrow><mrow><mi>t</mi></mrow></msub><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207285&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207281&type= 19.98133469 4.74133348 其中：（1）式中的 <math id="M4"><msub><mrow><mi>W</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207293&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207289&type= 5.58799982 3.72533321 与 <math id="M5"><msub><mrow><mi>b</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207299&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207296&type= 3.64066648 3.72533321 是注意力模型的可调节权重和偏置项， <math id="M6"><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207305&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207302&type= 2.70933342 3.72533321 是BiLSTM层的输出；（2）式中 <math id="M7"><msub><mrow><mi>u</mi></mrow><mrow><mi>w</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207313&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207311&type= 3.55599999 3.72533321 也是权重值，计算的结果 <math id="M8"><msub><mrow><mi>α</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207319&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207316&type= 2.70933342 3.72533321 表示句子中每个词的重要度信息；（3）式中的 V 即为经过注意力模型计算后的输出向量。 3　 实验结果与分析 1 3.1　数据来源 2 本文使用的文本语料来自NTCIR⁃13会议中情绪原因分析ECA ［ 14 14 ］ （emotion cause analysis）任务提供的公开数据集，由3 000个新闻文本组成，其中2 500条为训练集，500条为测试集，每个文本都标注了情绪关键词以及对应的类别和原因。其中，情绪类别分为6种基本状态：happiness（喜）、anger（怒）、sadness（哀）、fear（惧）、disgust（恶）和surprise（惊）。实验过程中，随机选取训练集中250条作为训练模型的验证集。标注后的语料如例1所示，目标是识别出导致情绪关键词“戳中泪点”产生的原因子句（注：〈cause id=0〉与〈/cause〉之间的内容为情绪原因子句，其中id表示文本中情绪原因子句的编号，〈keyword〉与〈/keyword〉之间的内容为情绪关键词，〈category name="happiness"/〉表示情绪类别为喜）。 例1： 最后，董医生幽默地说：“早知道他们会拍照，我先收拾收拾啊”。有网友看了这组图片后表示，〈cause id=0〉一看到医生那个拥抱的姿势〈/cause〉，立刻就被〈keyword〉戳中泪点〈/keyword〉，为这样的医生点赞。〈category name="happiness"/〉 在这个任务中，情绪关键词和其情绪类别都已给出并做好了标注，需要根据该情绪关键词分析并理解文本语义关系，从而在上下文中找出情绪原因子句。另外，在一些文本中，情绪关键词也可能包含多个情绪原因子句，这种情况下，需要将它们全部识别出来。 情绪原因识别即通过给定情绪关键词找到导致其产生的原因，其示例如 表1 表1 所示。在 表1 表1 中，对例1中情绪关键子句S 0 周围的子句（位置分别为S -2 ，S -1 ，S 0 ，S 1 和S 2 等）给出其是否属于情绪原因子句的标签，如果是情绪原因子句，则标为“1”，否则标为“0”。 子句位置 子句 标签 S -5 最后 0 S -4 董医生幽默地说：早知道他们会拍照 0 S -3 我先收拾收拾啊 0 S -2 有网友看了这组图片后表示 0 S -1 一看到医生那个拥抱的姿势 1 S 0 立刻就被戳中泪点 0 S 1 为这样的医生点赞 0 通过对数据的统计，获得了情绪子句在语料中的统计信息，如 表2 表2 所示。 相关信息 数量 占比/% 情绪原因子句 4 659 13.00 非情绪原因子句 31 155 87.00 情绪原因子句与核心子句距离小于等于3的子句 3 936 84.48 情绪原因子句与核心子句距离大于3的子句 723 15.52 包含一个情绪原因子句的文本 1 939 64.63 包含多个情绪原因子句的文本 1 053 35.10 不包含情绪原因子句的文本 8 0.27 由 表2 表2 可以看出，整个数据集中情绪原因子句只占所有子句的13%，这样导致训练模型时，可利用的情绪原因子句信息比例较小，从而会使该分类的结果欠拟合，达不到预期的效果。因此，本文在数据预处理时，使用了上采样方法，将训练语料中的情绪原因子句复制了一份，并重新组合后随机加入到训练语料中。此外，实验中还添加了1 161条人工标注的情绪原因子句，以平衡语料库中的正负样本。从位置统计结果可以看到，约有84.48%的情绪原因子句分布在情绪核心子句前后距离为3的范围内，所以在数据预处理中，实验中将每个子句的位置特征作为重要的特征信息融合到子句中，以便提高情绪原因的识别率。最后，在单个的新闻文本中，包含一个情绪原因子句的样本约占64.63%，包含多个的约占35.10%，而不包含的只占0.27%。因此，为了减少模型中的噪音，实验中去掉了不包含原因子句的文本。 3.2　评价指标 2 实验结果评估采用精确率 P （Precision）、召回率 R （Recall）和 F 1。由于本实验只涉及到正负两种类别，也就是情绪原因子句（用Y表示）和非情绪原因子句（用N表示），而且两个类别的评估结果相差很大，所以分别给出了两个类别的评分结果。例如， P Y 表示分类属于情绪原因子句的精确率； P N 表示分类不属于情绪原因子句的精确率。 3.3　参数设置 2 通过不断调整优化参数，效果最好的超参数设置如下：字符向量的维度为64维，并将其作为BiLSTM模型的词表输入，BiLSTM模型的隐藏层节点数为128，层数为1，优化器使用Adam，学习率（learning rate）为0.001，dropout值为0.8，批处理大小batchsize为128。注意力模型的隐藏层大小设为128。 3.4　实验结果 2 为了验证本文设计的模型对情绪原因识别任务的有效性，共设计了4种模型，分别是CRF（conditional random field）模型、LSTM模型、BiLSTM模型和AM⁃BiLSTM模型。其中，CRF模型还原了Gui等 ［ 15 15 ， 16 16 ］ 提出的方法，将情绪关键字相关的子句当成一个序列，整体标注出哪些属于情绪原因子句。据经验分析可知，子句的位置等特征对情绪原因分析有一定的帮助，因此系统添加了加入子句特征后的实验，其中子句特征包含子句中的名词、动词、名词个数、动词个数、子句距离、情绪关键词以及其类别等7类特征。 表3 表3 给出了在不同的模型下，没有添加子句特征和加入子句特征后的识别结果，其中上下文表示将当前子句的前后子句特征合并后组成的一种特征。从 表3 表3 中可以看出，由于语料中非情绪原因子句远多于情绪原因子句，所以判断为非情绪原因子句的正确率比判断为情绪原因子句的正确率要高很多，进一步验证了结果分开评价的正确性。 模型 P Y R Y F 1 Y P N R N F 1 N LSTM 0.482 8 0.234 9 0.316 0 0.854 0 0.946 8 0.898 0 BiLSTM 0.502 1 0.372 5 0.427 7 0.907 4 0.943 3 0.925 0 LSTM（子句特征） 0.523 1 0.359 9 0.426 4 0.884 8 0.937 5 0.910 4 BiLSTM（子句特征） 0.452 6 0.465 2 0.458 8 0.917 6 0.913 7 0.915 7 AM⁃LSTM（子句特征） 0.366 5 0.710 5 0.483 6 0.918 8 0.908 5 0.913 6 AM⁃BiLSTM （子句特征） 0.541 1 0.528 6 0.534 8 0.927 9 0.931 2 0.929 6 AM⁃BiLSTM（子句特征、上下文） 0.514 3 0.360 1 0.423 6 0.906 2 0.947 8 0.926 5 从 表3 表3 中的实验结果可以得出以下结论： 1） 从整体结果来看，判断为情绪原因子句的精确率、召回率和 F 1值远小于非情绪原因子句的精确率、召回率和 F 1值，主要是由于数据中正样本远少于负样本，使得情绪原因子句训练结果欠拟合导致的。该结果表明，虽然使用上采样方法增多了正例的样本，但是分类结果还是存在一定的差距，所以后续实验可以考虑更多的方法来平衡数据。 2） 在LSTM模型和BiLSTM模型中，语料中加入子句特征后， F 1 Y 有明显的提高，分别提升约0.11和0.03。该结果表明在情绪原因分析的任务中，人工提取的子句特征对分类模型有重要的指导作用。 3） 在AM⁃LSTM和AM⁃BiLSTM模型中， F 1 Y 有了进一步的提升，其中AM⁃BiLSTM模型的 F 1 Y 值高达0.534 8；加入注意力机制后，情绪原因子句识别的召回率也有了明显提高。该结果表明注意力模型对识别情绪原因的任务有很大的帮助，也进一步验证了本文提出方法的可行性。然而，在将前后子句加入到当前子句进行训练时， F 1 Y 反而有所下降，这可能是加入前后子句特征后，弱化了模型对当前子句特征的学习，从而影响了最后的分类结果。 表4 表4 给出了基于序列标注模型和本文模型的对比结果，其中序列标注模型采用条件随机场模型，并使用了上文提到的各种子句特征。本文序列标注模型的实验结果和Gui等 ［ 15 15 ］ 实验结果有一定的差异，主要原因是本文采用了最新的新闻数据集，该数据集文本比微博语料更长，也更加复杂；另一方面，本文按照逗号分句，使非情绪原因子句所占比例大大增加，增加了情绪原因识别的难度，从而影响了实验的识别结果。从 表4 表4 中可知，本文模型明显优于序列标注模型。虽然AM⁃BiLSTM方法准确率稍低，但召回率和 F 1值明显高于序列标注模型。该结果表明本文的方法在文本特征抽取方面更有优势。 模型 P Y R Y F 1 Y P N R N F 1 N 序列标注 0.635 9 0.191 7 0.294 5 0.887 9 0.983 2 0.933 1 AM⁃BiLSTM 0.541 1 0.528 6 0.534 8 0.927 9 0.931 2 0.929 6 3.5　错误分析 2 基于本文所提出的模型已经取得一定效果，但是对于一些特殊情况的情绪原因子句的识别还存在不足，主要分析如下。 1） 当情绪原因子句和核心子句距离太远时（如例2所示），模型会出现无法识别或者识别错误的情况。例2中，本文中使用的模型错误地将“网民大赞卡尔是一名‘专业、敬业及令人心疼’的主播”识别为情绪原因子句。 例2： …，〈cause id=0〉但却从事发地点、失事车辆等资料推断是自己丈夫的车子出事〈/cause〉，她冷静地报完新闻后才急忙联络有关采访的记者求证。一名新闻编辑透露，当时卡尔的声音一度颤抖，但仍努力保持镇定继续播报，同事们都认为她十分勇敢及敬业，虽为她的遭遇感到难过，但也以她为傲。此事较后在社交媒体广为流传，网民大赞卡尔是一名“专业、敬业及令人〈keyword〉心疼〈/keyword〉”的主播。〈category name="sadness"/〉 2） 当一条新闻包含多个情绪原因子句时（如例3所示），模型在识别时会出现遗漏或者是错判的情况。例3中包含三个情绪原因子句，而本文中使用的模型只识别出了第二个原因子句，并错误的将“每次买完东西后”也识别为情绪原因子句。 例3： 其实，小雯有个幸福的家庭，她的孩子已经3岁。小雯说，〈cause id=0〉在这疯狂购物的几年里〈/cause〉，〈cause id=1〉她的脾气越来越差〈/cause〉，〈cause id=2〉可能是害怕有一天会东窗事发〈/cause〉，每次买完东西后，也会后悔、〈keyword〉焦虑〈/keyword〉，对老公、对孩子动不动就发脾气。…。〈category name="fear"/〉 4　 结 语 1 本文提出了一种AM⁃BiLSTM模型的情绪原因识别方法，该方法将新闻语料文本句用字符向量表示，并通过BiLSTM获取子句上下文语义特征；实验中提取并融合了每个子句中的基本词性特征、距离特征和情绪关键词等子句特征；为了试验子句中不同特征的重要性，模型中引入了注意力机制，进一步提高了情绪原因识别方法的准确率。最终实验结果验证了方法对情绪原因识别的可行性和有效性。 本文在ECA任务提供的新闻文本语料基础上，尝试了多种模型和子句特征来进行研究，并取得了显著的效果，对情绪原因识别任务具有一定的指导作用。但是，从实验过程和实验结果来看，还有很大的提升空间。下一步工作中，将寻找更多的特征来进行融合，比如句法特征等。另一方面，需要挖掘子句与子句之间的语义关系，用于更好地捕获子句级别的上下文信息，从而进一步提升情绪原因识别方法的性能。 参考文献 EKMAN P . Expression and the nature of emotion ［J］. Approaches to Emotion ， 1984 ， 3 ： 324 - 344 . Expression and the nature of emotion 雷龙艳 . 中文微博细粒度情绪识别研究 ［D］. 衡阳 ： 南华大学 ， 2014 . 中文微博细粒度情绪识别研究 LEI L Y . Research on Fine⁃grained Sentiment Analysis Base on Chinese Micro⁃Blog ［D］. Hengyang ： University of South China ， 2014（Ch） . Research on Fine⁃grained Sentiment Analysis Base on Chinese Micro⁃Blog LEE S . A Linguistic Approach to Emotion Detection and Classification ［D］. Hong Kong ： Hong Kong Polytechnic University ， 2010 . A Linguistic Approach to Emotion Detection and Classification 何跃 ， 邓唯茹 ， 张丹 . 中文微博的情绪识别与分类研究 ［J］. 情报杂志 ， 2014 （ 2 ）： 136 - 139 . 中文微博的情绪识别与分类研究 HE Y ， DENG W R ， ZHANG D . Study on sentiments recognition and classification of Chinese micro-blog ［J］. Journal of Information ， 2014 （ 2 ）： 136 - 139 . DOI： 10.3969/j.issn.1002-1965.2014.02.026（Ch http://dx.doi.org/10.3969/j.issn.1002-1965.2014.02.026（Ch ）. Study on sentiments recognition and classification of Chinese micro-blog 朱少杰 . 基于深度学习的文本情感分类研究 ［D］. 哈尔滨 ： 哈尔滨工业大学 ， 2014 . 基于深度学习的文本情感分类研究 ZHU S J . Research on Text Sentiment Classification Based on Deep Learning ［D］. Harbin ： Harbin Institute of Technology ， 2014（Ch） . Research on Text Sentiment Classification Based on Deep Learning WANG Y Q ， FENG S ， WANG D L ， et al . Multi-label Chinese microblog emotion classification via convolutional neural network ［C］// Proceedings of Asia⁃Pacific Web Conference（LNCS 9931） . Cham ： Springer ， 2016 ： 567 - 580 . DOI： 10.1007/978-3-319-45814-4_46 http://dx.doi.org/10.1007/978-3-319-45814-4_46 . Multi-label Chinese microblog emotion classification via convolutional neural network CHEN Y ， LEE S Y M ， LI S S ， et al . Emotion cause detection with linguistic constructions ［DB/OL］.［ 2018-05-01 ］. https：//pdfs.semanticscholar.org/df12/d09c5f12ef8c https://pdfs.semanticscholar.org/df12/d09c5f12ef8c 6 aceeda 4 f 83 a 25 f 807 e0ea45. pdf？_ga=2 . 87405656.13901 02688.1555057393-1962158694.1555057393 . Emotion cause detection with linguistic constructions 袁丽 . 基于文本的情绪自动归因方法研究 ［D］. 哈尔滨 ： 哈尔滨工业大学 ， 2014 . 基于文本的情绪自动归因方法研究 YUAN L . The Study on Text⁃Based Emotion Cause Detection ［D］. Harbin ： Harbin Institute of Technology ， 2014（Ch） . The Study on Text⁃Based Emotion Cause Detection 李逸薇 ， 李寿山 ， 黄居仁 ， 等 . 基于序列标注模型的情绪原因识别方法 ［J］. 中文信息学报 ， 2013 ， 27 （ 5 ）： 93 - 99 . 基于序列标注模型的情绪原因识别方法 LI Y W ， LI S S ， HUANG J R ， et al . Detecting emotion cause with sequence labeling model ［J］. Journal of Chinese Information Processing ， 2013 ， 27 （ 5 ）： 93 - 99 . DOI： 10.3969/j.issn.1003-0077.2013.05.013（Ch http://dx.doi.org/10.3969/j.issn.1003-0077.2013.05.013（Ch ）. Detecting emotion cause with sequence labeling model 慕永利 ， 李旸 ， 王素格 ， 等 . 基于E-CNN的情绪原因识别方法 ［J］. 中文信息学报 ， 2018 ， 32 （ 2 ）： 120 - 128 . 基于E-CNN的情绪原因识别方法 MU Y L ， LI Y ， WANG S G ， et al . Emotion cause detection based on ensembled convolution neural netowrks ［J］. Journal of Chinese Information Processing ， 2018 ， 32 （ 2 ）： 120 - 128 （Ch） . Emotion cause detection based on ensembled convolution neural netowrks 刘飞龙 ， 郝文宁 ， 陈刚 ， 等 . 基于双线性函数注意力Bi⁃LSTM模型的机器阅读理解 ［J］. 计算机科学 ， 2017 ， 44 （ S1 ）： 92 - 96 . 基于双线性函数注意力Bi⁃LSTM模型的机器阅读理解 LIU F L ， HAO W Y ， CHENG G ， et al . Attention of bilinear function based Bi⁃LSTM model for machine reading comprehension ［J］. Computer Science ， 2017 ， 44 （ s1 ）： 92 - 96 （Ch） . Attention of bilinear function based Bi⁃LSTM model for machine reading comprehension MIKOLOV T ， CHEN K ， CORRADO G ， et al . Efficient Estimation of Word Representations in Vector Space ［DB/OL］.［ 2018-03-02 ］. https：//arxiv.org/pdf/1301.3781.pdf https://arxiv.org/pdf/1301.3781.pdf . Efficient Estimation of Word Representations in Vector Space YANG Z C ， YANG D Y ， DYER C ， et al . Hierarchical Attention Networks for Document Classification ［DB/OL］.［ 2018-04-06 ］. https：//www.researchgate.net/publication/305334401_Hierarchical_Attention_Networks_for_Document_Classification https://www.researchgate.net/publication/305334401_Hierarchical_Attention_Networks_for_Document_Classification . DOI： 10.18653/v1/N16-1174 http://dx.doi.org/10.18653/v1/N16-1174 . Hierarchical Attention Networks for Document Classification GAO Q H ， HU J N ， XU R F ， et al . Overview of NTCIR-13 ECA task ［C］// Proceedings of the 13th NTCIR Conference on Evaluation of Information Access Technologies . Tokyo ： National Institute of Informatics ， 2017 ： 361 - 366 . Overview of NTCIR-13 ECA task GUI L ， YUAN L ， XU R F ， et al . Emotion cause detection with linguistic construction in Chinese Weibo text ［C］// Proceedings of the 3rd CCF International Conference on Natural Language Processing and Chinese Computing . Berlin ： Springer ， 2014 ： 457 - 464 . DOI： 10.1007/978-3-662-45924-9_42 http://dx.doi.org/10.1007/978-3-662-45924-9_42 . Emotion cause detection with linguistic construction in Chinese Weibo text GUI L ， WU D Y ， XU R F ， et al . Event-Driven Emotion Cause Extraction with Corpus Construction ［DB/OL］.［2018-05-01］ https：//www.aclweb.org/anthology/D16-1170 https://www.aclweb.org/anthology/D16-1170 . DOI： 10.18653/v1/D16-1170 http://dx.doi.org/10.18653/v1/D16-1170 . Event-Driven Emotion Cause Extraction with Corpus Construction 10.14188/j.1671-8836.2019.03.007 TP 391 A 1671-8836（2019）03-0276-07 XIA Linxu,LIU Maofu,HU Huijun.Emotion Cause Recognition Based on AM⁃BiLSTM Model [J]. J Wuhan Univ （ Nat Sci Ed ）,2019,65(3):276-282. DOI: 10.14188/j.1671-8836.2019.03.007 http://dx.doi.org/10.14188/j.1671-8836.2019.03.007 (Ch). XIA Linxu,LIU Maofu,HU Huijun.Emotion Cause Recognition Based on AM⁃BiLSTM Model [J].J Wuhan Univ（Nat Sci Ed）,2019,65(3):276-282. DOI:10.14188/j.1671-8836.2019.03.007(Ch). 夏林旭,刘茂福,胡慧君.基于AM⁃BiLSTM模型的情绪原因识别[J].武汉大学学报（理学版）,2019,65(3):276-282. DOI:10.14188/j.1671-8836.2019.03.007 夏林旭,刘茂福,胡慧君.基于AM⁃BiLSTM模型的情绪原因识别[J].武汉大学学报（理学版）,2019,65(3):276-282. DOI:10.14188/j.1671-8836.2019.03.007 国家社科基金重大研究计划（11&ZD189）；湖北省教育厅人文社会科学研究项目（17Y018） 2018-06-20 2019-06-24 2020-11-28 武汉大学学报（理学版） 3 65