基于联合特征与Bi⁃LSTM模型的英汉双语文本情绪预测

基于联合特征与Bi⁃LSTM模型的英汉双语文本情绪预测 Emotion Prediction in English-Chinese Bilingual Text Based on Joint Feature and Bi⁃LSTM Model 1 2 first-author 张真练，男，硕士生，研究方向为自然语言处理。E⁃mail：994406979@qq.com 张真练，男，硕士生，研究方向为自然语言处理。E⁃mail：994406979@qq.com 994406979@qq.com 1 2 1 2 武汉科技大学 计算机科学与技术学院，湖北 武汉 430065 武汉科技大学 计算机科学与技术学院，湖北 武汉 430065 School of Computer Science and Technology， Wuhan University of Science and Technology， Wuhan 430065， Hubei， China School of Computer Science and Technology， Wuhan University of Science and Technology， Wuhan 430065， Hubei， China 智能信息处理与实时工业系统湖北省重点实验室，湖北 武汉 430065 智能信息处理与实时工业系统湖北省重点实验室，湖北 武汉 430065 Hubei Province Key Laboratory of Intelligent Information Processing and Real⁃Time Industrial System， Wuhan 430065， Hubei， China Hubei Province Key Laboratory of Intelligent Information Processing and Real⁃Time Industrial System， Wuhan 430065， Hubei， China 英汉双语文本中的情绪可以通过英语和汉语的单语或者双语形式来表达。然而，以往的研究主要集中在单语文本的情绪分析，只有少数研究侧重于英汉双语文本。为提高英汉双语文本情绪预测效果，本文结合情绪词典方法与深度学习方法，使用联合特征与Bi⁃LSTM模型来对英汉双语文本进行情绪预测。首先基于情绪词典抽取出双语文本中包含的情绪词特征，然后联合情绪词特征与双语文本特征输入至Bi⁃LSTM模型进行特征学习，最后将学习到的深度语义特征输入到分类器中进行情绪预测。实验结果表明，该方法对英汉双语文本的情绪预测有良好的效果。 Emotions in English⁃Chinese bilingual texts can be expressed in either monolingual or bilingual form in English and Chinese. However, the preceding researches have focused on analyzing emotions in monolingual text, and only a few of them have paid attention to English⁃Chinese bilingual texts. In order to improve the emotion prediction in English⁃Chinese bilingual texts, we combine the emotional dictionary and deep learning method using the Bi⁃LSTM joint feature model. Firstly, the emotional word feature is extracted from the bilingual text according to the emotional dictionary. And then, the deep semantic features are learned based on Bi⁃LSTM model with the joint features of the bilingual text and emotional words. Finally, the deep semantic features are fed to the classifier to make emotion predictions. The experimental results show that our method has made good performance on the emotion prediction of English⁃Chinese bilingual texts. 双向长短时记忆网络 英汉双语文本 双语种情绪预测 bi⁃directional long short⁃term memory English⁃Chinese bilingual text bilingual emotion prediction 张真练,刘茂福,胡慧君.基于联合特征与Bi⁃LSTM模型的英汉双语文本情绪预测[J].武汉大学学报（理学版）,2019,65(3):269-275. DOI:10.14188/j.1671-8836.2019.03.006. 0　 引 言 1 情绪预测是自然语言处理中最重要的研究课题之一，广泛应用于许多自然语言处理应用，如产品推荐、意见分析和人机对话 ［ 1 1 ］ 。随着网络上具有情绪表达的文本逐渐增多，文本情绪分析逐渐成为当前自然语言处理领域的一个热点，它的研究大致分为粗粒度，细粒度两种情绪分类 ［ 2 2 ］ 。粗粒度的情绪分类，也称为情感分类，仅仅考虑两种情绪类别，即“喜欢”或“讨厌”和“积极”或“消极”。细粒度的情绪分类致力于多情绪类别的识别，例如“高兴”“伤心”“生气”等。以前的研究大多集中于分析单语文本中的情绪。但是，多语种文本在社交媒体中是常见的。与单语文本不同的是，多语种文本不止包含一种语言，并且情绪可以通过多语种来表达 ［ 3 3 ］ ，例如，“这个show真好看，今天感觉很happy”，“嗓子hold不住了啊”。 情绪分类有很多方法 ［ 4 4 ~ 12 12 4~12 ］ ，包括传统的基于语料库的分布方法、基于字典的语义计算以及最近开发的词嵌入方法和深度学习方法。基于语料库的分布方法、基于字典的语义计算等传统方法对于特定语料可以取得较好的情绪预测效果，但是系统可移植性差。深度学习方法虽然不依赖于语料内容与格式，但是需要大规模的标注数据，否则无法充分学习到语料特征。本文将基于词典的情绪分类方法与深度学习方法相结合，把情绪词作为人工特征抽取出来，将人工特征与深度学习特征相联合，提出联合特征与Bi⁃LSTM（bi⁃directional long short⁃term memory）模型对英汉双语文本进行情绪分类。 1　 系统框架 1 本文提出的基于联合特征与Bi⁃LSTM模型的英汉双语文本情感预测方法，在词向量预训练的基础上，通过对数据语料进行解析预处理，经过人工特征提取、模型训练等步骤后，最后得到测试语料的情绪预测标签。总体架构模型如 图1 图1 所示。 在词向量预训练的语料方面，本文选择了维基百科的中英文语料库，维基百科中文语料包含90多万篇文章，英文语料超过一千万篇，以xml格式保存。预训练方法采用了word2vec方法，该方法包括CBOW（Continuous Bag⁃of⁃Words）与Skip⁃Gram两种模型，本文词向量预训练采用了CBOW模型。 在数据预处理部分主要包含文本分词和数据类别拆分两个小的模块。在文本分词这一模块使用了jieba分词（ http：//pypi.python.org/pypi/jieba/ http://pypi.python.org/pypi/jieba/ ）对数据进行了分词处理，为了确保情绪词可以被准确切分，在程序中导入了本文构建的情绪词典。在数据类别拆分这一模块主要是对数据集进行分析整理，把标注好的文本处理成类别标签、文本对的格式，有的文本包含多种情绪，将其拆分成多条标签文本对。 人工特征抽取和联合特征与Bi⁃LSTM模型训练会在后面章节中详细介绍。 2　 联合特征与Bi⁃LSTM模型 1 2.1　基于情感词典的人工特征提取 2 在过去的文本情绪分析相关研究中，很多方法在本质上是依赖于词语本身和它所包含的关联情绪的词典资源，例如当句子中出现“哈哈大笑”“高兴”等情绪词时，这个句子本身要表达的情绪有很大概率是属于happiness。为了扩大情绪词在文本情绪分类中的影响，本文将情绪词作为人工特征引入其中，增加文本情绪分类中情绪词的权重。 2.1.1　词典构建 3 在词典的构建上，中文情绪词典选择了大连理工大学的中文情感词汇本体库（ http：//ir.dlut.edu.cn/EmotionOntologyDownload http://ir.dlut.edu.cn/EmotionOntologyDownload ），因为本文只需要happiness、sadness、fear、anger和surprise这五类情绪的词典，所以，从中文情感词汇本体库里面抽取了这五类情绪词。除此之外，本文还从网络上搜集了新兴词汇加入其中来扩充中文情绪词典。英文情绪词典使用的是自建的情绪词典， 表1 表1 给出了各类情绪词的统计情况。 情绪 数量 举例 happiness 1 394 beautiful、欢快、笑、xixi sadness 1 983 sad、郁闷、纠结、悲恸 anger 416 shit、sb、草、勃然大怒 fear 1 089 担心、惶然不安、惊恐 surprise 231 不可思议、惊奇、居然 除此之外，通过对训练集的分析，发现有一些句子中包含转折词汇，比如“但是”“然而”，并且句子的情绪由转折词后的从句决定，下面的例子说明了这一点。 例：他符合我选男友的所有条件，感觉feel so good！但是好怕受伤害，会不会又是一个wxf？ 上面的例子中，转折词前面的从句包含happiness情绪，转折词后面的从句包含fear情绪，整个句子表达了fear情绪，所以转折前的情绪可以忽略不计。为此，本文建立了一个专门的转折词词典， 表2 表2 列出了部分转折词。 序号 中文 英文 1 却 but 2 但是 however 3 然而 yet 4 而 although 5 偏偏 on the contrary ⋮ ⋮ ⋮ 2.1.2　人工特征提取 3 人工特征抽取主要是提取句子中的情绪词，如果句子中存在转折词，则只抽取转折词后的情绪词，如果句子中不存在情绪词，则将人工特征设置为“无”。 算法1 算法1 描述了人工特征抽取的整个过程。 算法1 人工特征抽取算法 输入：数据集 输出：人工特征集合 步骤0：读入数据集，格式化数据集； 步骤1：for 每一条句子 do： 步骤2：将句子根据分词间隔转化成词列表； 步骤3：句子特征字符串 F 初始化； 步骤4：for 每一个词 do： 步骤5：if 词属于情绪词典 do： 步骤6：将词加入字符串 F ； 步骤7：endif； 步骤8：if 词属于转折词典 do: 步骤9：清空字符串 F ； 步骤10：endif； 步骤11：endfor； 步骤12：if 字符串 F 为空 do： 步骤13： F 设置为“无”； 步骤14：endif； 步骤15：将字符串 F 加入人工特征集合； 步骤16：endfor； 2.2　基于Bi⁃LSTM模型的深度特征提取 2 长短时记忆网络（long short⁃term memory network， LSTM）是一种特殊的循环神经网络，它能够将当前时刻的输入 <math id="M1"><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206776&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206773&type= 2.79399991 3.72533321 和上一时刻的输出向量 <math id="M2"><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206785&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206781&type= 6.26533318 3.72533321 一起作为当前时刻的输入，将变长的词向量形成一个定长的向量表示。传统的神经网络的计算方式是一个权重矩阵 <math id="M3"><mi mathvariant="bold-italic">w</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206797&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206794&type= 3.13266659 2.79399991 和输入向量的点乘，加上一个偏置量 <math id="M4"><mi mathvariant="bold-italic">b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206806&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206801&type= 1.86266661 2.87866688 最终结果再经过一个非线性的激活函数。但是传统的RNN网络存在梯度消失或者梯度爆炸的问题。因此很多研究人员使用更复杂但是效果却更好的LSTM神经网络代替传统的RNN，解决长距离依赖问题。和传统的RNN相比，LSTM增加了“门”结构，通过“门”结构可以随意的控制神经元状态信息的流动。具体来说，门操作由一个sigmoid激活函数的神经网络层和一个点乘运算组成，sigmoid层输出为1或0，输出1表示信息可以全部通过，输出0表示信息全部不可以通过。 如 图2 图2 所示，LSTM拥有三个门结构，分别是输入门、遗忘门和输出门。输入门根据 x t ， h t- 1 和 C t- 1 决定哪些信息保存到神经元的状态中，遗忘门决定从上一刻的状态中遗忘哪一部分信息，输出门决定最后的输出向量 h t 是什么。其中 h t- 1 和 C t- 1 为上一时刻的输出信息和状态信息， x t 为当前时刻输入， f t ， i t 和 o t 分别为遗忘门、输入门和输出门的输出信息， h t 和 C t 为当前时刻的输出信息和状态信息。 遗忘门根据当前时刻输入 x t 和上一时刻输出 h t- 1 计算一个维度为 n 的向量 f t ，此向量可以决定哪些信息会被丢弃，哪些信息会被保留。 <math display="block" id="M5"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>f</mi></mrow></msub><mo>⋅</mo><mo stretchy="false">[</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>f</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206824&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206820&type= 38.77733231 4.65666676 输入门通过sigmoid函数计算向量 i t 决定哪些值会被更新，然后tanh层计算出一个候选状态值 <math id="M6"><msub><mrow><mover accent="true"><mrow><mi>C</mi></mrow><mo stretchy="true">̃</mo></mover></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206837&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206830&type= 3.72533321 4.57200003 ，最后 C t- 1 通过遗忘门丢弃掉不相关信息之后，再与候选状态信息 <math id="M7"><msub><mrow><mi>i</mi></mrow><mrow><mi>t</mi></mrow></msub><mi mathvariant="normal">*</mi><msub><mrow><mover accent="true"><mrow><mi>C</mi></mrow><mo stretchy="true">̃</mo></mover></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206845&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206839&type= 8.21266651 4.57200003 相加得到更新后的状态 C t 。其中，*是按位相乘。 <math display="block" id="M8"><msub><mrow><mi>i</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>⋅</mo><mo stretchy="false">[</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206857&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206852&type= 38.69266510 4.48733330 <math display="block" id="M9"><msub><mrow><mover accent="true"><mrow><mi>C</mi></mrow><mo stretchy="true">̃</mo></mover></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>c</mi></mrow></msub><mo>⋅</mo><mo stretchy="false">[</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>c</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206867&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206862&type= 45.55066681 4.57200003 <math display="block" id="M10"><msub><mrow><mi>C</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>t</mi></mrow></msub><mi mathvariant="normal">*</mi><msub><mrow><mi>C</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><msub><mrow><mi>i</mi></mrow><mrow><mi>t</mi></mrow></msub><mi mathvariant="normal">*</mi><msub><mrow><mover accent="true"><mrow><mi>C</mi></mrow><mo stretchy="true">̃</mo></mover></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206877&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206872&type= 32.25799942 4.57200003 状态信息更新后，输出信息 h t 就可以根据一个tanh层和输出门得出。 <math display="block" id="M11"><msub><mrow><mi>ο</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi>o</mi></mrow></msub><mo>⋅</mo><mo stretchy="false">[</mo><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">]</mo><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi>o</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206885&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206880&type= 40.04733276 4.48733330 <math display="block" id="M12"><msub><mrow><mi>h</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><msub><mrow><mi>ο</mi></mrow><mrow><mi>t</mi></mrow></msub><mi mathvariant="normal">*</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">h</mi><mo stretchy="false">(</mo><msub><mrow><mi>C</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206896&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206892&type= 25.06133270 4.48733330 LSTM的输出是从前往后单向传输的，然而在文本情绪预测中，文本包含的情绪不仅和之前的状态有关，也和之后的状态有关。这时就需要运用Bi⁃LSTM来解决这类问题。Bi⁃LSTM是由两个独立的LSTM结构叠加在一起组成的，在每一个时刻 t ，输入会同时提供给这两个反向的LSTM网络，两个网络独立进行计算，最终输出由两个LSTM的输出拼接而成。 对英汉双语文本包含的情绪进行预测，主要难点在于句子长短不一致，包含的语种也不全相同，且与情绪相关的信息可能会出现在句子的任意一个位置。长短时记忆网络可以很好的将文本过去语境和未来语境充分结合起来，把文本中包含的特征提出处理，对双语文本情绪预测起到良好的效果。为了处理文本长度不一致问题，本文通过设置固定的长度限制文本长度，在文本向量化时文本长度小于设置值的通过补“0”使文本达到设置值长度。 如 图3 图3 所示，给定一个由 n 个词组成的句子 S =｛ W 1 ， W 2 ， … ， W i ， … ， W n ｝，句子 S 中的每一个词 W i 都对应词表中的一个词向量 V i ，词向量拼接组成句向量输入到Bi⁃LSTM模型进行学习。最后，每一个词 W i 经过Bi⁃LSTM模型学习后得到一个词的保留信息作为输出 h i ，所有词的保留信息 h i 经过拼接形成句子特征 h out =｛ h 1 ，h 2 ， … ，h i ，… ，h n ｝。 2.3　特征联合 2 特征联合就是将深度特征和人工特征拼接起来作为softmax层的输入，使得softmax层在进行概率计算的时候将这两个特征都计算在内。本文在特征联合模型中，仅使用了基于情绪词典的情绪词特征。 如 图4 图4 所示，其中情绪词是由上文中基于词典的人工特征抽取算法获得，将英汉双语文本与之对应的情绪词同时输入到Bi⁃LSTM模型中进行学习，将获得的人工特征向量拼接在深度特征向量后面得到联合特征，最后把联合特征输入到softmax层进行计算得到概率最大的类别，并输出预测结果。 3　 实 验 1 3.1　数据集 2 本文采用的数据集为NLPCC2018共享任务中的数据集，数据集由7 928条英汉双语文本组成，其中训练集6 000条，验证集728条，测试集1 200条。由于部分样本含有多种情绪，训练集共拆分出6 675个标签、文本对， 表3 表3 给出各类情绪文本数量。通过 表3 表3 可以发现训练集存在数据不平衡问题，其中包含happiness、sadness和没有包含情绪的文本数量较多，包含anger、fear和surprise的文本数量较少。针对样本数量少的类别，本文采用重采样技术随机选择样本，扩充这些类别样本数据以达到数据平衡。 情绪 文本数量 happiness 1 824 sadness 1 086 anger 570 fear 648 surprise 651 none 1 896 Total 6 675 3.2　评测方法 2 对于不同模型对情绪预测的结果，本文采用F1值作为评测指标。考虑到数据有多个类别，故而采用每类情绪的 F 1值和宏平均 F 1（Macro⁃ F 1）值两类指标来评测实验结果，其具体计算公式如下： <math display="block" id="M13"><mi>P</mi><mo>=</mo><mfrac><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">P</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206945&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206940&type= 23.19866753 7.62000036 <math display="block" id="M14"><mi>R</mi><mo>=</mo><mfrac><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206952&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206947&type= 23.79133415 7.62000036 <math display="block" id="M15"><mi>F</mi><mn mathvariant="normal">1</mn><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mo>×</mo><mi>P</mi><mo>×</mo><mi>R</mi></mrow><mrow><mi>P</mi><mo>+</mo><mi>R</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206963&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206958&type= 26.75466537 7.70466709 <math display="block" id="M16"><mi mathvariant="normal">M</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">o</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206973&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206968&type= 9.82133293 2.87866688 ⁃ <math display="block" id="M17"><mi>F</mi><mn mathvariant="normal">1</mn><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">5</mn></mrow></mfrac><mo>∑</mo><mi>F</mi><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206982&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4206978&type= 21.92866707 7.53533316 （7），（8）式中的TP（true positives）表示测试集中该类别的正例被正确分类的统计值，FP（false positives）指该类别的正例被错误分类的统计值，FN（false negatives）指测试集中该类别的负例被错误分类的统计值。Macro⁃ F 1为五类情绪的 F 1相加求平均值。 3.3　结果 2 为了验证本文设计的模型对情绪预测的有效性，总共设计实现了五种模型进行对比实验。 表4 表4 是各模型运行的 F 1和Macro⁃ F 1结果。 2 方法 5 F 1 2 Macro⁃ F 1 happiness sadness anger fear surprise SVM 0.587 0.500 0.390 0.108 0.128 0.342 LSTM 0.543 0.219 0 0.034 0 0.159 LSTM+ Feature 0.474 0.169 0.041 0.109 0.080 0.175 Bi⁃LSTM 0.395 0.190 0.125 0.113 0.336 0.232 Bi⁃LSTM+ Feature 0.658 0.517 0.354 0.186 0.327 0.408 从 表4 表4 可以看出，基于联合特征与Bi⁃LSTM模型在Macro⁃ F 1指标中表现最好。相比较于SVM模型，基于联合特征与Bi⁃LSTM模型在五种情绪的识别上均有提升，这说明相对于传统模型，本文提出的联合特征与Bi⁃LSTM模型对于文本情绪分类是有效的。 从 表4 表4 可以看出，在所有模型的情绪识别中，情绪happiness和sadness识别效果均为最好。结合 表3 表3 训练集情绪文本数量统计，出现这种情况的原因是包含happiness和sadness情绪的文本数量较多，包含其余三种情绪文本数量较少，模型学习happiness和sadness情绪的文本特征更全面、更充分，而其余三种情绪的特征学习没有如此全面，因此happiness和sadness的情绪预测效果更好一些。 通过对比 表4 表4 中LSTM模型和Bi⁃LSTM模型的实验结果，可以发现Bi⁃LSTM模型在整体性能方面优于LSTM模型。首先对比LSTM模型和Bi⁃LSTM模型实验结果，Bi⁃LSTM模型比LSTM模型Macro⁃ F 1高0.073，但在情绪happiness和sadness识别方面LSTM模型略高于Bi⁃LSTM模型，LSTM模型在其余三种情绪识别上 F 1均为0或接近于0。该结果表明LSTM模型对于anger、fear和surprise 三种情绪基本未学到特征，直接将测试集映射为happiness和sadness的二分类问题，由于测试集包含happiness和sadness情绪的文本较多，所以LSTM模型识别happiness和sadness情绪的 F 1略高。而Bi⁃LSTM模型则正确识别出五种情绪的差别，虽然由于训练集太小而导致学习到的特征不全面，却分别出了五种情绪的差异。其次，在引入人工特征之后，通过对比Bi⁃LSTM+Feature模型和LSTM+Feature模型，可以发现Bi⁃LSTM+Feature模型在五种情绪的识别上 F 1均优于LSTM+Feature模型，并且Bi⁃LSTM+Feature模型的Macro⁃ F 1达到了0.408，比LSTM+Feature模型高0.233。它表明，与过去的语境相比，未来语境对情绪检测也很重要。因此Bi⁃LSTM模型可能更适合检测多语种文本中包含的情绪。下面的两个例子进一步说明了这一点。 例1： 啊，尹施允不就是演穿透屋顶的high kick里面体育老师的儿子吗！我居然才反应过来，怪不得老觉得他这么眼熟，才发现，哎！ 例2： 本来心已经平静了下来，不再悲伤，可是为什么你要在这个时候出现，i hate you！ 在上面的两个例子中，例1包含了surprise情绪，例2包含了anger情绪，LSTM模型均将其错误识别为sadness，而Bi⁃LSTM模型正确识别出例1文本中包含的surprise情绪和例2文本中包含的anger情绪。这两个例子均为较长的句子，LSTM模型均识别错误，而Bi⁃LSTM模型均识别正确，这也表明了与过去的语境相比，未来语境对情绪检测的重要性，因此Bi⁃LSTM模型可能更适合检测多语种长句子文本中包含的情绪。 通过对比 表4 表4 中加入人工特征前后LSTM和Bi⁃LSTM模型的实验结果，可以看出在加入人工特征后模型实验结果有了较大的提升。其中，LSTM+Feature模型与LSTM相比在识别anger和surprise两种情绪方面有了突破， F 1不再为0，而Bi⁃LSTM+Feature模型比Bi⁃LSTM模型在Macro⁃ F 1提升了0.176。 对于句子“what a match！好激动啊，虽然只能看文字看不到比赛画面”，Bi⁃LSTM系统会依据“不能看到比赛画面”将其情绪识别为sadness，而Bi⁃LSTM+Feature系统通过情绪词典，抽出人工特征“激动”，在深度学习特征的基础上增加情绪词的权重，将其情绪识别为happiness。这表明，情绪词对于文本情绪预测有着重要的作用，引入情绪词作为人工特征有助于预测文本包含的情感类别。 4　 结 语 1 本文以英汉双语文本中的情感检测为研究对象，采用联合特征与Bi⁃LSTM模型对英汉双语文本进行情感预测。实验结果表明，相比于SVM模型和LSTM模型，联合特征与Bi⁃LSTM模型对英汉双语文本的情感预测有较好的效果。 基于联合特征与Bi⁃LSTM的模型仍有改进的空间，下一步工作将考虑：1） 在英汉双语文本中引入更多的特征进行情感检测，例如句法，语义和上下文特征；2） 在联合特征与Bi⁃LSTM模型中添加注意力机制，以过滤掉不相关的信息，进一步提升模型对英汉双语文本的情绪预测能力；3） 增强模型对不平衡数据的处理能力，提升模型在不平衡语料上的适应性和泛化性。 参考文献 DAS D ， BANDYOPADHYAY S . Emotion Analysis on Social Media ： Natural Language Processing Approaches and Applications ［M］. Heidelberg ： Springer ， 2014 ： 19 ⁃ 37 . Emotion Analysis on Social Media：Natural Language Processing Approaches and Applications 李寿山 ， 李逸薇 ， 刘欢欢 ， 等 . 基于情绪相关事件上下文的隐含情绪分类方法研究 ［J］. 中文信息学报 ， 2013 ， 27 （ 6 ）： 90 - 96 . DOI： 10.3969/j.issn.1003-0077.2013.06.013 http://dx.doi.org/10.3969/j.issn.1003-0077.2013.06.013 . 基于情绪相关事件上下文的隐含情绪分类方法研究 LI S S ， LI Y W ， LIU H H ， et al . Implicit emotion classification with the context of emotion related event ［J］. Journal of Chinese Information ， 2013 ， 27 （ 6 ）： 90 - 96 . DOI： 10.3969/j.issn.1003-0077.2013.06.013（Ch http://dx.doi.org/10.3969/j.issn.1003-0077.2013.06.013（Ch ）. Implicit emotion classification with the context of emotion related event LEE S ， WANG Z . Emotion in code-switching texts： Corpus construction and analysis ［C］// Proceedings of the 8th Sighan Workshop on Chinese Language Processing . Beijing ： Association for Computational Linguistics ， 2015 ： 91 - 99 . DOI： 10.18653/v1/W15-3116 http://dx.doi.org/10.18653/v1/W15-3116 . Emotion in code-switching texts： Corpus construction and analysis WANG Z ， LEE S Y M ， LI S ， et al . Emotion analysis in code-switching text with joint factor graph model ［J］. IEEE/ACM Transactions on Audio Speech & Language Processing ， 2017 ， 25 （ 3 ）： 469 - 480 . DOI： 10.1109/TAS-LP.2016.2637280 http://dx.doi.org/10.1109/TAS-LP.2016.2637280 . Emotion analysis in code-switching text with joint factor graph model MA C ， OSHERENKO A ， PRENDINGER H ， et al . A chat system based on emotion estimation from text and embodied conversational messengers ［C］// Proceedings of the 4th International Conference on Entertainment Computing . Heidelberg ： Springer ， 2005 ： 535 - 538 . A chat system based on emotion estimation from text and embodied conversational messengers AMAN S ， SZPAKOWICZ S . Identifying expressions of emotion in text ［C］// Proceedings of the 10th International Conference on Text ， Speech and Dialogue. Heidelberg ： Springer ， 2007 ： 196 - 205 . DOI： 10.1007/978-3-540-74628-7_27 http://dx.doi.org/10.1007/978-3-540-74628-7_27 . Identifying expressions of emotion in text XU J ， XU R F ， ZHENG Y Z ， et al . Chinese emotion lexicon developing via multi-lingual lexical resources integration ［C］// Computational Linguistics and Intelligent Text Processing . Heidelberg ： Springer ， 2013 ： 174 - 182 . DOI： 10.1007/978-3-642-37256-8_15 http://dx.doi.org/10.1007/978-3-642-37256-8_15 . Chinese emotion lexicon developing via multi-lingual lexical resources integration WU F Z ， HUANG Y F ， SONG Y Q ， et al . Towards building a high-quality microblog-specific Chinese sentiment lexicon ［J］. Decision Support Systems ， 2016 ， 87 ： 39 - 49 . DOI： 10.1016/j.dss.2016.04.007 http://dx.doi.org/10.1016/j.dss.2016.04.007 . Towards building a high-quality microblog-specific Chinese sentiment lexicon WEN S Y ， WAN X J . Emotion classification in microblog texts using class sequential rules ［C］// Proceedings of the 28th AAAI Conference on Artificial Intelligence . Québec City ： AAAI Press ， 2014 ： 187 - 193 . Emotion classification in microblog texts using class sequential rules READ J . Using emoticons to reduce dependency in machine learning techniques for sentiment classification ［C］// Proceedings of the ACL Student Research Workshop . Pennsylvania ： Association for Computational Linguistics ， 2005 ： 43 - 48 . DOI： 10.3115/1628960.1628969 http://dx.doi.org/10.3115/1628960.1628969 . Using emoticons to reduce dependency in machine learning techniques for sentiment classification OUYANG X ， ZHOU P ， LI C H ， et al . Sentiment analysis using convolutional neural network ［C］// Proceedings of the 13th IEEE International Conference on Pervasive Intelligence and Computing . Liverpool ： IEEE ， 2015 ： 2359 - 2364 . DOI： 10.1109/CIT/IUCC/DASC/PICO-M.2015.349 http://dx.doi.org/10.1109/CIT/IUCC/DASC/PICO-M.2015.349 . Sentiment analysis using convolutional neural network SANTOS C ， GATTI M . Deep convolutional neural networks for sentiment analysis of short texts ［C］// Proceedings of the 25th International Conference on Computational Linguistics . New York ： ACM ， 2014 ： 69 - 78 . Deep convolutional neural networks for sentiment analysis of short texts 10.14188/j.1671-8836.2019.03.006 TP 391 A 1671-8836（2019）03-0269-07 ZHANG Zhenlian,LIU Maofu,HU Huijun.Emotion Prediction in English-Chinese Bilingual Text Based on Joint Feature and Bi⁃LSTM Model [J]. J Wuhan Univ （ Nat Sci Ed ）,2019,65(3):269-275. DOI: 10.14188/j.1671-8836.2019.03.006 http://dx.doi.org/10.14188/j.1671-8836.2019.03.006 (Ch). ZHANG Zhenlian,LIU Maofu,HU Huijun.Emotion Prediction in English-Chinese Bilingual Text Based on Joint Feature and Bi⁃LSTM Model [J].J Wuhan Univ（Nat Sci Ed）,2019,65(3):269-275. DOI:10.14188/j.1671-8836.2019.03.006(Ch). 张真练,刘茂福,胡慧君.基于联合特征与Bi⁃LSTM模型的英汉双语文本情绪预测[J].武汉大学学报（理学版）,2019,65(3):269-275. DOI:10.14188/j.1671-8836.2019.03.006 张真练,刘茂福,胡慧君.基于联合特征与Bi⁃LSTM模型的英汉双语文本情绪预测[J].武汉大学学报（理学版）,2019,65(3):269-275. DOI:10.14188/j.1671-8836.2019.03.006 国家社科基金重大研究计划（11&ZD189）；湖北省教育厅人文社会科学基金项目（17Y018） 2018-09-30 2019-06-24 2020-11-28 武汉大学学报（理学版） 3 65