您当前的位置：
首页 >
文章列表页 >
融合实体上下文特征的深度文本语义匹配模型
计算机科学 | 更新时间：2020-11-16
|
融合实体上下文特征的深度文本语义匹配模型
- Incorporating Entity Context Features for Deep Text Semantic Matching
- 武汉大学学报（理学版）
- 作者机构：
1.湖北华中电力科技开发有限责任公司，湖北 武汉 430077
- 作者简介：
徐文峰，男，高级系统架构师，现从事自然语言处理和信息安全方向研究。E-mail：21634116@qq.com
徐
文
峰
，
男
，
高
级
系
统
架
构
师
，
现
从
事
自
然
语
言
处
理
和
信
息
安
全
方
向
研
究
。
E
-
m
a
i
l
：
2
1
6
3
4
1
1
6
@
q
q
.
c
o
m
- 基金信息：国家电网总部科技项目(536800180033)
- DOI：10.14188/j.1671-8836.2020.0041 中图分类号： TP391.1
纸质出版日期：2020-10-24，
收稿日期：2020-03-02，
扫 描 看 全 文
引用本文
徐文峰,杨艳,张春凤.融合实体上下文特征的深度文本语义匹配模型[J].武汉大学学报（理学版）,2020,66(5):483-494.
XU Wenfeng,YANG Yan,ZHANG Chunfeng.Incorporating Entity Context Features for Deep Text Semantic Matching [J].J Wuhan Univ （Nat Sci Ed）,2020,66(5):483-494.
徐文峰,杨艳,张春凤.融合实体上下文特征的深度文本语义匹配模型[J].武汉大学学报（理学版）,2020,66(5):483-494. DOI：10.14188/j.1671-8836.2020.0041
XU Wenfeng,YANG Yan,ZHANG Chunfeng.Incorporating Entity Context Features for Deep Text Semantic Matching [J].J Wuhan Univ （Nat Sci Ed）,2020,66(5):483-494. DOI：10.14188/j.1671-8836.2020.0041(Ch).
融合实体上下文特征的深度文本语义匹配模型
融合实体上下文特征的深度文本语义匹配模型 Incorporating Entity Context Features for Deep Text Semantic Matching 1 first-author 徐文峰，男，高级系统架构师，现从事自然语言处理和信息安全方向研究。E-mail：21634116@qq.com 徐文峰，男，高级系统架构师，现从事自然语言处理和信息安全方向研究。E-mail：21634116@qq.com 21634116@qq.com 1 1 湖北华中电力科技开发有限责任公司，湖北 武汉 430077 湖北华中电力科技开发有限责任公司，湖北 武汉 430077 Hubei Huazhong Electric Power Technology Development Co.， Ltd， Wuhan 430077， Hubei，China Hubei Huazhong Electric Power Technology Development Co.， Ltd， Wuhan 430077， Hubei，China 为提高文本匹配过程中对实体上下文和语义关联信息的学习能力，提出一种融合实体上下文特征的深度文本语义匹配模型。该模型通过学习深度多视图语义交互信息和实体上下文特征匹配矩阵来计算文本的综合匹配得分，采用双向长短时记忆网络和共注意力机制获取文本的局部语义特征并进行多视图向量交互匹配，同时，针对文本中提取到的实体计算上下文特征，通过实体匹配矩阵和卷积神经网络进行实体上下文语义匹配。在SNLI、MultiNLI和Quora Question Pairs数据集上分别与已有基准模型对比，实验结果表明，相比经典深度文本匹配模型，本文提出的融合实体上下文特征的文本匹配模型可以有效提升文本匹配的准确度。 To promote the learning of entity context and semantic relevance information in text matching, a deep text semantic matching model incorporating entity context features is proposed. This model calculates the comprehensive matching score of text by learning deep multi-view semantic interaction information and entity context feature matching matrix. Bidirectional long short-term memory network (Bi-LSTM) and co-attention mechanism are used to obtain the local semantic features of the text and perform interactive multi-view vector matching. Meanwhile, context features are calculated for the extracted entities in the text, and entity context semantic matching is carried out through entity matching matrix and convolutional neural network. On SNLI, MultiNLI and Quora Question Pairs datasets, the experimental results show that the proposed model can effectively improve the accuracy of text matching compared with the classical deep text matching model. 文本语义匹配 多语义文档表示 卷积神经网络 双向长短时记忆网络 注意力机制 text semantic matching multi-semantic text representation CNN (convolutional neural network) Bi-LSTM (bidirectional long short-term memory) attention mechanism 徐文峰,杨艳,张春凤.融合实体上下文特征的深度文本语义匹配模型[J].武汉大学学报（理学版）,2020,66(5):483-494. DOI:10.14188/j.1671-8836.2020.0041. 0 引 言 1 文本语义匹配（text semantic matching） ［ 1 1 ］ 是自然语言处理领域的一项基础技术，旨在分析和判别两个文本之间的语义关联，并广泛应用于自然语言推理（natural language inference） ［ 2 2 ］ 、语义鉴别（paraphrase identification） ［ 3 3 ］ 、信息检索（information retrieval） ［ 4 4 ］ 和问答对话（question answering） ［ 5 5 ］ 等任务。自然语言推理又称文本蕴含识别（textual entailment recognition），用文本语义匹配技术可以判断一个假设语句是否可以由给定前提语句推导而来；在语义鉴别任务中，用文本语义匹配技术可判别两个语句是否表达相同的语义信息；在问答对话中，文本语义匹配可被用于查找与问题相关的内容和选择问题对应的答案。传统的文本匹配方法包括基于符号匹配的方法（如基于关键词、基于模板和基于正则表达式的文本匹配算法等）以及基于统计机器学习的方法（如基于贝叶斯网络、基于条件随机场的文本匹配算法等），这两种方法难以准确捕获文本所表达的深层语义信息。由于人类语言的多元性和复杂性，人们更期望计算机能够进行精准的自然语言理解和文本内容语义层面的智能匹配 ［ 6 6 ］ 。 近年来，随着深度学习研究的深入，深度神经网络模型不仅在图像处理、语音识别领域展现出了较好的性能，也在自然语言处理领域展现出了很大的优势。由于传统的基于机器学习的文本匹配模型需要人为定义和抽取文本特征，参数较少、泛化能力较差，所以目前对文本匹配的研究逐渐向深度文本语义匹配转移，深度神经网络模型（如循环神经网络、卷积神经网络、递归神经网络、长短时记忆网络等）被越来越多地采用。深度神经网络模型的自动特征提取能力和近几年文本表示预训练模型（如Word2Vec ［ 7 7 ］ 、GloVe ［ 8 8 ］ 、ELMO ［ 9 9 ］ 、BERT ［ 10 10 ］ 、XLNet ［ 11 11 ］ 等）的不断提出，可以较好地解决词语匹配的多元性问题，也能较好地符合短语匹配的结构性和文本匹配的层次性问题 ［ 1 1 ］ 。 在国内外学者的共同努力下，针对基于深度神经网络的文本语义匹配研究，也有了很多研究成果，不仅构建了一批高质量的标注数据集（如Quora Question Pairs ［ 12 12 ］ ，SNLI ［ 13 13 ］ 、MultiNLI ［ 14 14 ］ 、WikiQA ［ 15 15 ］ 和Twitter-URL ［ 16 16 ］ 等），而且还提出了很多有效的研究方法和模型。已有的深度文本语义匹配模型大体可以分为以下3类模式 ［ 1 1 ， 17 17 ］ ：1） 基于单语义文档表达的匹配模式，以DSSM ［ 18 18 ］ 、CDSSM ［ 19 19 ］ 、LSTM-RNN（long short-term memory-recurrent neural network） ［ 20 20 ］ 等模型为代表，简单地使用全连接网络、卷积神经网络或循环神经网络之类的网络结构以完全独立的方式来编码两个句子为固定长度的稠密文档向量，然后计算稠密文档向量之间的相似度，将其作为文本句子的匹配程度；2） 基于多语义文档表达的匹配模式，以MV-LSTM ［ 21 21 ］ 、uRAE ［ 22 22 ］ 、MultiGranCNN ［ 23 23 ］ 模型为代表，针对单一粒度向量表示一段文本不够精细，分别从词、短语、句子等多粒度和多视图来解读句子语义信息，考虑到句子的局部结构，允许使用诸如句子间注意力信息等交互特征，最后计算不同粒度向量之间的相似度，将其作为文本之间的匹配度；3） 直接建模匹配模式，如DeepMatch ［ 24 24 ］ 、ARC-II ［ 25 25 ］ 、MatchPyramid ［ 26 26 ］ 、Match-SRNN ［ 27 27 ］ 模型，直接计算待匹配的句子间不同单词的交互和处理句子中的语义联系，再用深度神经网络挖掘交互后的模式特征，综合计算文本之间的匹配度。 相比基于单语义文档表达的匹配模式和直接建模匹配模式，基于多语义文档表达的匹配模型通过从不同粒度的表达可以学习到更全面更丰富的信息，便于取得更好的效果 ［ 1 1 ］ ，然而基于多语义文档表达的匹配模型在处理和整合局部知识关联和全局语义信息上存在缺陷。其次，我们发现待匹配的两个文本通常会共享一些重要的实体信息，而这些实体所在的上下文信息对理解整个句子的语义至关重要，也常常被现有模型忽略。 为了解决上述问题，本文提出一种融合实体上下文特征的深度文本语义匹配模型，该模型可以在文本匹配过程中自动学习上下文语境的局部结构特征和实体上下文语义特征，它隶属于基于多语义文档表示的文本匹配模式。首先，采用预训练词向量、词语上下文卷积特征和精确匹配标识（exact match flag）拼接来表示输入文本向量。然后，参考DRCN模型 ［ 28 28 ］ 用双向长短时记忆网络（Bi-LSTM）和共注意力机制（co-attention）获取文本的局部和全局语义特征并进行多视图向量交互匹配，通过全连接神经网络来提取交互匹配特征和计算多视图语义匹配得分。与此同时，使用自然语言处理工具提取文本语句中的命名实体，并通过卷积神经网络来编码实体的上下文语义表示，利用余弦距离或双线性操作或张量计算构建实体匹配矩阵，使用二维卷积操作和多层感知器（MLP，multi-layer perceptron）计算实体语义匹配得分。最后，通过以上多视图语义交互匹配得分和实体语义匹配得分计算文本语义匹配综合加权评分。模型的所有参数可以通过训练数据集自动学习，并采用BP（back propagation）和SGD（stochastic gradient descent）优化算法进行模型训练。 我们在SNLI ［ 13 13 ］ 、MultiNLI ［ 14 14 ］ 和Quora Question Pairs ［ 12 12 ］ 数据集上分别与DIIN ［ 29 29 ］ 、MV-LSTM ［ 21 21 ］ 及DRCN ［ 28 28 ］ 等基准模型对比，实验结果表明相比经典深度文本匹配模型，本文提出的融合实体上下文特征的文本匹配模型在自然语言推理任务和语义鉴别任务上可以有效提升文本匹配的准确度，其中基于张量计算相似度的方式所获得的性能提升最大。 1 问题和通用框架介绍 1 1.1 问题定义及建模 2 文本语义匹配问题 ［ 1 1 ］ 可以定义为：给定已标注的训练数据集合 <math id="M1"><msub><mrow><mi>Τ</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>=</mo><mo stretchy="false">{</mo><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo><mo>,</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>k</mi></mrow></msup><msubsup><mrow><mo stretchy="false">}</mo></mrow><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558217&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558212&type= 38.26933289 4.74133348 ，其中 <math id="M2"><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>∈</mo><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558227&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558223&type= 10.49866676 3.38666677 ， <math id="M3"><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>∈</mo><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558239&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558232&type= 11.09133339 3.38666677 分别是语料 <math id="M4"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558249&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558244&type= 2.62466669 2.79399991 和语料 <math id="M5"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558259&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558254&type= 2.87866688 2.79399991 的第 <math id="M6"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558270&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558264&type= 1.69333339 2.79399991 段待匹配的文本， <math id="M7"><msup><mrow><mi>R</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>∈</mo><mi mathvariant="normal">ℝ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558280&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558273&type= 10.07533360 3.38666677 表示 <math id="M8"><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mi mathvariant="normal">和</mi><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558288&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558283&type= 11.93799973 3.55599999 的匹配程度。文本语义匹配的主要任务是通过训练数据训练文本匹配模型，让模型学习如何自动进行文本语义匹配 <math display="block" id="M9"><mi mathvariant="normal">s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo><mo>=</mo><mi>F</mi><mo stretchy="false">(</mo><mi>Φ</mi><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo><mo>,</mo><mi>Φ</mi><mo stretchy="false">(</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558297&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558292&type= 54.44067001 3.81000018 其中， <math id="M10"><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>=</mo><mo stretchy="false">(</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>k</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>k</mi></mrow></msubsup><mo>,</mo><mo>…</mo><mo>,</mo><msubsup><mrow><mi>x</mi></mrow><mrow><mi>m</mi></mrow><mrow><mi>k</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558305&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558301&type= 31.41133308 4.65666676 ， <math id="M11"><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>=</mo><mo stretchy="false">(</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>k</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>k</mi></mrow></msubsup><mo>,</mo><mo>…</mo><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>n</mi></mrow><mrow><mi>k</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558310&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558308&type= 30.90333366 4.99533367 ， <math id="M12"><msubsup><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>k</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558320&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558317&type= 3.04799986 3.97933340 和 <math id="M13"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>k</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558328&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558324&type= 3.04799986 4.82599974 分别是文本 <math id="M14"><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558339&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558334&type= 3.89466667 3.04799986 和 <math id="M15"><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558347&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558342&type= 4.14866638 3.04799986 中第 <math id="M16"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558356&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558352&type= 1.10066664 2.79399991 和第 <math id="M17"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558362&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558360&type= 1.10066664 3.64066648 个词汇， <math id="M18"><mi>Φ</mi><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558372&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558366&type= 7.28133297 3.55599999 表示将文本进行词向量表征的函数， <math id="M19"><mi>F</mi><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558377&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558374&type= 6.94266701 3.55599999 表示计算两段文本语义匹配分值的匹配模型。 1.2 深度文本语义匹配通用框架 2 现有深度文本语义匹配模型可以归纳为 图1 图1 所示的通用框架 ［ 30 30 ］ ，每一层的功能如下： • 输入向量化表示层（input embedding layer）：把文本中的单词或短语表示为词向量、短语向量、子词向量（subword embedding）作为输入，如通常使用的预训练词向量GloVe ［ 8 8 ］ 、Word2Vec ［ 7 7 ］ 等。同时还可以采用预处理工具把命名实体、词性、词法和句法信息加入特征向量。 • 上下文编码层（context encoding layer）：采用CNN（卷积神经网络）、Bi-RNN（双向循环神经网络）、递归神经网络等经典网络结构编码文本上下文信息和学习更深层特征，或者使用注意力机制（attention mechanism）建模长时依赖和局部特征。 • 交互层（interaction layer）：通过使用上下文编码层的输出，计算两短文本特征向量或词汇序列之间的相似性构建交互矩阵或张量。向量相似性计算方法通常包括余弦相似性（cosine similarity）、向量点积（dot product）、欧氏距离（Euclidean distance）等。不同的模型对不同的交互作用赋予不同的权重，主要是模拟两个句子之间的单词对齐。对齐信息对于句子对建模非常有用，因为两个句子之间的语义关系很大程度上依赖于对齐的块之间的关系 ［ 30 30 ］ 。 • 特征提取层（feature extraction layer）：采用诸如AlexNet ［ 31 31 ］ 、VGG ［ 32 32 ］ 、Inception ［ 33 33 ］ 、DenseNet ［ 34 34 ］ 、ResNet ［ 35 35 ］ 等卷积特征提取器或者添加多层全连接网络（MLP），从交互矩阵或张量中抽取更深层的语义对齐和语义交互特征。 • 输出分类层（output classification layer）：整合特征提取层输出的深层语义交互特征向量，最后使用softmax函数预测每个关系类别的概率或者使用线性变换计算匹配得分。 2 本文提出的模型 1 2.1 模型总体框架描述 2 本文所提出的深度文本语义匹配模型如 图2 图2 所示，主要包括两个模块：深度多视图语义匹配模块（左）、基于实体上下文特征的语义匹配模块（右）。两个模块同时将语句 X ：“France is the champion of the 2018 FIFA World Cup”和语句 Y ：“France won the FIFA World Cup in 2018”作为输入，分别计算文本语义匹配得分 <math id="M20"><mi mathvariant="bold-italic">s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558399&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558395&type= 1.35466671 2.79399991 和 <math id="M21"><msup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558405&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558403&type= 1.86266661 3.04799986 ，然后加权求和得到模型最终的综合匹配得分 <math id="M22"><mi mathvariant="normal">s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><mi>X</mi><mo>,</mo><mi>Y</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="bold-italic">s</mi><mo>+</mo><mi>λ</mi><msup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558413&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558408&type= 33.52799988 3.81000018 。 2.2 深度多视图语义匹配模块 2 该模块由以下几部分构成：1） 文本向量化表示，2） 词汇上下文编码，3） 向量交互匹配，4） 交互特征提取和预测。定义两个输入语句为 <math id="M23"><mi>X</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558439&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558434&type= 30.56466866 4.48733330 和 <math id="M24"><mi>Y</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558448&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558444&type= 29.80266571 4.74133348 ，其中 <math id="M25"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558460&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558453&type= 2.79399991 3.72533321 和 <math id="M26"><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558465&type= 2.53999996 4.57200003 分别是文本 <math id="M27"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558480&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558476&type= 2.62466669 2.79399991 和 <math id="M28"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558491&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558486&type= 2.87866688 2.79399991 中第 <math id="M29"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558500&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558496&type= 1.10066664 2.79399991 和第 <math id="M30"><mi>j</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558512&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558506&type= 1.10066664 3.64066648 个词汇， <math id="M31"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558523&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558518&type= 2.79399991 2.79399991 和 <math id="M32"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558534&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558528&type= 1.86266661 2.79399991 是语句 <math id="M33"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558538&type= 2.62466669 2.79399991 和 <math id="M34"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558556&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558547&type= 2.87866688 2.79399991 的长度。 2.2.1 文本向量化表示 3 针对输入语句 <math id="M35"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558565&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558560&type= 2.62466669 2.79399991 和 <math id="M36"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558576&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558570&type= 2.87866688 2.79399991 ，通过拼接预训练词向量（包括可训练词向量和固定词向量）、词语上下文卷积特征向量（包括词汇前文编码向量和词汇后文编码向量）和精确匹配标识来构建文本向量化表示。 首先，每个词通过GloVe预训练词嵌入矩阵映射为 <math id="M37"><mi>d</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558586&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558581&type= 2.20133328 2.79399991 维词向量，词向量在训练过程中可以同步更新或固定不变，可训练词向量便于获取到训练数据的特性，但是容易造成过拟合。固定词向量（在训练过程中保持不变）在特定任务数据上又缺乏灵活性。所以在我们的模型中同时采用可训练词向量 <math id="M38"><msubsup><mrow><mi mathvariant="bold-italic">e</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558598&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558592&type= 3.38666677 4.31799984 和固定词向量 <math id="M39"><msubsup><mrow><mi mathvariant="bold-italic">e</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">x</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558609&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558603&type= 3.89466667 4.31799984 以达到互补的效果。 其次，通过卷积神经网络计算上下文向量，把词汇前文（从语句开头到当前词汇）和后文（从当前词汇到语句结尾）分别输入一维卷积神经网络（卷积核的宽度为3）并采用最大池化操作，得到词汇前文编码向量 <math id="M40"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">b</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558620&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558616&type= 6.77333355 4.31799984 和词汇后文编码向量 <math id="M41"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558631&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558625&type= 5.41866684 4.31799984 。这里预训练词汇向量采用固定的GloVe词向量，卷积网络参数通过训练学习进行调整。 使用精确匹配标识 <math id="M42"><msub><mrow><mi>f</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558642&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558635&type= 2.87866688 4.06400013 标记词汇是否出现在另一个语句中。最后通过拼接可训练词向量、固定词向量、词汇前文编码向量、词汇后文编码向量、精确匹配标识这5个特征向量来表示单词 <math id="M43"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558653&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558648&type= 2.79399991 3.72533321 的特征向量，表达式如下 <math display="block" id="M44"><msubsup><mrow><mi mathvariant="bold-italic">x</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>w</mi></mrow></msubsup><mo>=</mo><mo stretchy="false">[</mo><msubsup><mrow><mi mathvariant="bold-italic">e</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi></mrow></msubsup><mo>;</mo><msubsup><mrow><mi mathvariant="bold-italic">e</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">x</mi></mrow></msubsup><mo>;</mo><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">b</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi></mrow></msubsup><mo>;</mo><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi></mrow></msubsup><mo>;</mo><msub><mrow><mi>f</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558667&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558659&type= 41.14799881 5.50333357 其中： <math display="block" id="M45"><msubsup><mrow><mi mathvariant="bold-italic">e</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi></mrow></msubsup><mo>=</mo><msup><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi></mrow></msup><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558678&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558672&type= 19.04999924 5.50333357 , <math display="block" id="M46"><msubsup><mrow><mi mathvariant="bold-italic">e</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">x</mi></mrow></msubsup><mo>=</mo><msup><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">x</mi></mrow></msup><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558689&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558684&type= 20.31999969 5.50333357 ， <math display="block" id="M47"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">b</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi></mrow></msubsup><mo>=</mo><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>…</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558700&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558695&type= 36.66066742 5.24933338 , <math display="block" id="M48"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi></mrow></msubsup><mo>=</mo><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>…</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>m</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558713&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558708&type= 35.81399918 5.24933338 <math id="M49"><msup><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558724&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558718&type= 4.14866638 3.04799986 和 <math id="M50"><msup><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">x</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558735&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558729&type= 4.99533367 3.04799986 分别是可训练和不可训练词向量矩阵，Conv表示一维卷积操作。对于语句中的每一个词都执行上述步骤来抽取词汇特征向量。 2.2.2 词汇上下文编码 3 采用双向长短时记忆网络（Bi-LSTM）编码输入文本序列特征， <math id="M51"><mi>t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558746&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558741&type= 1.10066664 2.79399991 位置的隐含状态输出为 <math display="block" id="M52"><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mo stretchy="false">[</mo><mover accent="true"><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi></mrow><mo stretchy="true">⃗</mo></mover><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mo>,</mo><mtext> </mtext><mover accent="true"><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi></mrow><mo stretchy="true">⃖</mo></mover><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><msup><mrow><mo stretchy="false">]</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558758&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558751&type= 70.35800171 4.48733330 其中 <math id="M53"><mover accent="true"><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi></mrow><mo stretchy="true">⃗</mo></mover><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558770&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558765&type= 26.41599846 4.48733330 和 <math id="M54"><mover accent="true"><mrow><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi></mrow><mo stretchy="true">⃖</mo></mover><mo stretchy="false">(</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558781&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558775&type= 26.41599846 4.48733330 分别表示Bi-LSTM模型在 t 位置的正向输出和反向输出， <math id="M55"><msup><mrow><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558792&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558786&type= 5.50333357 3.81000018 表示转置。 为了保留原始文本特征，便于梯度传播，参考DenseNet ［ 34 34 ］ 和ResNet ［ 35 35 ］ 添加残差连接到Bi-LSTM的输出，并拼接 <math id="M56"><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558802&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558797&type= 2.96333337 3.72533321 和 <math id="M57"><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558811&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558808&type= 2.79399991 3.72533321 以保留隐含特征进行向量交互匹配。那么， t 位置的编码输出 <math id="M58"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558820&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558816&type= 3.64066648 4.06400013 表示为 <math display="block" id="M59"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub><mo>=</mo><mo stretchy="false">[</mo><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>;</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558835&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558829&type= 18.96533394 5.07999992 参考DRCN ［ 28 28 ］ 采用基于两个语句相关部分的共注意力机制（co-attention）计算每个词汇的上下文向量，该注意力信息可以表示两个语句之间的软对齐规则（soft alignment）。即相对于文本 <math id="M60"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558845&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558839&type= 2.87866688 2.79399991 ，文本 <math id="M61"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558857&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558848&type= 2.62466669 2.79399991 的第 <math id="M62"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558868&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558860&type= 1.10066664 2.79399991 个词汇 <math id="M63"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558878&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558873&type= 2.79399991 3.72533321 的注意力信息可以通过如下方式计算 <math display="block" id="M64"><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub><mo>=</mo><munderover><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover><mrow><msub><mrow><mi>α</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><msub><mrow><mi>h</mi></mrow><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558888&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558883&type= 22.09799957 8.88999939 其中： <math display="block" id="M65"><msub><mrow><mi>α</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mtext> </mtext><mo stretchy="false">(</mo><msub><mrow><mi>e</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><msubsup><mo>∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></msubsup><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mtext> </mtext><mo stretchy="false">(</mo><msub><mrow><mi>e</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>k</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558897&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558892&type= 28.10933304 13.29266644 <math display="block" id="M66"><msub><mrow><mi>e</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mtext> </mtext><mo stretchy="false">(</mo><msub><mrow><mi>h</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub><mo>,</mo><msub><mrow><mi>h</mi></mrow><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558910&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558903&type= 25.82333374 5.07999992 <math id="M67"><mi>n</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558919&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558913&type= 1.86266661 2.79399991 为语句 <math id="M68"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558930&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558923&type= 2.87866688 2.79399991 的长度， <math id="M69"><msub><mrow><mi>e</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558940&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558935&type= 3.81000018 3.72533321 为 <math id="M70"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558951&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558943&type= 2.79399991 3.72533321 位置和 <math id="M71"><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558959&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558954&type= 2.53999996 4.57200003 位置隐含输出的余弦相似度， <math id="M72"><msub><mrow><mi>α</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558971&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558965&type= 4.23333359 3.72533321 表示 <math id="M73"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558981&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558975&type= 2.79399991 3.72533321 相对 <math id="M74"><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558992&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558986&type= 2.53999996 4.57200003 的注意力评分， <math id="M75"><msub><mrow><mi>a</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559000&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4558995&type= 3.64066648 4.06400013 是 <math id="M76"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559009&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559005&type= 2.79399991 3.72533321 相对 <math id="M77"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559019&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559014&type= 2.87866688 2.79399991 的注意力向量表示。 拼接基于注意力的上下文向量 <math id="M78"><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559032&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559024&type= 3.72533321 4.06400013 和触发后的 <math id="M79"><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559045&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559038&type= 3.97933340 4.14866638 作为下一层的输入 <math display="block" id="M80"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub><mo>=</mo><mo stretchy="false">[</mo><msub><mrow><mi mathvariant="bold-italic">h</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>;</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>;</mo><msub><mrow><mi mathvariant="bold-italic">a</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559048&type= 23.45266724 5.07999992 针对输入语句 <math id="M81"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559064&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559058&type= 2.87866688 2.79399991 ，可以用针对输入语句 <math id="M82"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559075&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559068&type= 2.62466669 2.79399991 同样的步骤进行文本向量化表示、词汇上下文编码（包括计算相对 <math id="M83"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559087&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559079&type= 2.62466669 2.79399991 的共注意力信息）得到 <math id="M84"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559095&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559090&type= 3.55599999 4.06400013 ，这样就得到了两段文本 <math id="M85"><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559104&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559100&type= 2.62466669 2.79399991 和 <math id="M86"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559116&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559111&type= 2.87866688 2.79399991 在每个位置 t 的编码输出向量，可以对不同位置的交互信息进行建模。 2.2.3 向量交互匹配 3 基于文本不同位置 <math id="M87"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559125&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559120&type= 2.79399991 3.72533321 、 <math id="M88"><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559135&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559130&type= 2.53999996 4.57200003 的向量表示 <math id="M89"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559144&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559138&type= 3.64066648 4.06400013 和 <math id="M90"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559154&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559148&type= 3.55599999 4.06400013 ，多种相似性度量函数可以用来建模其交互信息，如余弦距离（cosine）、向量点积（dot product）等。借鉴MV-LSTM模型 ［ 21 21 ］ 中的方法，我们分别采用Cosine（余弦距离）、Bilinear（双线性变换）和Tensor Layer（张量变换）3种相似性度量函数来计算两个语句不同位置的交互信息。针对给定的两个向量 <math id="M91"><mi mathvariant="bold-italic">u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559164&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559159&type= 2.11666679 2.79399991 和 <math id="M92"><mi mathvariant="bold-italic">v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559175&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559169&type= 2.03200006 2.79399991 ，这3种相似性度量函数的评分分别表示为 <math display="block" id="M93"><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mo>:</mo><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">C</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">u</mi><mo>,</mo><mi mathvariant="bold-italic">v</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><msup><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi mathvariant="bold-italic">v</mi></mrow><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi mathvariant="bold-italic">u</mi></mrow></mfenced><mo>·</mo><mfenced open="‖" close="‖" separators="|"><mrow><mi mathvariant="bold-italic">v</mi></mrow></mfenced></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559186&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559179&type= 44.02666855 8.97466660 <math display="block" id="M94"><mi mathvariant="normal">B</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mo>:</mo><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">B</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">u</mi><mo>,</mo><mi mathvariant="bold-italic">v</mi><mo stretchy="false">)</mo><mo>=</mo><msup><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi mathvariant="bold-italic">M</mi><mi mathvariant="bold-italic">v</mi><mo>+</mo><mi mathvariant="bold-italic">b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559196&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559192&type= 46.99000168 4.65666676 <math display="block" id="M95"><mi mathvariant="normal">T</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mtext> </mtext><mi mathvariant="normal">L</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">y</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mo>:</mo><msub><mrow><mi>s</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">u</mi><mo>,</mo><mi mathvariant="bold-italic">v</mi><mo stretchy="false">)</mo><mo>=</mo><mi>f</mi><mo stretchy="false">(</mo><msup><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><msup><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mfenced open="[" close="]" separators="|"><mrow><mn mathvariant="normal">1</mn><mo>:</mo><mi>c</mi></mrow></mfenced></mrow></msup><mi mathvariant="bold-italic">v</mi><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="bold-italic">u</mi><mi mathvariant="bold-italic">v</mi></mrow></msub><mfenced open="[" close="]" separators="|"><mrow><mtable><mtr><mtd><mi mathvariant="bold-italic">u</mi></mtd></mtr><mtr><mtd><mi mathvariant="bold-italic">v</mi></mtd></mtr></mtable></mrow></mfenced><mo>+</mo><mi mathvariant="bold-italic">b</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559226&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559202&type= 80.94133759 8.55133343 （7） 其中， <math id="M96"><mi mathvariant="bold-italic">M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559236&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559232&type= 3.47133350 2.96333337 是不同维度交互的权重矩阵， <math id="M97"><msup><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi>i</mi></mrow></msup><mo>,</mo><mi>i</mi><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>…</mo><mo>,</mo><mi>c</mi><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559243&type= 25.73866653 3.81000018 是张量参数的一个时间切片， <math id="M98"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="bold-italic">u</mi><mi mathvariant="bold-italic">v</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559265&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559261&type= 6.01133347 3.81000018 和 <math id="M99"><mi mathvariant="bold-italic">b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559277&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559270&type= 1.86266661 2.87866688 是线性部分参数， <math id="M100"><mi>f</mi><mo stretchy="false">(</mo><mi>z</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mtext> </mtext><mo stretchy="false">(</mo><mn mathvariant="normal">0</mn><mo>,</mo><mi>z</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559286&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559282&type= 27.51666832 3.81000018 。Cosine和Bilinear函数输出交互矩阵，而Tensor Layer函数输出交互张量。Cosine相似度计算是一种常用做法，而Bilinear能够考虑不同维度之间的关联信息，因此相比Cosine方法能够捕获更复杂的交互信息。Tensor Layer在建模两个向量之间相互关系表现出了较大的优越性 ［ 36 36 ］ ，且能够退化为Bilinear和向量点积相似度度量方法。 2.2.4 交互特征提取和预测 3 现在我们要分别整合这3种语义交互信息以计算得到两个语句最终的匹配得分，通过一个 K -Max池化层，保留交互矩阵或张量中前 K 个大元素。对于交互矩阵， K -Max池化后得到 K 个数值，以降序排列，组成一个新的向量 <math id="M101"><mi mathvariant="bold-italic">q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559296&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559291&type= 1.94733334 3.64066648 。对于交互张量，每个张量切片在 K -Max池化后返回 K 个数值形成一个向量，所有张量切片返回向量拼接在一起构成向量 <math id="M102"><mi mathvariant="bold-italic">q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559304&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559302&type= 1.94733334 3.64066648 。最后，把向量 <math id="M103"><mi mathvariant="bold-italic">q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559318&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559313&type= 1.94733334 3.64066648 输入多层感知机（MLP），通过全连接神经网络获取更深层次交互向量表示 <math id="M104"><mi mathvariant="bold-italic">r</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559332&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559323&type= 1.60866666 2.79399991 ，然后用一个线性变换输出匹配得分值 <math id="M105"><mi mathvariant="bold-italic">s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559341&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559334&type= 1.35466671 2.79399991 ，其表达式如下 <math display="block" id="M106"><mi mathvariant="bold-italic">r</mi><mo>=</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="bold-italic">r</mi></mrow></msub><mi mathvariant="bold-italic">q</mi><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi mathvariant="bold-italic">r</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><mi mathvariant="bold-italic">s</mi><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="bold-italic">s</mi></mrow></msub><mi mathvariant="bold-italic">r</mi><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi mathvariant="bold-italic">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559350&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559345&type= 48.00600052 4.65666676 其中， <math id="M107"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="bold-italic">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559360&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559354&type= 4.74133348 3.81000018 、 <math id="M108"><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mi mathvariant="bold-italic">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559371&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559364&type= 4.57200003 3.81000018 分别是权重矩阵， <math id="M109"><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi mathvariant="bold-italic">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559383&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559376&type= 2.87866688 3.72533321 和 <math id="M110"><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi mathvariant="bold-italic">s</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559394&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559388&type= 2.79399991 3.72533321 为偏置向量， <math id="M111"><mi>f</mi><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559407&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559401&type= 6.18066692 3.81000018 是非线性激活函数。 2.3 基于实体上下文特征的语义匹配模块 2 该模块包括4部分：1） 命名实体识别，2） 实体上下文编码，3） 实体交互匹配，4） 匹配特征提取和预测。 2.3.1 命名实体识别 3 在进行实体上下文特征提取之前，要先找到文本里面所包含的命名实体。实体是语句中的一个文本片段，通常由一个或者多个连续的单词构成。如 图2 图2 中的语句 Y “France won the FIFA World Cup in 2018”包含“France”和“the FIFA World Cup”两个实体。直接使用已有自然语言处理基础工具来识别命名实体，如NLTK、StanfordNLP。针对语句 X 和 Y 分别抽取得到实体集合 <math id="M112"><mo stretchy="false">{</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup><msubsup><mrow><mo stretchy="false">}</mo></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>k</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559415&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559411&type= 14.30866623 4.74133348 和 <math id="M113"><mo stretchy="false">{</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msubsup><msubsup><mrow><mo stretchy="false">}</mo></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559429&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559421&type= 14.22399998 4.74133348 。 2.3.2 实体上下文编码 3 由于实体所体现的语义信息与实体所处的上下文语境关联较大，在找出文本语句中包含的所有候选命名实体之后，要提取实体上下文语义特征。本文采用两个不同参数的一维卷积神经网络 <math id="M114"><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><msub><mrow><mi mathvariant="normal">v</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559438&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559433&type= 12.86933327 3.72533321 和 <math id="M115"><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><msub><mrow><mi mathvariant="normal">v</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559449&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559444&type= 14.22399998 3.72533321 分别对命名实体片段和命名实体所处上下文进行特征抽取。由于实体长度通常比上下文语境短，实体的卷积过滤器的宽度自然要比上下文语境的小。针对命名实体之前的文本片段和命名实体之后的文本片段分别进行特征提取。然后，对实体和上下文特征向量分别采用 K -Max池化，公式如下 <math display="block" id="M116"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup></mrow></msub><mo>=</mo><mi>K</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">{</mo><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><msub><mrow><mi mathvariant="normal">v</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559457&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559454&type= 46.99000168 5.50333357 <math display="block" id="M117"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><msubsup><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>-</mo></mrow></msubsup></mrow></msub><mo>=</mo><mi>K</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">{</mo><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><msub><mrow><mi mathvariant="normal">v</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><msubsup><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>-</mo></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559467&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559463&type= 51.22333145 5.50333357 <math display="block" id="M118"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><msubsup><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>+</mo></mrow></msubsup></mrow></msub><mo>=</mo><mi>K</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">{</mo><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><msub><mrow><mi mathvariant="normal">v</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><msubsup><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>+</mo></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559478&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559474&type= 51.22333145 5.58799982 再将上述3向量表征拼接 <math display="block" id="M119"><msubsup><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>=</mo><mo stretchy="false">[</mo><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup></mrow></msub><mo>;</mo><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><msubsup><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>-</mo></mrow></msubsup></mrow></msub><mo>;</mo><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><msubsup><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>+</mo></mrow></msubsup></mrow></msub><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559486&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559483&type= 33.61266708 5.58799982 其中， <math id="M120"><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559493&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559490&type= 5.92666674 3.97933340 、 <math id="M121"><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><msubsup><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>-</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559503&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559498&type= 7.62000036 3.97933340 、 <math id="M122"><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><msubsup><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>+</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559512&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559509&type= 7.62000036 3.97933340 分别表示语句 X 中第 i 个命名实体、实体之前的文本片段、实体之后的文本片段。 <math id="M123"><mi>K</mi><mi mathvariant="normal">M</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">{</mo><mo>·</mo><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559520&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559516&type= 15.07066631 3.55599999 为 K -Max池化操作， <math id="M124"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup></mrow></msub><mi mathvariant="normal">、</mi><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><msubsup><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>-</mo></mrow></msubsup></mrow></msub><mi mathvariant="normal">、</mi><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">t</mi><msubsup><mrow><mi mathvariant="normal">x</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi><mo>+</mo></mrow></msubsup></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559530&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559527&type= 23.11400032 4.31799984 分别表示通过卷积神经网络和 K -Max池化获得的实体、实体前文、实体后文的向量表征。 2.3.3 实体交互匹配 3 针对语句 X 中的 <math id="M125"><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559540&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559537&type= 1.69333339 2.79399991 个实体上下文特征向量 <math id="M126"><mo stretchy="false">{</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup><msubsup><mrow><mo stretchy="false">}</mo></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>k</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559548&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559543&type= 11.51466751 4.74133348 和语句 Y 中的 <math id="M127"><mi>l</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559558&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559552&type= 1.18533337 2.79399991 个实体上下文特征向量 <math id="M128"><mo stretchy="false">{</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msubsup><msubsup><mrow><mo stretchy="false">}</mo></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559569&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559563&type= 11.42999935 4.74133348 ，采用与2.2.3节相同的3种向量相似性计算方法：Cosine、Bilinear和Tensor Layer，计算语句 X 和语句 Y 中的实体匹配矩阵或张量。 2.3.4 匹配特征提取和预测 3 针对上一步计算得到的Cosine实体匹配矩阵、Bilinear实体匹配矩阵或Tensor Layer实体匹配张量，分别采用二维卷积操作和 K -Max池化操作，得到向量 <math id="M129"><msup><mrow><mi mathvariant="bold-italic">q</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559581&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559576&type= 2.45533323 3.89466667 。 最后，把向量 <math id="M130"><mi mathvariant="bold-italic">q</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559587&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559584&type= 2.70933342 4.14866638 输入多层感知机（MLP），通过全连接神经网络获取更高级别向量表示 <math id="M131"><mi mathvariant="bold-italic">r</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559597&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559591&type= 2.37066674 3.30199981 ，然后用一个线性变换输出匹配得分值 <math id="M132"><mi mathvariant="bold-italic">s</mi><mi mathvariant="normal">'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559605&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559600&type= 2.11666679 3.30199981 ，其表达式如下 <math display="block" id="M133"><mi mathvariant="bold-italic">r</mi><mi mathvariant="normal">'</mi><mo>=</mo><mi>f</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><msup><mrow><mi mathvariant="bold-italic">r</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow></msub><msup><mrow><mi mathvariant="bold-italic">q</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><msup><mrow><mi mathvariant="bold-italic">r</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><mtext> </mtext><mi mathvariant="bold-italic">s</mi><mi mathvariant="normal">'</mi><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><msup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></mrow></msub><mi mathvariant="bold-italic">r</mi><mi mathvariant="normal">'</mi><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mi mathvariant="bold-italic">s</mi><mi mathvariant="normal">'</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559612&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559609&type= 52.66266632 5.41866684 2.4 模型训练 2 对语句 X 和 Y 进行深度文本语义匹配，最终得分为 <math display="block" id="M134"><mi mathvariant="normal">s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><mi>X</mi><mo>,</mo><mi>Y</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="bold-italic">s</mi><mo>+</mo><mi>λ</mi><msup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559619&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559615&type= 33.44333649 3.81000018 其中， <math id="M135"><mi mathvariant="bold-italic">s</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559628&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559624&type= 1.35466671 2.79399991 是深度多视图语义模块的匹配得分， <math id="M136"><msup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559634&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559631&type= 1.86266661 3.04799986 是基于实体上下文特征的语义匹配模块得分， <math id="M137"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559640&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559637&type= 1.77800000 2.79399991 为平衡因子，用于调节两个模块的得分比重。 模型训练任务可以看作一个排序（ranking）问题，即最小化模型输出与真实匹配程度的差异 <math display="block" id="M138"><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">z</mi><mi mathvariant="normal">e</mi><mtext> </mtext><mo stretchy="false">{</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo><mo>-</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559645&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559642&type= 46.22800064 3.81000018 对于给定正样本 <math id="M139"><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559654&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559650&type= 12.95399952 3.81000018 和负样本 <math id="M140"><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559661&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559657&type= 13.80066681 4.65666676 ，正样本的排名和匹配得分比负样本高，模型的损失函数可以定义为hinge损失函数 <math display="block" id="M141"><mi mathvariant="normal">ℒ</mi><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mtext> </mtext><mo stretchy="false">(</mo><mn mathvariant="normal">0</mn><mo>,</mo><mtext> </mtext><mn mathvariant="normal">1</mn><mo>-</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo><mo>+</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559667&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559664&type= 94.14933777 4.65666676 本文采用AdaGrad ［ 37 37 ］ 算法迭代优化模型，并使用反向传播（BP）算法和随机梯度下降（SGD）算法联合训练词向量、Bi-LSTM、CNN、MLP等参数。以Tensor Layer为例进行交互评分，整个模型的训练过程如 算法1 算法1 所示，Cosine和Bilinear相似度度量函数依此类推。 算法1 融合实体上下文特征的深度文本语义匹配算法 输入： 已标注训练集 <math id="M142"><msub><mrow><mi>Τ</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub><mo>=</mo><mo>{</mo><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo><mo>,</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>k</mi></mrow></msup><msubsup><mrow><mo>}</mo></mrow><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></math> 和开发集 <math id="M143"><msub><mrow><mi>Τ</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">v</mi></mrow></msub><mo>=</mo><mo>{</mo><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo><mo>,</mo><msup><mrow><mi>R</mi></mrow><mrow><mi>k</mi></mrow></msup><msubsup><mrow><mo>}</mo></mrow><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>M</mi></mrow></msubsup></math> ，词汇表 <math id="M144"><mi>V</mi></math> ，预训练GloVe词向量 <math id="M145"><msup><mrow><mi>E</mi></mrow><mrow><mi mathvariant="normal">f</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">x</mi></mrow></msup></math> ，最大迭代次数epoch，学习率 <math id="M146"><mi mathvariant="normal">l</mi><mi mathvariant="normal">r</mi></math> ，词向量维度 d ，目标准确率goal 输出： 模型参数{ <math id="M147"><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">N</mi><mi mathvariant="normal">N</mi></mrow></msub><mo>,</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">B</mi><mi mathvariant="normal">i</mi><mo>-</mo><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi></mrow></msub><mo>,</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">P</mi></mrow></msub><mo>,</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">y</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi></mrow></msub></math> }，可训练词向量 <math id="M148"><msup><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi></mrow></msup></math> 1 为训练集 <math id="M149"><mo>{</mo><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><msubsup><mrow><mo stretchy="false">)</mo><mo>}</mo></mrow><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></math> 构建负样本 <math id="M150"><mo>{</mo><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup><msubsup><mrow><mo stretchy="false">)</mo><mo>}</mo></mrow><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>N</mi></mrow></msubsup></math> for epoch: for k =1: N { 2 根据 (2)式计算语句 <math id="M151"><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup></math> 中每个词 <math id="M152"><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow></msub><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>h</mi></mrow><mrow><mo>-</mo></mrow></msubsup></math> 的文本向量化表示 <math id="M153"><msubsup><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>w</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>y</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi>w</mi></mrow></msubsup><mo>,</mo><msup><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>h</mi></mrow><mrow><mo>-</mo></mrow></msubsup></mrow><mrow><mi>w</mi></mrow></msup></math> 。使用StanfordNLP工具提取 <math id="M154"><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup></math> 中的候选命名实体 <math id="M155"><mo>{</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup><msubsup><mrow><mo>}</mo></mrow><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>k</mi></mrow></msubsup><mo>,</mo><mo>{</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msubsup><msubsup><mrow><mo>}</mo></mrow><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>l</mi></mrow></msubsup><mo>,</mo><mo>{</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><msup><mrow><mi>y</mi></mrow><mrow><mo>-</mo></mrow></msup></mrow><mrow><mi>i</mi></mrow></msubsup><msubsup><mrow><mo>}</mo></mrow><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>m</mi></mrow></msubsup></math> 3 根据 (3)，(5)，(6)式分别计算语句 <math id="M156"><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup></math> 中每个位置 t 的Bi-LSTM隐含层输出、注意力评分，然后拼接生成每个位置 t 的上下文编码 <math id="M157"><msub><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow><mrow><mo>-</mo></mrow></msubsup></mrow></msub></math> 4 根据 (9)式计算语句 <math id="M158"><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup></math> 中每个实体 <math id="M159"><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><msubsup><mrow><mi mathvariant="normal">t</mi></mrow><mrow><msup><mrow><mi>y</mi></mrow><mrow><mo>-</mo></mrow></msup></mrow><mrow><mi>i</mi></mrow></msubsup></math> 的卷积神经网络编码、实体前文编码和实体后文编码，拼接生成实体上下文编码 <math id="M160"><msubsup><mrow><mi>v</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><msup><mrow><mi>y</mi></mrow><mrow><mo>-</mo></mrow></msup></mrow><mrow><mi>i</mi></mrow></msubsup></math> 5 根据(7)式和每个位置 t 的上下文编码 <math id="M161"><msub><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></msub><mo>,</mo><msub><mrow><mi>p</mi></mrow><mrow><msubsup><mrow><mi>y</mi></mrow><mrow><mi>t</mi></mrow><mrow><mo>-</mo></mrow></msubsup></mrow></msub></math> 计算 <math id="M162"><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup></math> 或 <math id="M163"><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup></math> 不同位置之间的Tensor Layer相似度，生成语义相似度张量 <math id="M164"><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">c</mi></mrow></msub></math> 6 根据 (7)式和每个实体的上下文编码 <math id="M165"><msubsup><mrow><mi>v</mi></mrow><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><msup><mrow><mi>y</mi></mrow><mrow><mo>-</mo></mrow></msup></mrow><mrow><mi>i</mi></mrow></msubsup></math> 计算 <math id="M166"><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup></math> 或 <math id="M167"><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup></math> 不同位置之间的Tensor Layer相似度，生成实体匹配张量 <math id="M168"><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub></math> 7 对 <math id="M169"><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">c</mi></mrow></msub></math> 进行 K -Max池化和MLP交互特征提取，根据(8)式计算语义匹配得分 <math id="M170"><mi mathvariant="bold-italic">s</mi></math> 8 对 <math id="M171"><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub></math> 进行二维卷积神经网络特征提取、 K -Max池化和MLP深层特征提取，根据(10)式计算语义匹配得分 <math id="M172"><msup><mrow><mi mathvariant="bold-italic">s</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> 9 根据(11)式计算两个模块的加权综合评分 <math id="M173"><mi mathvariant="normal">s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo></math> 和 <math id="M174"><mi mathvariant="normal">s</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup><mo stretchy="false">)</mo></math> 10 根据(12)式计算正样本 <math id="M175"><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo stretchy="false">)</mo></math> 和负样本 <math id="M176"><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup><mo stretchy="false">)</mo></math> 的hinge损失函数 <math id="M177"><mi mathvariant="script">L</mi><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup><mo stretchy="false">)</mo></math> 11 计算损失函数对每个参数 <math id="M178"><mi>θ</mi><mo>∈</mo><mo>{</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">C</mi><mi mathvariant="normal">N</mi><mi mathvariant="normal">N</mi></mrow></msub><mo>,</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">B</mi><mi mathvariant="normal">i</mi><mo>-</mo><mi mathvariant="normal">L</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">T</mi><mi mathvariant="normal">M</mi></mrow></msub><mo>,</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">P</mi></mrow></msub><mo>,</mo><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">L</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">y</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi></mrow></msub><mo>}</mo></math> 的梯度 <math id="M179"><msub><mrow><mo>∇</mo></mrow><mrow><mi>θ</mi></mrow></msub></math> ，更新参数 <math id="M180"><mi>θ</mi><mo>=</mo><mi>θ</mi><mo>-</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">r</mi><mo>⋅</mo><msub><mrow><mo>∇</mo></mrow><mrow><mi>θ</mi></mrow></msub></math> 计算损失函数对每个可训练词向量 <math id="M181"><mi mathvariant="bold-italic">e</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi></mrow></msup></math> 的梯度 <math id="M182"><msub><mrow><mo>∇</mo></mrow><mrow><mi>e</mi></mrow></msub></math> ，更新词向量 <math id="M183"><mi mathvariant="bold-italic">e</mi><mo>=</mo><mi mathvariant="bold-italic">e</mi><mo>-</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">r</mi><mo>⋅</mo><msub><mrow><mo>∇</mo></mrow><mrow><mi>e</mi></mrow></msub></math> 12 } 计算总体损失 <math id="M184"><mi mathvariant="normal">L</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mo>=</mo><mi mathvariant="normal">L</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">s</mi><mo>+</mo><mi mathvariant="script">L</mi><mo stretchy="false">(</mo><msup><mrow><mi>X</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msup><mrow><mi>Y</mi></mrow><mrow><mi>k</mi></mrow></msup><mo>,</mo><msubsup><mrow><mi>Y</mi></mrow><mrow><mo>-</mo></mrow><mrow><mi>k</mi></mrow></msubsup><mo stretchy="false">)</mo></math> ，计算在开发集上的准确率acc 13 if acc <math id="M185"><mo>≥</mo></math> goal, return 0 } 假设待匹配的两个语句 X 和 Y 的长度分别为 m 和 n ，词向量的维度为 d ，Bi-LSTM隐含层节点数为 h ，MLP（多层感知机）的隐含层节点数为 p ， K -Max池化层取 k 个最大值， <math id="M186"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559680&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559676&type= 1.52399993 2.79399991 为Tensor Layer张量切片数量（slices of tensor），假设从 X 和 Y 中分别抽取到了 <math id="M187"><msub><mrow><mi>l</mi></mrow><mrow><mi>x</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559684&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559682&type= 2.45533323 3.72533321 和 <math id="M188"><msub><mrow><mi>l</mi></mrow><mrow><mi>y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559691&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559688&type= 2.28600001 3.72533321 个实体，那么算法各部分的时间复杂度和空间复杂度如 表1 表1 所示。由 表1 表1 可见，本文提出模型的复杂度最大的是Bi-LSTM和向量交互匹配部分，3种相似性交互计算方法中，Tensor Layer的复杂度最高（与张量维度 c 成正比），Cosine的复杂度最低。 模块 2 操作 时间复杂度 空间复杂度 6 深度多视图语义匹配 2 文本向量化表示 <math id="M189"><mi>O</mi><mo stretchy="false">(</mo><mo stretchy="false">(</mo><msup><mrow><mi>m</mi></mrow><mrow><mn>2</mn></mrow></msup><mo>+</mo><msup><mrow><mi>n</mi></mrow><mrow><mn>2</mn></mrow></msup><mo stretchy="false">)</mo><mi>d</mi><mo stretchy="false">)</mo></math> <math id="M190"><mi>O</mi><mo stretchy="false">(</mo><mo stretchy="false">(</mo><mi>m</mi><mo>+</mo><mi>n</mi><mo stretchy="false">)</mo><mi>d</mi><mo stretchy="false">)</mo></math> 2 词汇上下文编码 <math id="M191"><mi>O</mi><mo stretchy="false">(</mo><mo stretchy="false">(</mo><mi>m</mi><mo>+</mo><mi>n</mi><mo stretchy="false">)</mo><mo stretchy="false">(</mo><mn>2</mn><mi>h</mi><mo>+</mo><mn>20</mn><mi>d</mi><mi>h</mi><mo>+</mo><mn>5</mn><msup><mrow><mi>h</mi></mrow><mrow><mn>2</mn></mrow></msup><mo stretchy="false">)</mo></math> <math id="M192"><mi>O</mi><mo stretchy="false">(</mo><mn>4</mn><mi>d</mi><mi>h</mi><mo>+</mo><msup><mrow><mi>h</mi></mrow><mrow><mn>2</mn></mrow></msup><mo stretchy="false">)</mo></math> 3 向量交互匹配 Cosine <math id="M193"><mi>O</mi><mo stretchy="false">(</mo><mi>m</mi><mi>n</mi><mo stretchy="false">(</mo><mi>d</mi><mo>+</mo><mn>3</mn><mi>h</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> <math id="M194"><mi>O</mi><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></math> Bilinear <math id="M195"><mi>O</mi><mo stretchy="false">(</mo><mi>m</mi><mi>n</mi><msup><mrow><mo stretchy="false">(</mo><mi>d</mi><mo>+</mo><mn>3</mn><mi>h</mi><mo stretchy="false">)</mo></mrow><mrow><mn>2</mn></mrow></msup><mo stretchy="false">)</mo></math> <math id="M196"><mi>O</mi><mo stretchy="false">(</mo><msup><mrow><mo stretchy="false">(</mo><mi>d</mi><mo>+</mo><mn>3</mn><mi>h</mi><mo stretchy="false">)</mo></mrow><mrow><mn>2</mn></mrow></msup><mo stretchy="false">)</mo></math> Tensor Layer <math id="M197"><mi>O</mi><mo stretchy="false">(</mo><mi>m</mi><mi>n</mi><mi>c</mi><msup><mrow><mo stretchy="false">(</mo><mi>d</mi><mo>+</mo><mn>3</mn><mi>h</mi><mo stretchy="false">)</mo></mrow><mrow><mn>2</mn></mrow></msup><mo>+</mo><mn>2</mn><mi>m</mi><mi>n</mi><mo stretchy="false">(</mo><mi>d</mi><mo>+</mo><mn>3</mn><mi>h</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> <math id="M198"><mi>O</mi><mo stretchy="false">(</mo><mi>c</mi><msup><mrow><mo stretchy="false">(</mo><mi>d</mi><mo>+</mo><mn>3</mn><mi>h</mi><mo stretchy="false">)</mo></mrow><mrow><mn>2</mn></mrow></msup><mo stretchy="false">)</mo></math> 2 交互特征提取和预测 <math id="M199"><mi>O</mi><mo stretchy="false">(</mo><mi>m</mi><mi>n</mi><mi>k</mi><mo>+</mo><mo stretchy="false">(</mo><mi>k</mi><mo>+</mo><mn>1</mn><mo stretchy="false">)</mo><mi>p</mi><mo stretchy="false">)</mo></math> <math id="M200"><mi>O</mi><mo stretchy="false">(</mo><mo stretchy="false">(</mo><mi>k</mi><mo>+</mo><mn>1</mn><mo stretchy="false">)</mo><mi>p</mi><mo stretchy="false">)</mo></math> 6 基于实体上下文特征的语义匹配 2 命名实体识别 - - 2 实体上下文编码 <math id="M201"><mi>O</mi><mo stretchy="false">(</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>x</mi></mrow></msub><mi>m</mi><mi>d</mi><mo>+</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>y</mi></mrow></msub><mi>n</mi><mi>d</mi><mo stretchy="false">)</mo></math> <math id="M202"><mi>O</mi><mo stretchy="false">(</mo><mo stretchy="false">(</mo><mi>m</mi><mo>+</mo><mi>n</mi><mo stretchy="false">)</mo><mi>d</mi><mo stretchy="false">)</mo></math> 3 实体交互匹配 Cosine <math id="M203"><mi>O</mi><mo stretchy="false">(</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>l</mi></mrow><mrow><mi>y</mi></mrow></msub><mi>k</mi><mi>d</mi><mo stretchy="false">)</mo></math> <math id="M204"><mi>O</mi><mo stretchy="false">(</mo><mn>1</mn><mo stretchy="false">)</mo></math> Bilinear <math id="M205"><mi>O</mi><mo stretchy="false">(</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>l</mi></mrow><mrow><mi>y</mi></mrow></msub><msup><mrow><mo stretchy="false">(</mo><mi>k</mi><mi>d</mi><mo stretchy="false">)</mo></mrow><mrow><mn>2</mn></mrow></msup><mo stretchy="false">)</mo></math> <math id="M206"><mi>O</mi><mo stretchy="false">(</mo><msup><mrow><mi>k</mi></mrow><mrow><mn>2</mn></mrow></msup><mo stretchy="false">)</mo></math> Tensor Layer <math id="M207"><mi>O</mi><mo stretchy="false">(</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>l</mi></mrow><mrow><mi>y</mi></mrow></msub><mi>c</mi><msup><mrow><mo stretchy="false">(</mo><mi>k</mi><mi>d</mi><mo stretchy="false">)</mo></mrow><mrow><mn>2</mn></mrow></msup><mo>+</mo><mn>2</mn><msub><mrow><mi>l</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>l</mi></mrow><mrow><mi>y</mi></mrow></msub><mi>k</mi><mi>d</mi><mo stretchy="false">)</mo></math> <math id="M208"><mi>O</mi><mo stretchy="false">(</mo><mi>c</mi><msup><mrow><mi>k</mi></mrow><mrow><mn>2</mn></mrow></msup><mo stretchy="false">)</mo></math> 2 匹配特征提取和预测 <math id="M209"><mi>O</mi><mo stretchy="false">(</mo><mo stretchy="false">(</mo><mn>4</mn><mo>+</mo><mi>k</mi><mo stretchy="false">)</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>l</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>+</mo><mo stretchy="false">(</mo><mi>k</mi><mo>+</mo><mn>1</mn><mo stretchy="false">)</mo><mi>p</mi><mo stretchy="false">)</mo></math> <math id="M210"><mi>O</mi><mo stretchy="false">(</mo><msub><mrow><mi>l</mi></mrow><mrow><mi>x</mi></mrow></msub><msub><mrow><mi>l</mi></mrow><mrow><mi>y</mi></mrow></msub><mo>+</mo><mo stretchy="false">(</mo><mi>k</mi><mo>+</mo><mn>1</mn><mo stretchy="false">)</mo><mi>p</mi><mo stretchy="false">)</mo></math> 3 实 验 1 为了验证本文提出的融合实体上下文特征的深度文本语义匹配模型的有效性，分别在SNLI ［ 13 13 ］ 和MultiNLI ［ 14 14 ］ 数据集上测试自然语言推理（natural language inference）任务，在Quora Question Pairs ［ 12 12 ］ 数据集上测试语义鉴别（paraphrase identification）任务。 3.1 数据集 2 SNLI ［ 13 13 ］ 是一个基于图像自动描述的包含约57万个众包的前提-假设对集合，根据给定的前提（premise）书写相应的假设（hypothesis），该数据集支持自然语言推理任务，数据语义关系标签包括蕴含（entailment，前提语句蕴含假设语句）、中立（neutral，前提和假设没有相关性）和矛盾（contradict，前提和假设相互对立）3个类别。 MultiNLI ［ 14 14 ］ 数据集又称Multi-Genre NLI，由SNLI语料扩展到10种不同种类的英文口头和书面语数据，包含约43.3万个语句对，集合的规模和模式与SNLI类似，也包括蕴含、中立和矛盾3个标签。另外，开发和测试数据集分为matched sets和mismatched sets，其中matched sets表示开发集和测试集与训练集来源于同一个数据源，而mismatched sets则表示开发集和测试集中的样本在训练模型时并没有出现过，因此可以判断模型是否过拟合、是否具有良好的泛化性能。 Quora Question Pairs ［ 12 12 ］ 包含超过40万个基于真实Quora网站问题的问题对。每个问题对含有一个二进制数据标签positive或negative，分别表示两个问题的语义一致或不一致。 以上3个数据集的统计信息、样本示例和标签类别如 表2 表2 所示。 注： 黑体表示样本所属标签类别 数据集 2 数据规模 样本示例 标签类别 3 SNLI 训练集 550 152 3 <math id="M211"><msub><mrow><mi>s</mi></mrow><mrow><mi>a</mi></mrow></msub></math> : Two men on bicycles competing in a race. <math id="M212"><msub><mrow><mi>s</mi></mrow><mrow><mi>b</mi></mrow></msub></math> : Men are riding bicycles on the street. 3 entailment neutral contradict 开发集 10 000 测试集 10 000 3 MultiNLI 训练集 392 703 3 <math id="M213"><msub><mrow><mi>s</mi></mrow><mrow><mi>a</mi></mrow></msub></math> : The Old One always comforted Ca'daan, except today. <math id="M214"><msub><mrow><mi>s</mi></mrow><mrow><mi>b</mi></mrow></msub></math> : Ca'daan knew the Old One very well. 3 entailment neutral contradict 开发集 20 000 测试集 20 000 3 Quora Question Pairs 训练集 384 348 3 <math id="M215"><msub><mrow><mi>s</mi></mrow><mrow><mi>a</mi></mrow></msub></math> : What should I do to avoid sleeping in class? <math id="M216"><msub><mrow><mi>s</mi></mrow><mrow><mi>b</mi></mrow></msub></math> : How do I not sleep in a boring class? 3 paraphrase non-paraphrase 开发集 10 000 测试集 10 000 3.2 对比模型 2 我们分别与以下基准模型进行实验对比： MV-LSTM ［ 21 21 ］ ：采用Bi-LSTM（双向长短时记忆网络）分别从前往后和从后向前两个方向同时扫描，在同一个位置得到两个向量表达，表示从句子开始位置和结束位置到当前位置的一个内容整合。然后把同一位置的两个表达拼接在一起作为当前位置为中心的整个句子的表达。不同中心词产生不同视图的表达形成一个集合表示整个句子。然后两个句子不同视图的句子表达两两计算相似度，得到一个相似度矩阵，通过动态最大池化加上全连接网络得到最后的相似度得分。 ESIM ［ 38 38 ］ ：提出一种基于Bi-LSTM和tree-LSTM的混合神经推理模型，该模型分别采用Bi-LSTM序列模型编码词汇及上下文的局部推理信息和交互信息，采用tree-LSTM语法树模型编码短语及从句的局部语法信息和交互信息。在局部推理建模和推理组合中显示采用递归架构，融合句子的语法信息，可以有效提高模型的推理能力。 BiMPM ［ 39 39 ］ ：提出一种双边多角度匹配模型，该模型使用Bi-LSTM编码两个语句，然后从正反两个方向匹配编码后的语句。利用另一个Bi-LSTM层将匹配结果聚合为固定长度匹配向量。 CAFÉ ［ 40 40 ］ ：提出一种新的网络结构，对齐的文本对通过比较、压缩后传播到上层进行增强表示学习。然后，使用分解层来有效地压缩对齐向量为标量特征，以此增强基础文本表示能力。 LM-Transformer ［ 41 41 ］ ：通过在大量无标签数据上训练生成式预训练语言模型，然后针对特殊任务做判别式微调可以取得良好的效果。在微调过程中根据任务对输入做转变可以在极少改变模型结构的情况下获得有效的迁移能力。 DIIN ［ 29 29 ］ ：提出一种新的交互推理网络体系架构，通过分层结构方法从交互空间分层提取语义信息获得对文本对的高级理解。 DRCN ［ 28 28 ］ ：提出一种密集连接的共注意力循环神经网络，网络的每层拼接注意力特征信息和之前循环层的隐含特征，保留原始和共注意力特征信息直至最靠上的循环层。为了解决密集连接操作带来的特征向量规模爆炸问题，在密集连接之后采用自动编码器来降维。 3.3 参数设置 2 初始化词向量为预训练的100维GloVe词向量，未登录词（OOV，out of vocabulary）词向量随机初始化，其他可训练变量通过均匀分布随机初始化，Bi-LSTM隐含层维度设为300。全连接网络MLP的隐含层维度设为100，（8）式的非线性激活函数 <math id="M217"><mi>f</mi><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559713&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559709&type= 6.18066692 3.81000018 选择tanh函数，dropout概率为0.2，词嵌入层dropout概率为0.5，Tensor Layer中张量 <math id="M218"><msup><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mfenced open="[" close="]" separators="|"><mrow><mn mathvariant="normal">1</mn><mo>:</mo><mi>c</mi></mrow></mfenced></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559720&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559716&type= 8.12800026 3.30199981 的 c 设为3。深度多视图语义匹配模块的词汇上下文词向量进行一维卷积的卷积核宽度为3。基于实体上下文特征的语义匹配模块中对实体上下文词向量进行一维卷积 <math id="M219"><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><msub><mrow><mi mathvariant="normal">v</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559726&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559723&type= 12.86933327 3.72533321 和 <math id="M220"><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><msub><mrow><mi mathvariant="normal">v</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559733&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559729&type= 14.22399998 3.72533321 的卷积核宽度分别为2和3，对实体匹配矩阵进行二维卷积的卷积核宽度为2 <math id="M221"><mo>×</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559741&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559736&type= 3.72533321 2.79399991 2。 设SGD batchsize为128，AdaGrad ［ 41 41 ］ 优化算法的初始学习率为0.1，迭代训练次数epoch=1 000。所有权重矩阵通过L2正则化，正则化因子设为0.001。语句序列的长度分别为SNLI取35，MultiNLI取55，Quora Question Pairs取25。（10）式中平衡因子 <math id="M222"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559746&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559743&type= 1.77800000 2.79399991 取值0.35。基于实体上下文特征的文本语义匹配模块中采用StanfordNLP工具进行命名实体抽取。 3.4 评估指标 2 由于我们将文本语义匹配任务转化为排序问题，输出按照文本匹配得分或者基准模型的正确分类类别概率降序排列。模型目标是使得正样本的排名比负样本的排名高，因此，参考MV-LSTM ［ 21 21 ］ 使用排名第一的平均次数，即精准度 <math id="M223"><mi>P</mi><mo>@</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559753&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559750&type= 7.53533316 3.21733332 和平均倒数排名MRR（mean reciprocal rank）作为评估指标 <math display="block" id="M224"><mi>P</mi><mo>@</mo><mn mathvariant="normal">1</mn><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><munderover><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover><mrow><mi>δ</mi><mo stretchy="false">(</mo><mi>r</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>S</mi></mrow><mrow><mi>Y</mi></mrow><mrow><mo>+</mo><mfenced separators="|"><mrow><mi>i</mi></mrow></mfenced></mrow></msubsup><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559760&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559755&type= 45.04266739 8.46666718 <math display="block" id="M225"><mi mathvariant="normal">M</mi><mi mathvariant="normal">R</mi><mi mathvariant="normal">R</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></mfrac><munderover><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>N</mi></mrow></munderover><mrow><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>r</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>S</mi></mrow><mrow><mi>Y</mi></mrow><mrow><mo>+</mo><mfenced separators="|"><mrow><mi>i</mi></mrow></mfenced></mrow></msubsup><mo stretchy="false">)</mo></mrow></mfrac></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559767&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559763&type= 35.30599976 8.63599968 其中， N 是测试排序列表的长度， <math id="M226"><msubsup><mrow><mi>S</mi></mrow><mrow><mi>Y</mi></mrow><mrow><mo>+</mo><mfenced separators="|"><mrow><mi>i</mi></mrow></mfenced></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559774&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559770&type= 6.51933336 3.64066648 指第 <math id="M227"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559780&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559777&type= 1.10066664 2.79399991 个排序列表中的正样本语句， <math id="M228"><mi>r</mi><mo stretchy="false">(</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559785&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559783&type= 6.01133347 3.55599999 表示排序列表中语句的排名， <math id="M229"><mi>δ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559792&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559789&type= 1.94733334 2.79399991 是一个指示函数，即 <math id="M230"><mi>δ</mi><mo stretchy="false">(</mo><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">e</mi><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559799&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559795&type= 17.94933319 3.55599999 ， <math id="M231"><mi>δ</mi><mo stretchy="false">(</mo><mi mathvariant="normal">f</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mo stretchy="false">)</mo><mo>=</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559804&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559801&type= 18.88066673 3.55599999 。 另外，为了进一步与基准模型的性能进行对比，我们实施了分类任务实验，并采用分类准确率accuracy作为评价指标。 3.5 结果对比分析 2 表3 表3 显示了本文所提出的模型在SNLI、MultiNLI和Quora Question Pairs数据集上与基准模型的结果，Our（Cosine）、Our（Bilinear）、Our（Tensor）分别代表计算语义向量交互时所采用的Cosine、Bilinear和Tensor Layer 3种不同的相似度计算方法。从 表3 表3 可以看到，我们模型的3种变体的性能在P@1和MRR指标上均优于MV-LSTM、ESIM、BiMPM、CAFÉ、LM-Transform和DIIN模型。基于Tensor Layer相似度计算交互的模型在3种变体中效果最好，其次是Bilinear，它们在P@1和MRR两个指标上明显优于其他基准模型。由于Bilinear方法能够捕获两个文本不同位置特征向量之间的交错交互，因此Bilinear方法比Cosine方法能够学到更有意义的交互信息。Tensor Layer是一种更强劲的相似性度量方法，不仅能够学习到两个文本之间线性交互信息，还能够学习到不同位置的交错交互信息。上述结果说明本文提出的融合实体上下文特征的深度文本语义匹配模型在SNLI、MultiNLI和Quora Question Pairs这3个数据集上具有明显的效果。 注： 加粗的数字为最优结果 2 模型 2 SNLI 2 MultiNLI 2 Quora Question Pairs P@1 MRR P@1 MRR P@1 MRR MV-LSTM 0.726 0.811 0.712 0.805 0.705 0.797 ESIM 0.722 0.816 0.715 0.813 0.711 0.806 BiMPM 0.730 0.825 0.724 0.815 0.720 0.813 CAFÉ 0.735 0.829 0.732 0.828 0.728 0.825 LM-Transformer 0.731 0.829 0.727 0.826 0.726 0.828 DIIN 0.736 0.832 0.731 0.831 0.726 0.827 DRCN 0.739 0.842 0.736 0.838 0.729 0.830 Our(Cosine) 0.737 0.838 0.743 0.836 0.741 0.838 Our(Bilinear) 0.745 0.845 0.747 0.840 0.748 0.839 Our(Tensor) 0.756 0.852 0.753 0.846 0.745 0.848 为了验证实体上下文特征信息和语义上下文卷积特征对文本语义匹配的作用，在SNLI数据集上对本文提出的模型进行了消融测试，结果如 表4 表4 所示。其中，“-EntContext”表示不采用基于实体上下文特征的语义匹配模块，即只保留 图2 图2 中的左侧深度多视图语义匹配模型；“-WordContext”表示在深度多视图语义匹配模块的文本向量表示部分，不采用词汇前文和词汇后文的卷积特征 <math id="M232"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">b</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559819&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559814&type= 6.77333355 4.31799984 、 <math id="M233"><msubsup><mrow><mi mathvariant="bold-italic">c</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559825&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559822&type= 5.41866684 4.31799984 。 表4 表4 显示，与Our（Tensor）相比，去除基于实体上下文特征的语义匹配模块之后，模型的整体性能有明显的下滑，在P@1和MRR指标上分别下降了0.021和0.029。由此说明基于实体上下文特征的语义匹配模块对于文本语义匹配任务的重要性，这是因为该模块可以帮助模型学习和发现两个文本之间的实体语义关联信息。另外，去除了词汇前文和词汇后文的卷积特征之后的模型性能也存在下滑，在P@1和MRR指标上分别下降了0.011和0.015。 注： *只用深度多视图语义匹配模型；**在深度多视图语义匹配模块的文本向量表示部分，不采用词汇前文和词汇后文的卷积特征 <math id="M234"><msubsup><mrow><mi>c</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">b</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559840&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559836&type= 6.26533318 4.14866638 、 <math id="M235"><msubsup><mrow><mi>c</mi></mrow><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559846&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559843&type= 4.91066647 4.14866638 ；加粗的数字为最优结果 模型 P@1 MRR Our(Tensor) 0.756 0.852 -EntContext ∗ 0.735 0.823 -WordContext ∗∗ 0.745 0.837 为了研究深度多视图语义匹配模块和基于实体上下文特征的语义匹配模块之间的权重，分别取权重系数 <math id="M236"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559853&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559848&type= 1.77800000 2.79399991 为0.10，0.35，0.50，1.00，5.00进行实验，结果如 表5 表5 。从 表5 表5 可以看出， <math id="M237"><mi>λ</mi><mo>=</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559859&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559855&type= 5.84200001 2.79399991 0.35时，P@1和MRR指标最好，而 <math id="M238"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559866&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4559862&type= 1.77800000 2.79399991 大于0.35后，模型性能逐渐变差。 注： 加粗的数字为最优结果 <math id="M241"><mi>λ</mi></math> P@1 MRR 0.10 0.743 0.846 0.35 0.756 0.852 0.50 0.753 0.841 <math id="M242"><mn>1</mn></math> .00 0.747 0.834 <math id="M243"><mn>5</mn></math> .00 0.687 0.815 为了进一步验证本文所提出的模型对于分类任务的性能，我们在SNLI和MultiNLI测试数据集上进行了分类测试，结果如 表6 表6 所示。其中，Matched表示所用测试集为MultiNLI matched测试集，测试样本与训练样本数据源相同；Mismatched表示mismatched测试集，测试样本在训练过程中没有出现过。从 表6 表6 中的结果可以看出，本文提出的模型对于分类任务同样有效，特别是Our（Tensor）在MultiNLI上优于所有模型，在SNLI测试数据集上的性能接近LM-Transformer模型和DRCN模型，而本文提出的模型结构上没有DRCN模型那么复杂，且不同于LM-Transformer模型依赖于外部知识。 注： 加粗的数字为最优结果 2 模型 2 SNLI 2 MultiNLI Matched Mismatched MV-LSTM 86.0 70.6 69.4 ESIM 88.0 72.3 72.1 BiMPM 87.5 77.2 76.4 CAFE 88.5 80.2 79.0 LM-Transformer 89.9 82.1 81.4 DIIN 88.0 80.0 78.7 DRCN 90.1 82.3 81.4 Our(Cosine) 88.6 78.9 78.4 Our(Bilinear) 89.2 80.6 79.8 Our(Tensor) 89.7 82.8 82.1 % 4 结 语 1 本文针对文本语义匹配问题，提出了一种融合实体上下文特征的深度文本语义匹配模型，该模型融合了深度多视图语义匹配方法和基于实体上下文特征的语义匹配方法。在SNLI、MultiNLI和Quora Question Pairs这3个数据集上进行文本匹配排序和分类任务的对比实验，结果证明本文提出模型能够有效提升文本语义匹配的性能。 参考文献 庞亮 ， 兰艳艳 ， 徐君 ， 等 . 深度文本匹配综述 ［J］. 计算机学报 ， 2017 ， 40 （ 4 ）： 985 - 1003 . DOI： 10.11897/SP.J.1016.2017.00985 http://dx.doi.org/10.11897/SP.J.1016.2017.00985 . 深度文本匹配综述 PANG L ， LAN Y Y ， XU J ， et al . A survey on deep text matching ［J］. Chinese Journal of Computers ， 2017 ， 40 （ 4 ）： 985 - 1003 . DOI： 10.11897/SP.J.1016.2017.00985（Ch http://dx.doi.org/10.11897/SP.J.1016.2017.00985（Ch ）. A survey on deep text matching PARIKH A P ， TACKSTROM O ， DAS D ， et al . A decomposable attention model for natural language inference ［C］// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing . Stroudsburg ： ACL ， 2016 ： 2249 - 2255 . A decomposable attention model for natural language inference YIN W ， SCHUTZE H . Convolutional neural network for paraphrase identification ［C］// Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies . Stroudsburg，PA ： NAACL ， 2015 ： 901 - 911 . DOI： 10.3115/v1/n15-1091 http://dx.doi.org/10.3115/v1/n15-1091 . Convolutional neural network for paraphrase identification LI H ， XU J . Semantic matching in search ［J］. Foundations and Trends in Information Retrieval ， 2014 ， 7 （ 5 ）： 343 - 469 . DOI： 10.1561/9781601988058 http://dx.doi.org/10.1561/9781601988058 . Semantic matching in search 俞凯 ， 陈露 ， 陈博 ， 等 ． 任务型人机对话系统中的认知技术—概念、进展及其未来 ［J］． 计算机学报 ， 2015 ， 38 （ 12 ）： 2333 - 2348 . DOI： 10.11897/SP.J.1016.2015.02333 http://dx.doi.org/10.11897/SP.J.1016.2015.02333 . 任务型人机对话系统中的认知技术—概念、进展及其未来 YU K ， CHEN L ， CHEN B ， et al . Cognitive technologies in task-oriented dialogue systems： Concepts， advances and future ［J］. Chinese Journal of Computers ， 2015 ， 38 （ 12 ）： 2333 - 2348 . DOI： 10.11897/SP.J.1016.2015.02333（Ch http://dx.doi.org/10.11897/SP.J.1016.2015.02333（Ch ）. Cognitive technologies in task-oriented dialogue systems： Concepts， advances and future LIU P ， QIU X ， CHEN J ， et al . Deep fusion lstms for text semantic matching ［C］// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics . Stroudsburg ： ACL ， 2016 ： 1034 - 1043 . DOI： 10.18653/v1/p16-1098 http://dx.doi.org/10.18653/v1/p16-1098 . Deep fusion lstms for text semantic matching MIKOLOV T ， SUTSKEVER I ， CHEN K ， et al . Distributed representations of words and phrases and their compositionality ［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems . Cambridge ： MIT Press ， 2013 ： 3111 - 3119 . DOI： 10.5555/2999792.2999959 http://dx.doi.org/10.5555/2999792.2999959 . Distributed representations of words and phrases and their compositionality PENNINGTON J ， SOCHER R ， MANNING C . GloVe： Global vectors for word representation ［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing . Stroudsburg ： ACL ， 2014 ： 1532 - 1543 . DOI： 10.3115/v1/D14-1162 http://dx.doi.org/10.3115/v1/D14-1162 . GloVe： Global vectors for word representation PETERS M E ， NEUMANN M ， IYYER M ， et al . Deep contextualized word representations ［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics . Stroudsburg ： NAACL ， 2018 ： 2227 - 2237 . Deep contextualized word representations DEVLIN J ， CHANG M W ， LEE K ， et al . BERT： pre-training of deep bidirectional transformer for language understanding ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies . Stroudsburg ： NAACL ， 2019 ： 4171 - 4186 . BERT： pre-training of deep bidirectional transformer for language understanding YANG Z L ， DAI Z H ， YANG Y M ， et al . XLNet： generalized autoregressive pretraining for language understanding ［C］// Proceedings of the 32th International Conference on Neural Information Processing Systems . Cambridge ： MIT Press ， 2019 ： 5754 - 5764 . XLNet： generalized autoregressive pretraining for language understanding AHMAD A . Quora question answering dataset ［C］// International Conference on Text， Speech， and Dialogue. London： Springer ， 2017 ： 66 - 73 . DOI： 10.1007/978-3-319-64206-2_8 http://dx.doi.org/10.1007/978-3-319-64206-2_8 . Quora question answering dataset BOWMAN S R ， ANGELI G ， POTTS C ， et al . A large annotated corpus for learning natural language inference ［C］// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing . Stroudsburg ： ACL ， 2015 ： 632 - 642 . A large annotated corpus for learning natural language inference WILLIAMS A ， NANGIA N ， BOWMAN S R ， et al . A broad-coverage challenge corpus for sentence understanding through inference ［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics . Stroudsburg ： NAACL ， 2018 ： 1112 - 1122 . A broad-coverage challenge corpus for sentence understanding through inference YANG Y ， YIH W T ， MEEK C . WikiQA： A challenge dataset for open-domain question answering ［C］// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing . Stroudsburg ： ACL ， 2015 ： 2013 - 2018 . WikiQA： A challenge dataset for open-domain question answering LAN W W ， QIU S Y ， HE H ， et al . A continuously growing dataset of sentential paraphrases ［C］// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing . Stroudsburg ： ACL ， 2017 ： 1224 - 1234 . A continuously growing dataset of sentential paraphrases 李宏广 . 基于深度神经网络的文本匹配算法研究 ［D］. 合肥 ： 中国科学技术大学 ， 2019 . 基于深度神经网络的文本匹配算法研究 LI H G . Text Matching Based on Deep Neural Network ［D］. Hefei ： China University of Science and Technology ， 2019（Ch） . Text Matching Based on Deep Neural Network HUANG P S ， HE X D ， GAO J F ， et al . Learning deep structured semantic models for web search using clickthrough data ［C］// Proceedings of the 22nd ACM International Conference on Information and Knowledge Management . New York ： ACM Press ， 2013 ： 2333 - 2338 . DOI： 10.1145/2505515.2505665 http://dx.doi.org/10.1145/2505515.2505665 . Learning deep structured semantic models for web search using clickthrough data SHEN Y L ， HE X D ， GAO J F ， et al . A latent semantic model with convolutional-pooling structure for information retrieval ［C］// Proceedings the 23rd ACM International Conference on Information and Knowledge Management . New York ： ACM Press ， 2014 ： 101 - 110 . A latent semantic model with convolutional-pooling structure for information retrieval PALANGI H ， DENG L ， SHEN Y ， et al . Deep sentence embedding using long short-term memory networks： Analysis and application to information retrieval ［J］. IEEE Transactions on Audio ， Speech ， and Language Processing. Piscataway：IEEE ， 2016 ， 24 （ 4 ）： 694 - 707 . DOI： 10.1109/TASLP.2016.2520371 http://dx.doi.org/10.1109/TASLP.2016.2520371 . Deep sentence embedding using long short-term memory networks： Analysis and application to information retrieval WAN S X ， Lan Y Y ， GUO J F ， et al . A deep architecture for semantic matching with multiple positional sentence representations ［C］// Proceedings of the 30th AAAI Conference on Artificial Intelligence . Menlo Park ： AAAI Press ， 2016 ： 2835 - 2841 . DOI： 10.1007/s10994-013-5363-6 http://dx.doi.org/10.1007/s10994-013-5363-6 . A deep architecture for semantic matching with multiple positional sentence representations SOCHER R ， HUANG E H ， PENNIN J ， et al . Dynamic pooling and unfolding recursive autoencoders for paraphrase detection ［C］// The 25th Annual Conference on Neural Information Processing Systems Neural Information Processing Systems . Cambridge ： MIT Press ， 2011 ： 801 - 809 . Dynamic pooling and unfolding recursive autoencoders for paraphrase detection YIN W P ， SCHUTZE H . MultiGranCNN： An architecture for general matching of text chunks on multiple levels of granularity ［C］// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing . Stroudsburg ： ACL ， 2015 ： 63 - 73 . MultiGranCNN： An architecture for general matching of text chunks on multiple levels of granularity LU Z ， LI H . A deep architecture for matching short texts ［C］// Proceedings of the Advances in Neural Information Processing Systems . Stroudsburg ： ACL ， 2013 ： 1367 - 1375 . A deep architecture for matching short texts HU B ， LU Z ， LI H ， et al . Convolutional neural network architectures for matching natural language sentences ［C］// Proceedings of the Advances in Neural Information Processing Systems . Stroudsburg ： ACL ， 2014 ： 2042 - 2050 . Convolutional neural network architectures for matching natural language sentences PANG L ， LAN Y Y ， GUO J F ， et al . Text matching as image recognition ［C］// Proceedings of the 30th AAAI Conference on Artificial Intelligence . Menlo Park ： AAAI Press ， 2016 ： 2793 - 2799 . DOI： 10.5555/3016100.3016292 http://dx.doi.org/10.5555/3016100.3016292 . Text matching as image recognition WAN S ， LAN Y ， GUO J ， et al . Match-SRNN： Modeling the recursive matching structure with spatial RNN ［C］// Proceedings of the 25th International Joint Conference on Artificial Intelligence . San Francisco ： Morgan Kaufmann ， 2016 ： 1022 - 1029 . Match-SRNN： Modeling the recursive matching structure with spatial RNN KIM S ， KANG I ， KWAK N ， et al . Semantic sentence matching with densely-connected recurrent and co-attentive information ［C］// Proceedings of the 33th AAAI Conference on Artificial Intelligence . Menlo Park ： AAAI Press ， 2019 ， 33 （ 1 ）： 2793 - 2799 . DOI： 10.1609/aaai.v33i01.33016586 http://dx.doi.org/10.1609/aaai.v33i01.33016586 . Semantic sentence matching with densely-connected recurrent and co-attentive information GONG Y C ， LUO H ， ZHANG J ， et al . Natural language inference over interaction space ［C］// Proceedings of the 6th International Conference on Learning Representations （ICLR） . New York ： ICLR ， 2018 ： 1 - 15 . Natural language inference over interaction space LAN W W ， XU W . Neural network models for paraphrase identification ， semantic textual similarity ， natural language inference ， and question answering ［C］// The 2018 International Conference on Computational Linguistics . New York ： ACM Press ， 2018 ： 3890 - 3902 . question answering KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . Imagenet classification with deep convolutional neural networks ［C］// Proceedings of the 26th Annual Conference on Neural Information Processing Systems . Stroudsburg ： ACL ， 2012 ： 1097 - 1105 . Imagenet classification with deep convolutional neural networks SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［C］// The 2014 IEEE Conference on Computer Vision and Pattern Recognition . Piscataway ： IEEE ， 2014 ： 1 - 14 . Very deep convolutional networks for large-scale image recognition SZEGEDY C ， LIU W ， JIA Y Q ， et al . Going deeper with convolutions ［C］// The 2015 IEEE Conference on Computer Vision and Pattern Recognition . Piscataway ： IEEE Press ， 2015 ： 1 - 9 . Going deeper with convolutions HUANG G ， LIU Z ， WEINBERGER K Q ， et al . Densely connected convolutional networks ［C］// The 2017 IEEE Conference on Computer Vision and Pattern Recognition . Piscataway ： IEEE Press ， 2017 ： 2261 - 2269 . DOI： 10.1109/CVPR.2017.243 http://dx.doi.org/10.1109/CVPR.2017.243 . Densely connected convolutional networks HE K ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］// The 2016 IEEE Conference on Computer Vision and Pattern Recognition . Piscataway ： IEEE Press ， 2016 ： 770 - 778 . Deep residual learning for image recognition QIU X ， HUANG X . Convolutional neural tensor network architecture for community-based question answering ［C］// Proceedings of the 24th International Joint Conference on Artificial Intelligence （IJCAI） . San Francisco ： Margan Kaufmann ， 2015 ： 1305 - 1311 . Convolutional neural tensor network architecture for community-based question answering DUCHI J ， HAZAN E ， SINGER Y . Adaptive subgradient methods for online learning and stochastic optimization ［J］. The Journal of Machine Learning Research ， 2011 ， 12 ： 2121 - 2159 . Adaptive subgradient methods for online learning and stochastic optimization CHEN Q ， ZHU X D ， LING Z H ， et al . Enhanced LSTM for natural language inference ［C］// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL . 2017 ： 1657 - 1668 . DOI： 10.18653/v1/P17-1152 http://dx.doi.org/10.18653/v1/P17-1152 . Enhanced LSTM for natural language inference WANG Z G ， HAMZA W ， FLORIAN R . Bilateral multi-perspective matching for natural language sentences ［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence . San Francisco ： Morgan Kaufmann ， 2017 ： 4144 - 4150 . DOI： 10.24963/ijcai.2017/579 http://dx.doi.org/10.24963/ijcai.2017/579 . Bilateral multi-perspective matching for natural language sentences TAY Y ， TUAN L A ， HUI S C . Compare ， compress ， and propagate： Enhancing neural architectures with alignment factorization for natural language inference ［C］// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing . Stroudsburg ： ACL ， 2018 ： 1565 - 1575 . DOI： 10.18653/v1/D18-1185 http://dx.doi.org/10.18653/v1/D18-1185 . propagate： Enhancing neural architectures with alignment factorization for natural language inference RADFORD A ， NARASIMHAN K ， SALIMANS T ， et al . Improving Language Understanding by Generative Pre-Training ［EB/OL］.［ 2018-06-11 ］. https：//s3-us-west-2amazonaws.com/openai-assets/research-covers/languageunsupervised/language/understanding/paper/pdf https://s3-us-west-2amazonaws.com/openai-assets/research-covers/languageunsupervised/language/understanding/paper/pdf . Improving Language Understanding by Generative Pre-Training 10.14188/j.1671-8836.2020.0041 TP391.1 A 1671-8836（2020）05-0483-12 XU Wenfeng,YANG Yan,ZHANG Chunfeng.Incorporating Entity Context Features for Deep Text Semantic Matching [J]. J Wuhan Univ （ Nat Sci Ed ）,2020,66(5):483-494. DOI: 10.14188/j.1671-8836.2020.0041 http://dx.doi.org/10.14188/j.1671-8836.2020.0041 (Ch). XU Wenfeng,YANG Yan,ZHANG Chunfeng.Incorporating Entity Context Features for Deep Text Semantic Matching [J]. J Wuhan Univ（Nat Sci Ed）,2020,66(5):483-494. DOI:10.14188/j.1671-8836.2020.0041(Ch). 徐文峰,杨艳,张春凤.融合实体上下文特征的深度文本语义匹配模型[J].武汉大学学报（理学版）,2020,66(5):483-494. DOI:10.14188/j.1671-8836.2020.0041 徐文峰,杨艳,张春凤.融合实体上下文特征的深度文本语义匹配模型[J].武汉大学学报（理学版）,2020,66(5):483-494. DOI:10.14188/j.1671-8836.2020.0041 国家电网总部科技项目（536800180033） 2020-03-02 2020-10-24 2020-12-15 武汉大学学报（理学版） 5 66
查看原文
0
浏览量
6
下载量
0
CSCD
Alert me when the article has been cited
文章被引用时，请邮件提醒。
提交
工具集
关联资源
相关文章
基于注意力机制的复杂背景连续手语识别
基于混合注意力机制的脑卒中康复方案推荐
基于AM⁃BiLSTM模型的情绪原因识别
相关作者
杨光义
丁星宇
高毅
胡晶欣
张洪艳
程铭
熊蜀峰
李霏
相关机构
武汉大学 电子信息学院
武汉大学 测绘遥感信息工程国家重点实验室
郑州大学 第一附属医院
河南农业大学 信息与管理科学学院
武汉大学 国家网络安全学院
批量引用
0