基于可信向量的知识图谱上下文感知表示学习

基于可信向量的知识图谱上下文感知表示学习 Context-Aware Representation Learning of Knowledge Graphs with Credibility Vectors 1 2 first-author 熊盛武，男，教授，现从事机器学习方面的研究。E-mail：swxiong@whut.edu.cn 熊盛武，男，教授，现从事机器学习方面的研究。E-mail： swxiong@whut.edu.cn swxiong@whut.edu.cn 1 1 2 3 corresp 刘晓赟, E-mail：liuxy@whut.edu.cn 刘晓赟, E-mail：liuxy@whut.edu.cn liuxy@whut.edu.cn 武汉理工大学 计算机科学与技术学院，湖北 武汉 430070 武汉理工大学 计算机科学与技术学院，湖北 武汉 430070 School of Computer Science and Technology, Wuhan University of Technology, Wuhan 430070, Hubei, China School of Computer Science and Technology, Wuhan University of Technology, Wuhan 430070, Hubei, China 武汉理工大学 交通物联网湖北省重点实验室，湖北 武汉 430070 武汉理工大学 交通物联网湖北省重点实验室，湖北 武汉 430070 Hubei Key Laboratory of Transportation Internet of Things, Wuhan University of Technology, Wuhan 430070, Hubei, China Hubei Key Laboratory of Transportation Internet of Things, Wuhan University of Technology, Wuhan 430070, Hubei, China 武汉理工大学 文法学院，湖北 武汉 430070 武汉理工大学 文法学院，湖北 武汉 430070 School of Arts and Law, Wuhan University of Technology, Wuhan 430070, Hubei, China School of Arts and Law, Wuhan University of Technology, Wuhan 430070, Hubei, China 面向知识图谱的表示学习在低维语义空间中对实体和关系进行编码, 提升了知识理解和推理能力。传统的平移模型在处理知识图谱中的一对多、多对一以及多对多这些复杂关系时, 难以区分在某一属性具有相同语义的实体。本文构建了一种基于二值可信向量的平移模型(TransV), 通过向量不同维度的元素值控制对应属性的激活与抑制程度, 使不同的关系关注不同的实体属性信息, 提高模型处理复杂关系的效果。除了知识图谱中的三元组信息, 非结构化文本中包含了丰富的语义信息, 能够提高实体表达能力。利用与实体相关的文本信息, 构建了一种融合上下文信息的基于二值可信向量的知识图谱表示学习模型(CKRV), 使得三元组信息与语义信息能相互影响、相互融合。实验结果表明, 该方法复杂度更低, 在实体预测准确性方面有明显提升。 Representation learning of knowledge graphs encodes both entities and relations in a low dimensional semantic space, which has greatly promoted the performance of knowledge understanding and reasoning. The traditional translation model deals with the one-to-many, many-to-one, and many-to-many complex relationships in the knowledge map, which makes it hard to distinguish entities with the same semantics in a certain attribute. A binary credibility vector-based translation model (TransV) is constructed to control the activation and inhibition degree of corresponding attributes by the element values of the vector, which helps different relations focus on different attribute information of entities and enhances the effect on dealing with complex relationships. In addition to the triple information in the knowledge graphs, the unstructured text contains rich semantic information, which can enrich the embedding ability of entities representation. Based on the text information of entities, a context-aware knowledge representation learning model with binary credibility vector (CKRV) is proposed, which makes triple information and semantic information interact and integrate with each other. Experimental results show that our method out-performs other methods significantly on entity prediction with less complex. 表示学习 可信向量 上下文感知 representation learning credibility vector context-aware 引言 1 近年来类人智能在世界各地迅猛发展, 其成功离不开完善的知识图谱。通常情况下, 知识图谱中所包含的知识都是以网络和图的架构来组织和表示, 网络和图中的每一个节点表示不同的实体, 每两个节点之间相连的边则表示两个实体之间存在的关系。因此, 传统的知识图谱大多数都是采用〈实体1, 关系, 实体2〉三元组的方式来表示知识, 对应知识图谱中的两个节点以及连接这两个节点的边。 三元组这种表示方法可以很好地表示事实性知识, 但对于模糊知识和复杂形式知识, 例如, 大量涉及人类主观感受、主观情感的知识, 三元组表现能力不足, 当通过传统知识图谱进行知识推理、知识融合的时候, 通常需要研究人员设计特定的图算法来实现, 存在可移植性差、可扩展性差、计算复杂度高以及计算效率低等问题 [ 1 1 ] , 并且无法有效地挖掘实体间的语义信息。 近年来，以深度学习为代表的表示学习方法引起了很多学者的关注。表示学习旨在将目标对象映射到稠密的低维实值语义空间，在该空间中距离越近其语义关系越紧密。知识表示学习则是对知识图谱中的关系和实体进行表示学习。Bordes等 [ 2 2 ] 提出了平移模型(translating embeddings，TransE)。对于知识图谱中存在的每一个三元组( h ， r ， t )，TransE模型将关系 r 看作是头实体 h 到尾实体 t 的一个平移，因此TransE模型希望 h + r 尽可能地靠近 t 。该模型十分简单，模型的参数较少，模型的计算复杂度较低，但在处理知识图谱中的一对多、多对一以及多对多这种复杂关系时，无法区分在某一方面具有相同语义的实体。 为了对此进行改进，Wang等 [ 3 3 ] 提出了TransH (translating on hyperplanes)模型。在TransH模型中，作者将头实体向量 h 和尾实体向量 t 沿着关系 r 对应的超平面的法向量 w r 投影到该超平面上，得到投影后的头实体向量 h ⊥ 和尾实体向量 t ⊥ 。Lin等 [ 4 4 ] 提出了TransR(Translating corresponding relation space)模型以及CTransR(cluster-based TransR)模型。在TransR模型中，作者认为应该存在两个不同的向量空间，即实体向量空间和关系向量空间。TransR模型将知识图谱中每一个三元组( h ， r ， t )的头实体 h 和尾实体 t 从实体向量空间中投影到关系向量子空间中。Ji等 [ 5 5 ] 在TransR模型的基础上提出了TransD模型。对于知识图谱中的每一个三元组( h ， r ， t )，TransD模型为头实体 h 和尾实体 t 分别设计了两个不同的投影矩阵 M rh 和 M rt ，将其投影到对应的关系向量子空间中。 除此之外，类似的还有KG2E [ 6 6 ] 和TransG [ 7 7 ] 等模型，然而这些算法仅仅利用了知识图谱中的结构化三元组信息进行学习，还有大量的与知识相关的其他非结构化信息没有得到有效利用。 为了提高知识表示学习的区分能力，Tu等 [ 8 8 ] 加入了文本信息，利用卷积神经网络对网络节点的文本描述信息进行学习，然后将其与网络表示学习融合在一起。段鹏飞等 [ 9 9 ] 构建了基于空间投影和关系路径的知识表示学习算法，该模型结合空间投影和关系路径来对平移模型进行扩展，并加入关系类型的语义信息进行改进，使复杂关系的建模能力取得了较大的提升。在表示学习中，提升复杂关系表示能力的同时，往往也增加了建模的复杂度。 知识表示贯穿了知识图谱构建与应用的整个过程，设计合理的知识表示方案，更好地涵盖不同类型的知识，是一个重要的研究问题。因此，研究如何高效、准确地表示知识图谱中的知识，有助于提高知识图谱构建质量和水平，对构建知识图谱以及知识图谱的应用具有重大意义。 本文提出了一个基于可信向量和文本信息的知识图谱表示学习模型CKRV (context-aware knowledge representation learning with binary credibility vectors)，为每个关系定义一个二值可信向量，不同关系的可信向量关注实体的不同方面。 模型描述 1 本文首先给出一些符号的定义。三元组表示为( h i ， r i ， t i )，( i =1, 2, 3, …, n t )， h i 表示头实体， t i 表示尾实体， r i 表示关系。实体和关系的向量表示为 h i 、 r i 以及 t i ( i =1，2，3，…， n t )， n t 表示三元组的总数。 基于可信度向量的平移模型 2 在TransE模型中，不论是实体向量还是关系向量，向量的每一个维度都被认为是一样重要的，是没有区分度的。例如在 图 1(a) 图 1(a) 中，( h 1 ， r 1 ， t 1 )和( h 2 ， r 2 ， t 2 )都是正确三元组， t 3 是错误的尾实体，由于TransE模型是将每一个维度的距离无差别地进行累加最后得到总距离，所以通过排名算法匹配到了错误的尾实体 t 3 。但如果对实体的每一个维度加以区分，例如在关系 r 1 和关系 r 2 下， x 轴维度更为重要，在这种情况下，模型就可以匹配到正确的尾实体 t 1 和 t 2 ，如 图 1(b) 图 1(b) 所示。通过对 图 1 图 1 进行分析，我们有理由推测，在不同关系下，同一个实体的不同维度不应该同等对待，只有部分维度会被具体关系影响，而其他维度在该关系下，可以被认定为噪声，如果将每一个维度都无差别地同等对待，将会引入过多的噪声。 受到TransH、TransR等模型以及上述发现的启发，本文认为：一个实体具有多种不同的属性，不同的语义情景或者关系会与不同的属性或者维度产生相关关系。本文将实体中的每一个维度类比为人类大脑中的一个神经元，不同的神经元组合表示了实体的不同属性信息。在不同的关系 r 下，实体与关系 r 相关的属性被激活，无关的属性被抑制，最终使得同一实体在不同关系下具有不同表达。如 图 2 图 2 所示，本文通过一个可信度向量实现此效果，提出基于可信度向量的平移(translating binary credibility vector，TransV)模型。 在TransV模型中，每个实体和关系都会学习到一个稠密、连续且低维的实值向量表示，实体、关系的语义信息也包含在向量表示中；每一个关系都有一个对应的可信度向量，代表与这个关系对应的实体向量中每个神经元被激活或者被抑制。即给定一个三元组( h ， r ， t )，头实体和尾实体的向量表示为 h ， t ∈ℝ n ；关系向量表示为 r ∈ℝ n ；可信度向量表示为 c ∈ℝ n ， c 是一个二值向量，其中1代表激活，0代表抑制。 n 为超参，代表向量空间的维度，本文假定实体和关系向量的维度一样。定义在关系 r 下被激活的神经元构成的头实体和尾实体的表示为： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465369&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465369&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465369&type=middle http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465373&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465373&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465373&type=middle http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465376&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465376&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465376&type=middle 其中“∘”为哈达玛积(Hadamard product) [ 10 10 ] ，被激活后的实体和关系拥有类似TransE模型中的平移特性，为此定义TransV的损失函数为： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465379&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465379&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465379&type=middle 在对模型进行训练时，本文会对实体 h 、 t 和关系 r 对应的嵌入向量 h ， t ， r 进行约束，即∀ h ， r ， t , http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465449&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465449&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465449&type=middle 均小于等于1，这种约束对TransV模型非常重要，在后续的训练过程中，实体和关系的向量表达会发生改变，可能会增加也可能减小，如果对实体和关系的向量表达不加以约束，后续模型的训练难以收敛。 TransV模型需要学习的参数包括头、尾实体向量 h 、 t ，关系向量 r 以及可信度向量 c 。 复杂性分析 2 假设整个训练集合中有 n e 个实体、 n r 个关系，每个实体的空间向量维度为 m ，每个关系的向量空间维度为 n ，那么TransV模型一共有 n e m +2 n r n 个参数需要学习。在 表 1 表 1 中，计算了本文的表示学习模型当前需要训练的参数的数量，并与其他流行的表示学习模型可训练参数数量进行了对比。从 表 1 表 1 中可以看出，本文提出的TransV模型需要学习的参数量，与TransE模型和TransH模型需要学习的参数量相差无几，并远远少于TransR模型和TransD模型需要学习的参数量。 模型 参数数量 TransE O ( n e m + n r n ), m = n TransH O ( n e m +2 n r n ), m = n TransR O ( n e m + n r ( m +1) n ) CTransR O ( n e m + n r ( m + d ) n ) TransD O (2 n e m +2 n r n ) TransV O ( n e m +2 n r n ), m = n 融合文本信息的知识图谱表示学习 1 为了使学习的向量表达充分利用三元组和文本信息，我们使用TransV构建了基于三元组结构信息的向量表示，使用深度卷积神经网络(convolutional neural network，CNN)从实体的文本描述中学习基于上文的向量表示。基于结构的表示方法在描述知识图谱三元组中的结构信息方面做得更好，而基于文本的表示学习在捕获文本语义信息方面效果更好。本文将两种实体表示学习方法融合到相同的连续向量空间中，受TransE模型的启发，将评分函数定义如下： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465381&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465381&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465381&type=middle 其中 E S 是基于结构表示的评分函数，与(4)式相同， E T 是基于文本表示的评分函数。为了兼顾原来的训练过程，定义 E T 如下： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465385&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465385&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465385&type=middle 其中： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465389&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465389&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465389&type=middle http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465393&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465393&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465393&type=middle http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465398&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465398&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465398&type=middle http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465403&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465403&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465403&type=middle http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465405&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465405&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465405&type=middle http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465409&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465409&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465409&type=middle http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465411&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465411&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465411&type=middle http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465414&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465414&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465414&type=middle 评分函数 E T 将两种实体表示学习投影到相同的向量空间中，可以使两种表示学习之间相互影响、相互促进，最终融合在一起，提升实体和关系的向量表示的区分能力。 本文提出使用CNN来构建基于文本的表示。CNN相对于连续词袋模型 [ 11 11 ] ，可以进一步理解文本并利用隐藏在单词顺序中的内部文本信息。 图 3 图 3 显示了CKRV模型的总体架构。首先，从知识图谱的事实三元组中学习头实体和尾实体的结构化表示。其次，CNN将实体的文本信息作为输入，生成基于文本的实体表示。最后，这些实体表示与二值可信度向量在TransV下联合训练。总体框架构成了CKRV学习模型。 图 4 图 4 中的CNN架构有5层，在预处理后将某个实体的全文信息作为输入，并输出该实体基于文本的向量表示。通过最小化CKRV的评分函数来训练实体的表示。 在预处理中，从原始文本中删除所有停用词，单词的词向量作为卷积层输入。在实验中，使用word2vec在维基百科上训练的词向量作为卷积层的输入。其中 X ( l ) 为第 l 层卷积层的输入，滑动窗口的大小为 k ，输入向量 X ( l ) 经过滑动窗口后得到 X ' ( l ) ，定义如下： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465426&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465426&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465426&type=middle Z ( l ) 为第 l 层卷积层的输出，第 i 个输出向量 z i ( l ) 是： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465429&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465429&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465429&type=middle 其中， W ( l ) ∈ℝ n 2 ( l ) × n 1 ( l ) 是第 l 层卷积层的总卷积核， b ( l )是第 l 层卷积层中的偏置。在卷积层之后使用池化层来缩小CNN的参数空间，同时过滤部分噪音。对于第一个池化层，使用最大池化的策略，取区域最大值，能更好保留强特征。选择每个窗口中特征值最大的特征，构建一个新的特征向量 x i (2) ： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465431&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465431&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465431&type=middle 然而，有一些实体描述的句子十分复杂，还需要关注句子的一些局部特征，只获取该句子中比较明显的特征是不够的，为此，在最后一个池化层，本模型选择使用平均池化替代最大池化，用大小为 q ，互不重叠的窗口将卷积层的输出向量 z i ( 2 ) 进行分割，然后选择每个窗口中特征值的平均值，构建一个新的特征向量 x i (3) ， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465435&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465435&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465435&type=middle 在模型训练中，需要学习的参数集合为 θ =( X ， W (1) ， W (2) ， E ， R ， C )，其中 X 表示单词的词向量， E 表示实体向量， R 表示关系向量， W (1) 表示卷积神经网络中第一层卷积层中的卷积核， W (2) 表示卷积神经网络中第二层卷积层中的卷积核， C 表示每一个关系对应的可信度向量。 卷积神经网络模型的优化使用反向传播的随机梯度下降法，从输出层到第二层平均池化层，再到第二层卷积层，再到第一层最大池化层，再到第一层卷积层，最后到词向量。从后向前依次调整。反向传播的过程中有两种情况下不会调整：1)对于正向传播过程中添加的填充零向量，在反向传播的过程中不会更改；2)对于在池化过程中没有考虑到的部分，如在最大池化层中窗口中的非最大值部分，不会被更新。整个反向传播的链式过程包括从输出层到最初作为输入的词向量，保证了模型的可收敛性质和训练速度 [ 12 12 ] 。 在训练过程中，采用最大间隔法来提升知识表示的区分能力。为了将正确三元组和错误三元组区分开，需要正确与错误情况下对应损失函数值的差值尽量大，以便区分，让差值尽量增大即为最大间隔法。该方法获取真实三元组和生成三元组的损失函数值后，尽量增加间隔超参的数值，对真伪三元组差值大的奖励，小的则惩罚，使梯度始终朝向差值增加的方向，保证了该模型始终在提升区分能力的优化方向上学习。对于该模型，本文定义目标函数为： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465439&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465439&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465439&type=middle 其中，[ x ] + =max (0， x )，表示返回0和 x 之间的较大的那个值； γ > 0为间隔超参，代表正确三元组损失函数值与错误三元组损失函数值之间的间隔距离。 f ( h ， t ， r )为损失函数， S 为正确三元组的集合， S - 为错误三元组集合。为构造更多的负样本，本文将一个正确三元组中的头实体、尾实体或者关系替换，构成一个错误三元组。使用随机梯度下降法更新 h s ， t s ， h t ， t t ， W (1) ， W (2) 和嵌入单词 X 。 同时本文使用类似于蚁群算法中的信息素的方法更新 c ，每一个可信度向量有一个对应的信息素向量 p 。 p 中某一维度信息素越大则代表越多的蚂蚁愿意访问该维度，而信息素随着蚂蚁的增多而保持更久，因此形成正反馈。最优维度上的信息量越来越大，其他维度上的信息素会随着时间不断减小。同理与关系相关的属性激活概率变大，而无关属性被激活概率变小，因此在对应关系中与实体相关的属性会对评分函数影响更大。在一个批尺度下所有蚂蚁完成一次遍历后，对残留的信息素，各个维度上的信息素按照下式进行调整， http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465443&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465443&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465443&type=middle 其中， p ri 表示的是关系 r 对应的信息素向量 p r 的第 i 个维度； ρ 是挥发率，取值在0~1之间。 p ri ( n )为第 n 次迭代后 r 对应信息素的值，Δ p ri ( n ， n +1)是 n 到 n +1次迭代过程中 i 维度信息素累积的值，并且本文限制信息素的值在0~1之间。本文根据关系 r 对应的信息素向量 p r 生成对应的可信度向量 c 。 数值实验 1 数据集与实验设置 2 本文采用FB15K来评估TransV和CKRV模型预测的准确性。FB15K是典型大规模知识图谱Freebase的一个子集。FB15K中包含14 951个实体，1 345条关系，483 142个训练三元组，59 071个测试三元组。本文参考文献[ 12 12 ]方法，从FB15K中的14 951个实体中剔除了47个实体，这47个实体的实体描述的单词个数小于3或者没有描述词，并将相关的三元组从训练集、测试集以及验证集中剔除，这样就构成了一个新的数据集——FB15K(filter)。 表 2 表 2 列出了数据集的统计数据。 Dataset #Rel #Ent #Train #Valid #Test FB15K(raw) 1 345 14 951 483 142 5 000 59 071 FB15K(filter) 1 345 14 904 472 860 48 991 57 803 本文训练过程中的超参包括实体和关系向量的维度 m ， n ，学习率 α ，间隔 γ ，批大小batch，其中： http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465446&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465446&type=small http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4465446&type=middle 通过实验获取TransV的最佳配置是： m = n =200， γ =3， α =0.001，batch大小为300，迭代次数为3 000次。 实体预测 2 本文将TransE模型中通过随机替换正确三元组的头实体或者尾实体来构造错误三元组，这种构造负样本的方法称为“unif”；将TransH模型中根据关系的类型不同设置不同的概率来替换头实体或者尾实体来构造错误三元组，这种构造负样本的方法称为“bern”，“bern”采样技巧对比“unif”可以减少假阴性标签 [ 3 3 ] 。 实体预测采用两种评估指标：1)正确预测实体的平均打分；2)实体排名前10位的有效实体比例(Hits@ 10)。TransV对FB15K的实验结果如 表 3 表 3 所示。 2 Metric 2 Mean Rank 2 Hits@10/% Raw Filter Raw Filter TransE [ 2 2 ] 243 125 11 34.9 47.1 TransH(unif) [ 3 3 ] 211 84 42.5 58.5 TransH(bern) [ 3 3 ] 212 87 45.7 64.4 TransR(unif) [ 4 4 ] 226 78 43.8 65.5 TransR(bern) 4 198 77 48.2 68.7 CTransR(unif) [ 4 4 ] 233 82 44.0 66.3 CTransR(bern) [ 4 4 ] 199 75 48.4 70.2 TransD(unif) [ 5 5 ] 211 67 49.4 74.2 TransD(bern) [ 5 5 ] 194 91 53.4 77.3 TransV(unif) 196 53 50.0 74.4 TransV(bern) 182 81 52.2 73.1 由 表 3 表 3 可见：1)在相同的负样本构造方式下, TransV优于TransE、TransH和TransR等模型；2)在相同的负样本构造方式下, TransD在Hits@10上比TransV表现更好，但是TransD比TransV更复杂(如 表 1 表 1 所示)；3) “bern”采样技巧下的排名比“unif”的更靠前，前10占比也更大。 表 4 表 4 统计了不同模型在不同关系类型下预测实体的排名在前10的百分比，并细分为两种不同情况：预测头实体和预测尾实体。从 表 4 表 4 中我们可以看出TransV在“unif”和“bern”采样技巧的数据集中都显著优于TransE，TransH和TransR。与TransV相比，TransD在一对一(1-1)和多对多(N-N)关系中表现更好。考虑到模型的性能和复杂性，TransV更适用于知识图谱的建模。 10 % 2 Metric 4 Prediction Head(Hits@10) 4 Prediction Tail(Hits@10) 1-1 1-N N-1 N-N 1-1 1-N N-1 N-N TransE [ 2 2 ] 43.7 65.7 18.2 47.2 11 43.7 19.7 66.7 50.0 TransH(unif) [ 3 3 ] 66.7 81.7 30.2 57.4 63.7 30.1 83.2 67.2 TransH(bern) [ 3 3 ] 66.8 87.6 28.7 64.5 65.5 39.8 83.3 67.2 TransR(unif) [ 4 4 ] 76.9 77.9 38.1 66.9 76.2 38.4 76.2 69.1 TransR(bern) [ 4 4 ] 78.8 89.2 34.1 69.2 79.2 37.4 90.4 72.1 CTransR(unif) [ 4 4 ] 78.6 77.8 36.4 68.0 77.4 37.8 78.0 70.3 CTransR(bern) [ 4 4 ] 81.5 89.0 34.7 71.2 80.8 38.6 90.1 73.8 TransD(unif) [ 5 5 ] 80.7 85.8 47.1 75.6 80.0 54.5 80.7 77.9 TransD(bern) [ 5 5 ] 86.1 95.5 39.8 78.5 85.4 50.6 94.4 81.2 TransV(unif) 78.0 90.1 48.9 74.6 76.8 77.2 57.3 87.5 TransV(bern) 79.0 95.6 37.2 73.0 77.7 47.3 94.6 76.5 CKRV与TransV的实体预测对比如 表 5 表 5 所示( m = n =100， α =0.001， γ =1.0)，从中我们可以看出，在相同的实体和关系向量维度、间隔和学习率情况下，融合了文本信息的CKRV在实体预测实验中，其平均排名靠前同时排名在前10所占比例较高，可以提高TransV的性能。 2 Metric 2 Mean rank 2 Hits@10/% Raw Filter Raw Filter TransV 219.296 133.727 2 41.128 53.264 CKRV 211.155 124.748 43.572 56.892 结语 1 本文提出了TransV和CKRV模型用于知识图谱的表示学习，使用深度卷积神经网络来提取实体文本信息的语义。在实验中，评估了实体预测的模型。实验结果表明，TransV模型比TransE、TransH和TransR具有更好的性能，TransD在某些方面表现优于TransV，但TransD比TransV更复杂，CKRV可以提高TransV的性能。 未来可从以下两个方向展开研究：1)在CKRV模型添加其他的信息，如图像信息，更进一步地提升模型的区分能力；2)设计一种更完善高效的方法来提取CKRV模型中的文本信息。 参考文献 刘知远, 孙茂松, 林衍凯, 等.知识表示学习研究进展[J].计算机研究与发展, 2016, 53(2): 247-261. DOI: 10.7544/issn1000-1239.2016.20160020. LIU Z Y, SUN M S, LIN Y K, et al . Knowledge representation learning:A review[J]. Journal of Computer Research and Development , 2016, 53(2): 247-261. DOI: 10.7544/issn1000-1239.2016.20160020 (Ch). BORDES A, USUNIER N, GARCIA-DURAN A, et al . Translating embeddings for modeling multi-relational data [C]// Advances in Neural Information Processing Systems . Nevada: MIT Press, 2013, 2787-2795. WANG Z, ZHANG J W, FENG J, et al . Knowledge graph embedding by translating on hyperplanes[C]// AAAI ' 14 Proceedings of the 28 th AAAI Conference on Artificial Intelligence . Menlo Park: AAAI Press, 2014: 1112-1119. LIN Y K, LIU Z Y, SUN M S, et al . Learning entity and relation embeddings for knowledge graph completion[C]// AAAI ' 15 Proceedings of the 29 th AAAI Conference on Artificial Intelligence . Menlo Park: AAAI press, 2015: 2181-2187. JI G C, HE S Z, XU L H, et al . Knowledge graph embedding via dynamic mapping matrix[C]// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7 th International Joint Conference on Natural Language Processing ( Volume 1: Long Papers ). New York: The Association for Computational Linguistics, 2015: 687-696. DOI: 10.3115/v1/p15-1067 http://dx.doi.org/10.3115/v1/p15-1067 . HE S Z, LIU K, JI G L, et al . Learning to represent knowledge graphs with gaussian embedding[C] // ACM International on Conference on Information and Knowledge Management . New York: ACM Press, 2015: 623-632. DOI: 10.1145/2806416.2806502 http://dx.doi.org/10.1145/2806416.2806502 . XIAO H, HUANG M L, ZHU X Y. TransG: A generative model for knowledge graph embedding[C]// Proceedings of the 54 th Annual Meeting of the Association for Computational Linguistics ( Volume 1: Long Papers ). Berlin: Association for Computational Linguistics, 2016: 2316-2325. DOI: 10.18653/v1/p16-1219 http://dx.doi.org/10.18653/v1/p16-1219 . TU C C, LIU H, LIU Z Y, et al . Cane: Context-aware network embedding for relation modeling[C]// Proceedings of the 55 th Annual Meeting of the Association for Computational Linguistics ( Volume 1: Long Papers ). Stroudsburg: Association for Computational Linguistics, 2017: 1722-1731. DOI: 10.18653/v1/p17-1158 http://dx.doi.org/10.18653/v1/p17-1158 . 段鹏飞, 王远, 熊盛武, 等.基于空间投影和关系路径的地理知识图谱表示学习[J].中文信息学报, 2018, 32(3): 26-33. DOI: 10.3969/j.issn.1003-0077.2018.03.004. DUAN P F, WANG Y, XIONG S W, et al . Space projection and relation path based representation learning for construction of geography knowledge graph[J]. Journal of Chinese Information Processing , 2018, 32 (3): 26-33. DOI: 10.3969/j.issn.1003-0077.2018.03.004 (Ch). MILLION E. The hadamard product[J]. Course Notes , 2007, 3 (1): 1-6. MANNING C D, RAGHAVAN P, HINRICH SCHÜTZE. Introduction to Information Retrieval [M]. Cambridge: Cambridge University Press, 2008: 117-119. XIE R B, LIU Z Y, JIA J, et al . Representation learning of knowledge graphs with entity descriptions[C]// 30 th AAAI Conference on Artificial Intelligence . Menlo Park: AAAI Press, 2016: 2659-2665. 10.14188/j.1671-8836.2019.05.010 TP183 whdxxblxb-65-5-488 国家重点研发计划(2017YFB1402203)；国家自然科学基金(61702386)；中央高校基本科研业务费专项资金(2018IVB047) 2018-09-30 2019-10-24 2020-12-10 版权所有© 2019 《武汉大学学报(理学版)》编辑部 Copyright © 2019 Journal of Wuhan University(Natural Science Edition). All rights reserved. 2019 武汉大学学报(理学版) 5 65