联合知识图谱和时间特性的数学知识自动推荐方法

联合知识图谱和时间特性的数学知识自动推荐方法 Automatic Recommendation Method of Mathematical Knowledge Based on Combined Knowledge Graph and Temporal Feature 1 first-author 周炫余，男，讲师，博士，现从事中文自然语言处理、教育人工智能等方面的研究。E-mail：zhouxuanyu@whu.edu.cn 周炫余，男，讲师，博士，现从事中文自然语言处理、教育人工智能等方面的研究。E-mail：zhouxuanyu@whu.edu.cn zhouxuanyu@whu.edu.cn 1 1 1 2 corresp E-mail： xlu_hnu@163. com E-mail： xlu_hnu@163. com xlu_hnu@163. com 湖南师范大学 基础教育大数据研究与应用重点实验室，湖南 长沙 410006 湖南师范大学 基础教育大数据研究与应用重点实验室，湖南 长沙 410006 Key Laboratory of Big Data Research and Application for Basic Education，Hunan Normal University，Changsha 410006， Hunan，China Key Laboratory of Big Data Research and Application for Basic Education，Hunan Normal University，Changsha 410006， Hunan，China 湖南师范大学 工程与设计学院，湖南 长沙 410006 湖南师范大学 工程与设计学院，湖南 长沙 410006 College of Engineering and Design，Hunan Normal University，Changsha 410006，Hunan，China College of Engineering and Design，Hunan Normal University，Changsha 410006，Hunan，China 在教育领域的自动推荐方法大多通过历史内容的相似性进行推荐，未同时考虑用户交互序列和知识与知识之间的内在关联信息，难以精准地向学习者推荐其所需知识点。提出一种基于联合知识图谱和时间特性的数学知识自动推荐方法。该方法首先利用自注意力机制和前馈神经网络获取带有时间特性的学习者表示，然后根据知识图谱三元组中知识点与知识点的高阶连通特性和学习者特性深层次表征知识点，最后计算学习者与知识点交互的概率，并根据概率进行推荐。在自构建的初中数学知识推荐数据集上测试表明，本文方法比几类经典的基准系统在AUC值、精确率、召回率和 F 值上都有提升。该方法的提出能够更加准确地为学习者推荐知识点，帮助其构建知识体系，可望为学习者的自适应性和个性化学习提供了支持。 The automatic recommendation methods in the education field mostly use the similarity of historical content to recommend, and do not consider the user interaction sequence and the internal correlation information between knowledge and knowledge at the same time, so it is difficult to accurately recommend the knowledge points they need to learners. Therefore, the paper proposes an automatic recommendation method for mathematical knowledge combining knowledge graph and time characteristics. The method first uses self-attention mechanism and feed-forward neural network to obtain learner representation with time characteristics, and the knowledge points are represented in depth according to the high-level connectivity between the knowledge points in the knowledge graph triples charateristics of learners. Finally, the probability of the interaction between the learner and the knowledge points is calculated, and recommendations are made based on the probability. Tests on the self-built junior high school mathematics knowledge recommendation data set show that the method proposed in the paper has improved at AUC,precision,recall and F -scores respectively, compared with several types of classic benchmark systems. The proposed method can more accurately recommend knowledge points to learners' and help to build a knowledge system, and provide certain support for learners’adaptive and personalized learning. 自动推荐 知识图谱 时间特性 初中数学 个性化学习 automatic recommendation knowledge graph temporal feature junior high school mathematics individualized learning 0　 引 言 1 中共中央、国务院印发的《中国教育现代化2035》中明确指出，加快推进教育现代化的同时需要注重因材施教，要采用人工智能等信息技术指导学生主动地、个性化地学习。大数据时代信息技术的快速发展，给学习者带来信息过载、知识爆炸、学习迷航等问题，且在大班教学中教师难以准确掌握每个学生的学习情况，无法为其制作出个性化的学习路径、推荐相关学习资源 ［ 1 1 ］ 。如何采用人工智能技术精准地获取学习者的不足，并从海量学习数据中为其提供个性化学习服务是当前研究的重点和难点。 目前的推荐算法主要分为协同过滤推荐（collaborative filtering recommendations，CF）、基于内容的推荐（content-based recommendations，CB）和基于深度学习推荐三类。早期的协同过滤推荐主要是构建用户-物品评分矩阵，并根据与用户有历史相似行为的用户集合的偏好向用户进行推荐，但这样的方法存在矩阵稀疏的缺陷，会导致冷启动。而基于内容的推荐从用户特征和物品特征两方面考虑，根据物品特征推断用户偏好进而实现推荐。该类方法可以在一定程度上缓解冷启动问题，但是由于用户特征多为隐式特征，因此存在着用户标签少、用户特征难提取的问题。随着大规模数据集出现，基于深度学习的方法开始流行，并被广泛应用至推荐系统领域。基于深度学习的推荐算法通常是将各类用户和物品相关的数据作为输入，使用深度学习模型学习用户和物品的隐式表示，并利用这种隐式表示为用户推荐感兴趣的物品。常用的深度学习推荐算法根据网络本身和任务的特点主要分为四类：基于深度神经网络的推荐 ［ 2 2 ~ 4 4 2~4 ］ 、基于卷积神经网络的推荐 ［ 5 5 ］ 、基于循环神经网络的推荐 ［ 6 6 ， 7 7 ］ 和基于图卷积神经网络的推荐 ［ 8 8 ， 9 9 ］ 。深度神经网络（deep neural networks，DNN）通过多层神经网络深层次学习用户或物品特征，用于建立用户与物品间的关系、用户与交互的联系等，能够从表征能力提高推荐的准确率。基于卷积神经网络（convolutional neural network，CNN）的推荐系统通常将用户历史数据输入到CNN中，并结合注意力机制提取用户特征，通过减少权值优化网络，得到推荐结果。循环神经网络（recurrent neural network，RNN）能够根据上下文序列信息建模，充分利用用户行为信息，在具有时序关系的推荐中能够取得较好的结果。由于图谱中实体间丰富的语义知识可以在一定程度上缓解数据稀疏、冷启动的问题，且根据其实体间的关联也可以挖掘出不同实体间的潜在关联，因此有研究者尝试着使用图神经网络（graph neural network，GNN）根据节点信息和物品拓扑结构进行推荐。基于图神经网络的推荐通常利用网络KCNN（knowledge-aware convolutional neural network）结合语义信息和知识信息共同对物品进行表示，嵌入图知识丰富物品表示，引入attention机制，动态学习用户点击物品的权重，隐式获取用户爱好，最终进行点击率预测，实现物品的推荐 ［ 10 10 ］ 。 上述基于深度学习的自动推荐方法，虽然可以更加准确地获取用户的需求，并能够对更复杂抽象的数据表示进行编码，但在教育领域中的推荐需要同时考虑知识点之间非线性关系和学习者特性的动态变化。因此，本文根据前期已构建的初中数学知识图谱 ［ 11 11 ］ 提出联合知识点语义关联信息及时间特性的初中数学知识推荐方法SAKG（self-attention knowledge graph），通过位置嵌入和自注意力机制学习用户交互的历史知识点序列，获得隐式的学习者表示；知识点表示则利用知识图谱中与学习者交互的子知识图谱，将学习者对关系的关注融入知识点的邻居知识点中，再将知识点表示与邻居信息聚合，将学习者表示与知识表示联合学习，两个向量的内积作为学习者与知识点交互的概率，进而实现个性化推荐。该方法的提出有利于精准地发现学习者所掌握知识的不足，能够更加有针对性地辅助学习者完成对知识的构建，提高其自主学习的效率。 1　 本文的方法（SAKG） 1 本文的方法SAKG主要包括学习者表示、知识点表示及推荐预测三个部分。算法流程如 图1 图1 所示。其中 <math id="M1"><mi>h</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682372&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682369&type= 1.94733346 2.79399991 为阶数， <math id="M2"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682848&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682846&type= 1.10066664 2.79399991 为关系的数量， <math id="M3"><msub><mrow><mi>r</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682387&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682385&type= 2.28600001 3.72533321 为知识点与知识点的关系。算法中学习者 <math id="M4"><mi>U</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>u</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>u</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>⋯</mo><mo>,</mo><msub><mrow><mi>u</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682394&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682390&type= 29.80266571 4.48733330 ，知识点 <math id="M5"><mi>V</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>⋯</mo><mo>,</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>n</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682402&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682398&type= 29.63333130 4.48733330 ，学习者 <math id="M6"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683049&type= 1.86266661 2.79399991 与知识点 <math id="M7"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683012&type= 1.86266661 2.79399991 之间的交互表示为 <math id="M8"><mi>Y</mi><mo>=</mo><mo stretchy="false">{</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>u</mi><mi>v</mi></mrow></msub><mo stretchy="false">|</mo><mi>u</mi><mo>∈</mo><mi>U</mi><mo>,</mo><mi>v</mi><mo>∈</mo><mi>V</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682421&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682418&type= 35.89866638 4.74133301 ，具体表现为当学习者 <math id="M9"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682452&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682449&type= 1.86266661 2.79399991 编辑过知识点 <math id="M10"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682433&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682430&type= 1.86266661 2.79399991 时 <math id="M11"><msub><mrow><mi>y</mi></mrow><mrow><mi>u</mi><mi>v</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682438&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682437&type= 10.83733368 4.57200003 ，否则 <math id="M12"><msub><mrow><mi>y</mi></mrow><mrow><mi>u</mi><mi>v</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682445&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682442&type= 10.83733368 4.57200003 ，学习者 <math id="M13"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682452&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682449&type= 1.86266661 2.79399991 编辑过的 <math id="M14"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682736&type= 2.79399991 2.79399991 个实体集合表示为 <math id="M15"><msup><mrow><mi>S</mi></mrow><mrow><mi>u</mi></mrow></msup><mo>=</mo><mo stretchy="false">{</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>u</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>u</mi></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>m</mi></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682467&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682464&type= 30.39533424 4.74133301 。初中数学知识图谱 <math id="M16"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682509&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682507&type= 2.79399991 2.79399991 由实体-关系-实体 <math id="M17"><mo stretchy="false">{</mo><mo stretchy="false">(</mo><mi>h</mi><mo>,</mo><mi>r</mi><mo>,</mo><mi>t</mi><mo stretchy="false">)</mo><mo stretchy="false">|</mo><mi>h</mi><mo>,</mo><mi>t</mi><mo>∈</mo><mi>E</mi><mo>,</mo><mi>r</mi><mo>∈</mo><mi>R</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682481&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682478&type= 36.99933624 3.55599999 构成，其中 <math id="M18"><mi>E</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682487&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682484&type= 2.62466669 2.79399991 代表知识图谱中的所有实体集合， <math id="M19"><mi>R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683075&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683074&type= 2.70933342 2.79399991 代表实体之间的关系集合。给定学习者与知识点的交互矩阵 <math id="M20"><mi mathvariant="bold-italic">M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682504&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682500&type= 3.47133350 2.96333337 及知识图谱 <math id="M21"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682509&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682507&type= 2.79399991 2.79399991 ，计算为预测学习者 <math id="M22"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683049&type= 1.86266661 2.79399991 与知识点 <math id="M23"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683012&type= 1.86266661 2.79399991 之间交互的概率 <math id="M24"><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>u</mi><mi>v</mi></mrow></msub><mo>=</mo><mi>F</mi><mo stretchy="false">(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo stretchy="false">|</mo><mi>Θ</mi><mo>,</mo><mi>Y</mi><mo>,</mo><mi>G</mi><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682528&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682525&type= 33.78200150 4.74133301 ，其中 <math id="M25"><mi>Θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682537&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682533&type= 2.79399991 2.87866688 代表所有参数。 1.1　学习者表示 2 学习者历史交互的知识点可以从侧面说明学习者对某方面知识点掌握不足，因此挖掘一段时间内学习者交互的知识点的特性作为学习者的隐式表示。本文主要采用自注意力机制对学习者的交互知识点序列进行学习，捕捉其长期兴趣，进而得到带有时间特性的学习者表示，通过以下三层进行处理：嵌入层、自注意力层和预测层。 1.1.1　嵌入层 3 由于不同学习者交互过的知识点数量不统一，因此对于每个学习者 <math id="M26"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683049&type= 1.86266661 2.79399991 ，需要固定其知识点序列的长度，假设长度固定为 <math id="M27"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682736&type= 2.79399991 2.79399991 ，则将知识点序列表示为 <math id="M28"><msup><mrow><mi>S</mi></mrow><mrow><mi>u</mi></mrow></msup><mo>=</mo><mo stretchy="false">{</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>u</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>u</mi></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>m</mi></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682565&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682561&type= 30.39533424 4.74133301 ，若序列长度小于 <math id="M29"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682736&type= 2.79399991 2.79399991 时补足至 <math id="M30"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682736&type= 2.79399991 2.79399991 。自注意力机制能够很好地学习知识点与知识点之间的依赖关系，然而丢失了知识点所在序列的位置信息，因此在进行序列表示时需要加入知识点的动态位置信息，计算如下 <math display="block" id="M31"><mover accent="true"><mi>E</mi><mo>̂</mo></mover><mo>=</mo><mfenced open="[" close="]" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mrow></msub><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></mtd></mtr><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></msub><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mtd></mtr><mtr><mtd><mo>⋮</mo></mtd></mtr><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><msub><mrow><mi>S</mi></mrow><mrow><mi>m</mi></mrow></msub></mrow></msub><mo>+</mo><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>m</mi></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682585&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682581&type= 25.48466682 21.84399986 其中 <math id="M32"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682592&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682589&type= 5.33400011 4.06400013 表示序列 <math id="M33"><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682613&type= 2.96333337 3.72533321 <math id="M34"><mo stretchy="false">(</mo><mi>i</mi><mo><</mo><mi>m</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682604&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682601&type= 11.93799973 3.55599999 的嵌入矩阵， <math id="M35"><msub><mrow><mi mathvariant="bold-italic">P</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682611&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682608&type= 3.13266683 3.72533321 表示序列 <math id="M36"><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682617&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682613&type= 2.96333337 3.72533321 的位置信息。 1.1.2　自注意力层 3 将加入位置信息的历史知识点序列的向量表示输入自注意力层，获得历史知识点序列中知识点的自适应权重，聚合历史知识点序列的信息，可以作为下一个相关知识点的表示。transformer中的特征向量计算如下 <math display="block" id="M37"><mi mathvariant="normal">A</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">Q</mi><mo>,</mo><mi mathvariant="bold-italic">K</mi><mo>,</mo><mi mathvariant="bold-italic">V</mi><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mfrac><mrow><mi mathvariant="bold-italic">Q</mi><msup><mrow><mi mathvariant="bold-italic">K</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></mrow><mrow><mroot><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow/></mroot></mrow></mfrac><mo stretchy="false">)</mo><mi mathvariant="bold-italic">V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682624&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682621&type= 63.92333221 9.99066734 其中， <math id="M38"><mi mathvariant="bold-italic">Q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682673&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682669&type= 2.96333337 3.13266683 、 <math id="M39"><mi mathvariant="bold-italic">K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682680&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682677&type= 2.79399991 2.79399991 、 <math id="M40"><mi mathvariant="bold-italic">V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682691&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682687&type= 2.96333337 2.96333337 由输入向量与初始化的三个参数 <math id="M41"><msup><mrow><mi>W</mi></mrow><mrow><mi>Q</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682649&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682646&type= 5.75733376 3.04800010 、 <math id="M42"><msup><mrow><mi>W</mi></mrow><mrow><mi>K</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682657&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682653&type= 5.67266655 3.04800010 、 <math id="M43"><msup><mrow><mi>W</mi></mrow><mrow><mi>V</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682665&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682662&type= 5.84200001 3.04800010 相乘得到，每个向量的 <math id="M44"><mi mathvariant="bold-italic">Q</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682673&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682669&type= 2.96333337 3.13266683 与 <math id="M45"><mi mathvariant="bold-italic">K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682680&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682677&type= 2.79399991 2.79399991 相乘得到向量对应的分数，除以 <math id="M46"><mroot><mrow><msub><mrow><mi>d</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow><mrow/></mroot></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682684&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682682&type= 6.94266701 4.99533367 能够避免分数维度过高，最终采用softmax进行归一化处理后点乘 <math id="M47"><mi mathvariant="bold-italic">V</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682691&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682687&type= 2.96333337 2.96333337 值，得到加权后每个向量的得分。自注意力层将嵌入层的输出 <math id="M48"><mover accent="true"><mi mathvariant="bold-italic">E</mi><mo>̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682697&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682694&type= 2.62466669 3.64066648 分别与 <math id="M49"><msup><mrow><mi>W</mi></mrow><mrow><mi mathvariant="bold-italic">Q</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682704&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682701&type= 5.75733376 3.04800010 、 <math id="M50"><msup><mrow><mi>W</mi></mrow><mrow><mi mathvariant="bold-italic">K</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682711&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682707&type= 5.67266655 3.04800010 、 <math id="M51"><msup><mrow><mi>W</mi></mrow><mrow><mi mathvariant="bold-italic">V</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682717&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682714&type= 5.84200001 3.04800010 相乘，通过线性投影后转为三个矩阵，并将其输入至注意力层，如下 <math display="block" id="M52"><mi>S</mi><mo>=</mo><mi>S</mi><mi>A</mi><mo stretchy="false">(</mo><mover accent="true"><mi mathvariant="bold-italic">E</mi><mo>̂</mo></mover><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">A</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mo stretchy="false">(</mo><mover accent="true"><mi mathvariant="bold-italic">E</mi><mo>̂</mo></mover><msup><mrow><mi>W</mi></mrow><mrow><mi>Q</mi></mrow></msup><mo>,</mo><mover accent="true"><mi mathvariant="bold-italic">E</mi><mo>̂</mo></mover><msup><mrow><mi>W</mi></mrow><mrow><mi>K</mi></mrow></msup><mo>,</mo><mover accent="true"><mi mathvariant="bold-italic">E</mi><mo>̂</mo></mover><msup><mrow><mi>W</mi></mrow><mrow><mi>V</mi></mrow></msup><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682721&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682719&type= 68.83399963 4.48733330 由于传统的自注意力机制会学习序列的前后信息，而实际上本文根据前 <math id="M53"><mi>m</mi><mo>-</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682728&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682724&type= 9.56733322 2.79399991 个知识点序列 <math id="M54"><mo stretchy="false">{</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>u</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>u</mi></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>m</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682733&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682730&type= 25.82333374 4.74133301 来预测第 <math id="M55"><mi>m</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682737&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682736&type= 2.79399991 2.79399991 个知识点 <math id="M56"><msubsup><mrow><mi>v</mi></mrow><mrow><mi>m</mi></mrow><mrow><mi>u</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682743&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682740&type= 3.47133350 3.97933316 的表示，因此设置参数flag禁止 <math id="M57"><msub><mrow><mi mathvariant="bold-italic">Q</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682749&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682747&type= 3.72533321 4.06400013 与 <math id="M58"><msub><mrow><mi mathvariant="bold-italic">K</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">(</mo><mi>j</mi><mo>></mo><mi>i</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682754&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682752&type= 14.98600006 4.65666676 的交互，以防止知识点信息泄露。同时为增强模型的非线性表达能力及避免过拟合现象，增加FNN（feed-forward neural network），并使用relu作为激活函数，计算如下 <math display="block" id="M59"><msub><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">N</mi><mi mathvariant="normal">N</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">u</mi><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">S</mi></mrow><mrow><mi>i</mi></mrow></msub><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msup><mo>+</mo><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">)</mo><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mrow></msup><mo>+</mo><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682760&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682757&type= 71.45866394 4.65666676 其中， <math id="M60"><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682769&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682764&type= 6.60400009 3.13266683 、 <math id="M61"><msup><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682777&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682773&type= 6.68866634 3.13266683 、 <math id="M62"><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682783&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682780&type= 4.40266657 3.04800010 和 <math id="M63"><msup><mrow><mi mathvariant="bold-italic">b</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682789&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682786&type= 4.48733330 3.04800010 都为可训练的参数。 1.1.3　预测层 3 经过前馈神经网络后，给定 <math id="M64"><mi>t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682794&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682792&type= 1.10066664 2.79399991 个知识点，预测下一个知识点 <math id="M65"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682848&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682846&type= 1.10066664 2.79399991 的相关性为 <math id="M66"><msub><mrow><mi>r</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682815&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682811&type= 3.80999994 3.72533321 ， <math id="M67"><msub><mrow><mi>r</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682815&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682811&type= 3.80999994 3.72533321 作为学习者的隐式表示。其计算如下 <math display="block" id="M68"><msub><mrow><mi>r</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>t</mi></mrow></msub><mo>=</mo><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>t</mi></mrow><mrow><mo stretchy="false">(</mo><mi>b</mi><mo stretchy="false">)</mo></mrow></msubsup><msubsup><mrow><mi mathvariant="bold-italic">N</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682820&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682818&type= 19.98133469 4.06400013 其中， <math id="M69"><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>t</mi></mrow><mrow><mo stretchy="false">(</mo><mi>b</mi><mo stretchy="false">)</mo></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682826&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682823&type= 5.67266655 3.97933316 由 <math id="M70"><msub><mrow><mi>F</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682830&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682828&type= 3.30200005 3.72533321 经过 <math id="M71"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682971&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682968&type= 1.86266661 2.79399991 层自注意力模块的堆叠得到， <math id="M72"><msubsup><mrow><mi mathvariant="bold-italic">N</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682843&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682840&type= 5.07999992 4.06400013 为知识点 <math id="M73"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682848&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682846&type= 1.10066664 2.79399991 的嵌入矩阵。 1.2　知识点表示 2 知识点与其他知识点的关联在一定程度上可以作为知识点的补充信息。知识点的表示主要分为两个部分：邻居信息的表示、知识点与邻居信息的融合。 1.2.1　邻居信息的表示 3 知识图谱将知识点与知识点之间通过某种特定关系连接起来，与知识点 <math id="M74"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683012&type= 1.86266661 2.79399991 直接相连的知识点称为 <math id="M75"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683012&type= 1.86266661 2.79399991 的直接邻居知识点，用 <math id="M76"><mi>N</mi><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682864&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682861&type= 8.72066593 3.55599999 表示。与知识点 <math id="M77"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683012&type= 1.86266661 2.79399991 直接相连的所有其他知识点信息，称为知识点 <math id="M78"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683012&type= 1.86266661 2.79399991 的邻居信息。由于每个学习者对于关系的关注程度是不一样的，例如：在了解完“直角三角形”的定义后，一些学习者可能想要了解“三角形”的定义，而一些学习者则想要扩展自己的知识，了解“钝角三角形”的定义。计算不同学习者对于同一知识点的表示需要考虑对关系的重视程度，设 <math id="M79"><msub><mrow><mi>r</mi></mrow><mrow><mi>v</mi><mo>,</mo><mi>e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682901&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682899&type= 4.40266657 3.72533321 表示知识点 <math id="M80"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683012&type= 1.86266661 2.79399991 与知识点 <math id="M81"><mi>e</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682891&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682889&type= 1.52400005 2.79399991 之间的关系，则学习者 <math id="M82"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683049&type= 1.86266661 2.79399991 对于关系 <math id="M83"><msub><mrow><mi>r</mi></mrow><mrow><mi>v</mi><mo>,</mo><mi>e</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682901&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682899&type= 4.40266657 3.72533321 的重视程度可以表示为 <math id="M84"><msubsup><mrow><mi>π</mi></mrow><mrow><msub><mrow><mi>r</mi></mrow><mrow><mi>v</mi><mo>,</mo><mi>e</mi></mrow></msub></mrow><mrow><mi>u</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682934&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682931&type= 4.91066647 4.31799984 ，最终知识点 <math id="M85"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683012&type= 1.86266661 2.79399991 的邻居信息表示如下 <math display="block" id="M86"><msubsup><mrow><mi>v</mi></mrow><mrow><mi>N</mi><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo></mrow><mrow><mi>u</mi></mrow></msubsup><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>e</mi><mo>∈</mo><mi>N</mi><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo></mrow></munder><mrow><msubsup><mrow><mover><mrow><mi>π</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><msub><mrow><mi>r</mi></mrow><mrow><mi>v</mi><mo>,</mo><mi>e</mi></mrow></msub></mrow><mrow><mi>u</mi></mrow></msubsup></mrow><mi>e</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682919&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682915&type= 26.92399979 6.94266701 其中 <math id="M87"><msubsup><mrow><mi>π</mi></mrow><mrow><msub><mrow><mi>r</mi></mrow><mrow><mi>v</mi><mo>,</mo><mi>e</mi></mrow></msub></mrow><mrow><mi>u</mi></mrow></msubsup><mo>=</mo><mi>g</mi><mo stretchy="false">(</mo><mi>u</mi><mo>,</mo><mi>r</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682924&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682921&type= 20.99733353 4.31799984 ， <math id="M88"><mi>g</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682928&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682926&type= 6.51933336 3.72533321 表示对学习者表示和知识点表示进行内积操作。在计算重视程度 <math id="M89"><msubsup><mrow><mi>π</mi></mrow><mrow><msub><mrow><mi>r</mi></mrow><mrow><mi>v</mi><mo>,</mo><mi>e</mi></mrow></msub></mrow><mrow><mi>u</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682934&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682931&type= 4.91066647 4.31799984 后进行softmax归一化操作。归一化操作如（7）式所示 <math display="block" id="M90"><msubsup><mrow><mover><mrow><mi>π</mi></mrow><mrow><mi>˜</mi></mrow></mover></mrow><mrow><msub><mrow><mi>r</mi></mrow><mrow><mi>v</mi><mo>,</mo><mi>e</mi></mrow></msub></mrow><mrow><mi>u</mi></mrow></msubsup><mo>=</mo><mfrac><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>π</mi></mrow><mrow><msub><mrow><mi>r</mi></mrow><mrow><mi>v</mi><mo>,</mo><mi>e</mi></mrow></msub></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow><mrow><munder><mo movablelimits="false">∑</mo><mrow><mi>e</mi><mo>∈</mo><mi>N</mi><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo></mrow></munder><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>π</mi></mrow><mrow><msub><mrow><mi>r</mi></mrow><mrow><mi>v</mi><mo>,</mo><mi>e</mi></mrow></msub></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682938&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682936&type= 32.68133163 12.36133385 1.2.2　知识点与邻居信息的融合 3 在获得知识点 <math id="M91"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683012&type= 1.86266661 2.79399991 的邻居信息表示 <math id="M92"><msubsup><mrow><mi>v</mi></mrow><mrow><mi>N</mi><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo></mrow><mrow><mi>u</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682949&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682946&type= 6.60400009 3.97933316 后，下一步是将知识点自身表示与邻居信息融合丰富自身表示，本文采用相加的方式融合知识点与其邻居信息，融合计算如下 <math display="block" id="M93"><mi mathvariant="normal">a</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">g</mi><mo stretchy="false">(</mo><mi>v</mi><mo>,</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>K</mi><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><mi>W</mi><mo>⋅</mo><mo stretchy="false">(</mo><mi>v</mi><mo>+</mo><msubsup><mrow><mi>v</mi></mrow><mrow><mi>K</mi><mo stretchy="false">(</mo><mi>v</mi><mo stretchy="false">)</mo></mrow><mrow><mi>u</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>+</mo><mi>b</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682955&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682952&type= 56.47266769 4.91066647 其中， <math id="M94"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682959&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682958&type= 1.69333339 2.79399991 表示激活函数， <math id="M95"><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682965&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682962&type= 3.80999994 2.87866688 和 <math id="M96"><mi>b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682971&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682968&type= 1.86266661 2.79399991 都为可训练的参数，采用梯度下降法对参数进行更新。 上述步骤皆为知识点的单阶融合，若要融合多阶邻居表示，则需从中间向外扩散，利用1阶信息获得2阶信息，并设置阈值重复迭代，最终多阶邻居信息融入至指定知识点。例如：知识点“二元二次方程”的直接邻居为知识点“二元二次方程组”和“代入法”，则其1阶信息为两个直接邻居知识点的信息总和；扩散至2阶，则为知识点“二元二次方程组”的直接邻居“代入消元法”和“代入法”的直接邻居“解”“联立方程”的信息之和，过程如 图2 图2 所示。 图2 图2 表示随机融合给定知识点的 k 个邻居信息，其中橙色为随机选择的邻居知识点，白色为给定知识点，图中 k 值为2。知识图谱的阶数用 <math id="M97"><mi mathvariant="normal">h</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682976&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682973&type= 5.58799982 3.64066648 表示，以某一知识点 <math id="M98"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683012&type= 1.86266661 2.79399991 为中心，当 <math id="M99"><mi mathvariant="normal">h</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">p</mi><mo>=</mo><mn mathvariant="normal">0</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682986&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682983&type= 12.10733318 3.64066648 时表示自身，即最里面的圆圈，当 <math id="M100"><mi mathvariant="normal">h</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">p</mi><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682993&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22682989&type= 12.10733318 3.64066648 时表示与知识点 <math id="M101"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683012&type= 1.86266661 2.79399991 直接相连的所有知识点，即第二层圆圈，依次类推。 1.3　推荐预测 2 在对学习者和知识点进行表示后，对其进行拟合，推测学习者 <math id="M102"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683049&type= 1.86266661 2.79399991 点击知识点 <math id="M103"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683012&type= 1.86266661 2.79399991 的概率如（9）式所示 <math display="block" id="M104"><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>u</mi><mi>v</mi></mrow></msub><mo>=</mo><mi>F</mi><mo stretchy="false">(</mo><mi>u</mi><mo>,</mo><mi>v</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683019&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683016&type= 20.65866661 4.74133301 其中 <math id="M105"><mi>F</mi><mo stretchy="false">(</mo><mo>⋅</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683025&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683022&type= 7.02733374 3.55599999 表示对学习者表示和知识点表示进行内积操作。算法采用负采样策略进行训练，模型的损失函数计算公式如（10）式 <math display="block" id="M106"><mi>L</mi><mo>=</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>u</mi><mo>∈</mo><mi>U</mi></mrow></munder><mrow><mo stretchy="false">(</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>v</mi><mo>:</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>u</mi><mi>v</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder><mrow><mi>C</mi><mo stretchy="false">(</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>u</mi><mi>v</mi></mrow></msub><mo>,</mo><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>u</mi><mi>v</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mo>-</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msup><mrow><mi>T</mi></mrow><mrow><mi>u</mi></mrow></msup></mrow></munderover></mstyle><mrow><msub><mrow><mi>E</mi></mrow><mrow><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>~</mo><mi>p</mi><mo stretchy="false">(</mo><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow></msub></mrow><mi>C</mi><mo stretchy="false">(</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>u</mi><mi>v</mi></mrow></msub><mo>,</mo><msub><mrow><mover accent="true"><mi>y</mi><mo>̂</mo></mover></mrow><mrow><mi>u</mi><mi>v</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mo>+</mo><mi>λ</mi><mo stretchy="false">|</mo><mo stretchy="false">|</mo><mi>F</mi><mo stretchy="false">|</mo><msubsup><mrow><mo stretchy="false">|</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683031&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683028&type= 89.57733154 9.82133293 其中， <math id="M107"><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683035&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683033&type= 2.62466669 2.79399991 为交叉熵损失， <math id="M108"><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683041&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683037&type= 1.86266661 3.64066648 表示负采样分布， <math id="M109"><msup><mrow><mi>T</mi></mrow><mrow><mi>u</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683046&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683044&type= 3.97933316 3.04800010 表示学习者 <math id="M110"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683049&type= 1.86266661 2.79399991 负样本的数量。损失函数主要包括两部分，前部分为考虑负采样分布的交叉熵损失函数，后部分为L2正则项。 2　 实验结果与分析 1 2.1　实验设置 2 2.1.1　初中数学知识推荐数据集 3 目前推荐系统领域没有公开权威的教育类推荐数据集。维基百科（Wikipedia）作为百科全书，收纳了包含基础数学、历史等多个类别的数据。学习者在登录后可对里面的词条进行编辑，编辑记录作为学习者的隐性评分，因此本文采用维基百科作为数据来源。根据已构建好的初中数学知识图谱中的实体爬取其有关编辑历史信息，记录编辑者及编辑时间，控制时间为2011―2021年，最终构建初中数学知识推荐数据集（Junior High School Mathematics Knowledge Recommendation Data Sets）。 由于大量学习者仅仅只有一条或少量编辑记录，这对于模型的训练是无意义的，因此本文设置阈值为10，筛选出编辑知识点数大于10的学习者作为输入。编辑信息仅仅作为学习者已交互的正样本，随机获取与学习者历史交互数据等长的未交互的数据作为学习者的负样本。同时抽取初中数学知识图谱中包含的“实体-关系-实体”三元组。本文构建的初中数学知识推荐数据集的信息如 表1 表1 所示。数据集的格式如 表2 表2 所示，主要包含学习者、知识点和是否交互三列，其中：学习者用学习者id表示，知识点用知识点id表示，“是否交互”中“1”表示学习者与知识点已进行交互，“0”表示未进行交互。 数据集参数 处理前 处理后 学习者/个 17 160 283 知识点/个 1 550 863 交互/个 48 052 4 544 实体/个 4 910 904 关系/种 14 14 三元组/个 2 015 2 015 学习者id 知识点id 是否交互 279 837 1 279 253 1 279 115 0 279 651 0 198 373 1 198 620 0 2.1.2　评价指标 3 本文采用的评价指标为AUC值、精确率（ <math id="M111"><mi>P</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683071&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683067&type= 4.14866638 3.55599999 、召回率（ <math id="M112"><mi>R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683075&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683074&type= 2.70933342 2.79399991 ）以及 <math id="M113"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683248&type= 2.53999996 2.79399991 值。AUC表示预测得到正样本大于负样本的概率，计算如（11）式 <math display="block" id="M114"><mi mathvariant="normal">A</mi><mi mathvariant="normal">U</mi><mi mathvariant="normal">C</mi><mo>=</mo><mfrac><mrow><mo>∑</mo><mi>I</mi><mo stretchy="false">(</mo><msub><mrow><mi>P</mi></mrow><mrow><mo>+</mo></mrow></msub><mo>,</mo><msub><mrow><mi>P</mi></mrow><mrow><mo>-</mo></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><mi>M</mi><mi>N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683087&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683084&type= 34.62866592 8.72066593 其中， <math id="M115"><msub><mrow><mi>P</mi></mrow><mrow><mo>+</mo></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683091&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683088&type= 4.57200003 3.72533321 表示为正样本的概率， <math id="M116"><msub><mrow><mi>P</mi></mrow><mrow><mo>-</mo></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683097&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683094&type= 4.57200003 3.72533321 表示为负样本的概率， <math id="M117"><mi>M</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683102&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683099&type= 3.38666677 2.87866688 表示正样本的数目， <math id="M118"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683106&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683105&type= 2.87866688 2.87866688 表示负样本的数目。 <math id="M119"><mi>I</mi><mo stretchy="false">(</mo><msub><mrow><mi>P</mi></mrow><mrow><mo>+</mo></mrow></msub><mo>,</mo><msub><mrow><mi>P</mi></mrow><mrow><mo>-</mo></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683112&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683109&type= 16.00200081 4.48733330 的计算如（12）式 <math display="block" id="M120"><mi>I</mi><mo stretchy="false">(</mo><msub><mrow><mi>P</mi></mrow><mrow><mo>+</mo></mrow></msub><mo>,</mo><msub><mrow><mi>P</mi></mrow><mrow><mo>-</mo></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo></mtd><mtd><msub><mrow><mi>P</mi></mrow><mrow><mo>+</mo></mrow></msub><mo>></mo><msub><mrow><mi>P</mi></mrow><mrow><mo>-</mo></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">0.5</mn><mo>,</mo></mtd><mtd><msub><mrow><mi>P</mi></mrow><mrow><mo>+</mo></mrow></msub><mo>=</mo><msub><mrow><mi>P</mi></mrow><mrow><mo>-</mo></mrow></msub></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo></mtd><mtd><msub><mrow><mi>P</mi></mrow><mrow><mo>+</mo></mrow></msub><mo><</mo><msub><mrow><mi>P</mi></mrow><mrow><mo>-</mo></mrow></msub></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683117&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683114&type= 47.07466888 14.81666565 精确率计算如下 <math display="block" id="M121"><mi>P</mi><mo>=</mo><mfrac><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">P</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683122&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683119&type= 23.19866753 7.61999989 召回率计算如下 <math display="block" id="M122"><mi>R</mi><mo>=</mo><mfrac><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">P</mi><mo>+</mo><mi mathvariant="normal">F</mi><mi mathvariant="normal">N</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683126&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683124&type= 23.79133224 7.61999989 <math id="M123"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683248&type= 2.53999996 2.79399991 值综合考虑了精确率和召回率，是两者的调和值，计算如下式 <math display="block" id="M124"><mi>F</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mi>P</mi><mi>R</mi></mrow><mrow><mi>P</mi><mo>+</mo><mi>R</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683136&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683133&type= 18.71133423 7.70466709 其中，TP（真正例）表示预测为正样本实际也为正样本的数目，FP（假正例）表示预测为正样本而实际为负样本的数目，FN（假负例）表示预测为负样本而实际为正样本的数目。 2.1.3　基准算法 3 选取用知识图谱进行推荐的经典算法RippleNet ［ 12 12 ］ 、KGCN（knowledge graph convolutional networks） ［ 13 13 ］ 及KGAT（knowledge graph attention network） ［ 14 14 ］ 作为基准算法，与本文提出的算法在同一实验平台上进行实验。RippleNet计算三元组头实体 <math id="M125"><mi>h</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683143&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683139&type= 1.94733346 2.79399991 关系 <math id="M126"><mi>r</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683176&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683174&type= 1.52400005 2.79399991 下与物品 <math id="M127"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683189&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683187&type= 1.86266661 2.79399991 的相似度，与三元组中尾实体 <math id="M128"><mi>t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683158&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683155&type= 1.10066664 2.79399991 相乘得到对应的相似度权值作为用户兴趣扩散后的第一轮结果。在 <math id="M129"><mi>H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683163&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683160&type= 2.96333337 2.79399991 次后，获得用户表示，与物品表示相乘得到用户与物品交互的概率。KGCN算法利用知识图谱中关系 <math id="M130"><mi>r</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683176&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683174&type= 1.52400005 2.79399991 与用户 <math id="M131"><mi>u</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683172&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683171&type= 1.86266661 2.79399991 的乘积表示关系 <math id="M132"><mi>r</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683176&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683174&type= 1.52400005 2.79399991 对于用户的重要性，将每个连接到物品 <math id="M133"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683189&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683187&type= 1.86266661 2.79399991 的实体 <math id="M134"><mi>e</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683185&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683183&type= 1.52400005 2.79399991 乘以其对应关系的重要性从而获得物品 <math id="M135"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683189&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683187&type= 1.86266661 2.79399991 的邻居信息，在将物品信息与邻居信息聚合后，乘以用户表示，得到两者交互的概率。KGAT将用户-物品图与知识图谱统一，利用TransR方法初始化每个节点表示，以 <math id="M136"><mi>r</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683196&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683194&type= 1.52400005 2.79399991 关系下头实体 <math id="M137"><mi>h</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683200&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683198&type= 1.94733346 2.79399991 和尾实体 <math id="M138"><mi>t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683204&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683201&type= 1.10066664 2.79399991 之间的距离作为注意力机制计算邻居实体 <math id="M139"><mi>e</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683207&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683205&type= 1.52400005 2.79399991 需要融入物品 <math id="M140"><mi>v</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683211&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683209&type= 1.86266661 2.79399991 的权重，将邻居信息和物品信息融合后，计算用户表示与物品表示的乘积，其得到的概率为推荐的概率。 2.2　结果与分析 2 为验证本文算法的准确性，在自构建的初中数学知识推荐数据集数据集上，主要采用两种方法评估模型性能：点击率（click-through rate，CTR）预测及top- K 推荐。点击率预测代表了学习者与知识点交互的概率，点击率越高则表示学习者与知识点的交互概率越高，结果如 表3 表3 所示。从 表3 表3 可以看到，本文提出的算法在AUC值、精确率、召回率以及 <math id="M141"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683248&type= 2.53999996 2.79399991 值四个指标上都优于三种基准算法。 算法 AUC P R F RippleNet [ 12 12 ] 85.1 78.0 81.2 79.6 KGCN [ 13 13 ] 84.2 77.5 79.8 78.6 KGAT [ 14 14 ] 86.6 78.6 82.0 80.3 SAKG 87.1 79.7 82.8 81.2 % top- K 推荐序列根据概率排序得到，本文分别测试了 K 在1、2、5、10、20、50、100下四种算法精确率与召回率的对比效果，实验结果如 图3 图3 和 图4 图4 所示。从 图3 图3 和 图4 图4 中可以看出，随着 K 值的增大，算法的精确率先上升再下降，召回率呈上升趋势，且本文提出的方法明显优于其余三种基准算法，当 K 等于10时，本文提出的算法与KGAT的召回率相近，但是当 K 大于10时，随着推荐知识点的增加，算法之间的差距逐渐增大，表明本文提出的算法在大规模知识点推荐中占有一定优势，这是由于其融合了知识图谱中的知识点多阶语义知识，丰富了知识点表示。 同时由 表3 表3 可知，本文提出的算法对比三个基准算法在AUC值、 <math id="M142"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683248&type= 2.53999996 2.79399991 值等评测指标上皆有所提升。在AUC值上分别提升了2.0%、2.9%、0.5%，在 <math id="M143"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683248&type= 2.53999996 2.79399991 值上分别提升了1.6%、2.6%、0.9%。其中，KGCN算法在各方面的表现最差，AUC值与 <math id="M144"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683248&type= 2.53999996 2.79399991 值分别为84.2%和78.6%。这是由于KGCN算法并没有从学习者角度考虑，只是简单地根据学习者序号获取学习者表示，未能考虑学习者特性的动态变化，不能准确对学习者进行表示，挖掘学习者特性。虽然其在知识点表示方面融入了学习者表示，然而由于在学习者表示方面有所欠缺，仅仅只能用于区别各个学习者，在最终推荐结果中并不能显示出明显的个性化，融入学习者学习特性，因此效果较差。而RippleNet算法虽然通过知识图谱进行学习者偏好传播，形成学习者的表示，能够在一定程度上挖掘出学习者偏好的深层次原因，但是它忽略了知识点的表示，着重于通过知识点在知识图谱上的传播得到学习者表示，当学习者交互知识点的差距较大时可能难以挖掘出学习者潜在的兴趣，进而造成一定误差。因此RippleNet算法相较于KGCN算法在AUC值、 <math id="M145"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683250&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=22683248&type= 2.53999996 2.79399991 值上有所提高，但是其实际效果也不是很理想。KGAT算法的效果高于KGCN算法和RippleNet算法，是由于KGAT算法在邻居信息的权重方面使用注意力机制融入更多相似邻居知识点的信息，丰富了知识点的表示，同时算法中学习者-知识点二部图和知识图谱的融合能够有效利用高阶信息，进而提取学习者行为的协同信息。然而在学习过程中，由于学习者知识的增长，学习者的偏好可能会不断发生变化，KGAT算法仅仅考虑了学习者最终的学习状态，并没有考虑学习者状态变化的过程，不能准确获取学习者偏好，因此不适用于教育领域的自动推荐。基于此，本文通过融合知识图谱中知识点间的语义信息和学习者的时序偏好，提出的联合知识图谱和时间特性的数学知识自动推荐方法，符合个性化教育的规律，因此效果优于其他算法。 3　 结 语 1 本文提出一种联合知识图谱和时间特性的数学知识自动推荐方法，通过融合知识图谱中丰富的语义信息和学习者交互序列的时间特性，多方面考虑学习者的个性化需求，实现对学习者的精准推荐。在自构建的数据集上的实验表明，该算法在初中数学知识个性化推荐方面优于几类基准算法。该方法能够为学习者的个性化学习提供服务支持，帮助其规划合理的学习路径，形成属于自己的知识架构，也为教师对学生进行个性化教育提供基础。 参考文献 陈恩红 ， 刘淇 ， 王士进 ， 等 . 面向智能教育的自适应学习关键技术与应用 ［J/OL］. 智能系统学报 ： 1 - 13 ［ 2021-09-14 ］. http：//kns.cnki.net/kcms/detail/23.1538.TP.20210713.1348.005.html http://kns.cnki.net/kcms/detail/23.1538.TP.20210713.1348.005.html . DOI： 10.11992/tis.202105036 http://dx.doi.org/10.11992/tis.202105036 . 面向智能教育的自适应学习关键技术与应用 CHEN E H ， LIU Q ， WANG S J ， et al . Key techniques and applications for intelligent education oriented adaptive learning ［J/OL］. CAAI Transactions on Intelligent Systems ： 1 - 13 ［ 2021-09-14 ］. http：//kns.cnki.net/kcms/detail/23.1538.TP.20210713. 1348.005.html http://kns.cnki.net/kcms/detail/23.1538.TP.20210713.1348.005.html . DOI： 10.11992 /tis.202105036（Ch） http://dx.doi.org/10.11992/tis.202105036（Ch） . Key techniques and applications for intelligent education oriented adaptive learning 王宏琳 ， 杨丹 ， 聂铁铮 ， 寇月 . 基于自注意力机制的属性异构信息网络嵌入的商品推荐 ［J/OL］. 计算机研究与发展 ： 1 - 12 ［ 2021-09-14 ］. http：//kns.cnki.net/kcms/detail/11.1777.TP.20210825.1711.011.html. DOI： 10.7544/issn1000-1239.2022. 20210016 http://kns.cnki.net/kcms/detail/11.1777.TP.20210825.1711.011.html.DOI:10.7544/issn1000-1239.2022.20210016 . DOI: 10.7544/issn1000-1239.2022.20210016（Ch） http://dx.doi.org/10.7544/issn1000-1239.2022.20210016（Ch） . 基于自注意力机制的属性异构信息网络嵌入的商品推荐 WANG H L ， YANG D ， NIE T Z ， et al . Attributed heterogeneous information network embedding with self-attention mechanism for product recommendation ［J/OL］. Journal of Computer Research and Development ： 1 - 12 ［ 2021-09-14 ］. http：//kns.cnki.net/kcms/detail/11.1777.TP.20210825.1711.011.html http://kns.cnki.net/kcms/detail/11.1777.TP.20210825.1711.011.html . DOI： 10.7544/issn1000-1239.2022.20210016（Ch） http://dx.doi.org/10.7544/issn1000-1239.2022.20210016（Ch） . Attributed heterogeneous information network embedding with self-attention mechanism for product recommendation 薛峰 ， 刘凯 ， 王东 ， 等 . 基于深度神经网络和加权隐反馈的个性化推荐 ［J］. 模式识别与人工智能 ， 2020 ， 33 （ 4 ）： 295 - 302 . DOI： 10.16451/j.cnki.issn1003-6059.202004002 http://dx.doi.org/10.16451/j.cnki.issn1003-6059.202004002 . 基于深度神经网络和加权隐反馈的个性化推荐 XUE F ， LIU K ， WANG D ， et al . Personalized recommendation algorithm based on deep neural network and weighted implicit feedback ［J］. Pattern Recognition and Artificial Intelligence ， 2020 ， 33 （ 4 ）： 295 - 302 . DOI： 10.16451/j.cnki.issn1003-6059.202004002（Ch http://dx.doi.org/10.16451/j.cnki.issn1003-6059.202004002（Ch ）. Personalized recommendation algorithm based on deep neural network and weighted implicit feedback XU X . Matrix factorization recommendation algorithm based on deep neural network ［C］// 2019 2nd International Conference on Information Systems and Computer Aided Education （ICISCAE） . New York ： IEEE Press ， 2019 ： 320 - 323 . DOI： 10.1109/ICISCAE48440.2019.221643 http://dx.doi.org/10.1109/ICISCAE48440.2019.221643 . Matrix factorization recommendation algorithm based on deep neural network 杨明极 ， 刘畅 ， 宋泽 . 注意力机制与改进RNN的混合音乐推荐算法研究 ［J］. 小型微型计算机系统 ， 2020 ， 41 （ 10 ）： 2235 - 2240 . DOI： 10.3969/j.issn.1000-1220.2020.10.036 http://dx.doi.org/10.3969/j.issn.1000-1220.2020.10.036 . 注意力机制与改进RNN的混合音乐推荐算法研究 YANG M J ， LIU C ， SONG Z . Research on music recommendation algorithm based on attention mechanism and improved RNN ［J］. Journal of Chinese Computer Systems ， 2020 ， 41 （ 10 ）： 2235 - 2240 . DOI： 10.3969/j.issn.1000-1220.2020.10.036（Ch http://dx.doi.org/10.3969/j.issn.1000-1220.2020.10.036（Ch ）. Research on music recommendation algorithm based on attention mechanism and improved RNN 王雅青 ， 郭彩丽 ， 楚云霏 ， 等 . 面向会话型推荐系统的个性化分层循环模型 ［J］. 北京邮电大学学报 ， 2019 ， 42 （ 6 ）： 142 - 148 . DOI： 10.13190/j.jbupt.2019-143 http://dx.doi.org/10.13190/j.jbupt.2019-143 . 面向会话型推荐系统的个性化分层循环模型 WANG Y Q ， GUO C L ， CHU Y F ， et al . Personalized hierarchical recurrent model for session-based recommendation systems ［J］. Journal of Beijing University of Posts and Telecommunications ， 2019 ， 42 （ 6 ）： 142 - 148 . DOI： 10.13190/j.jbupt.2019-143（Ch http://dx.doi.org/10.13190/j.jbupt.2019-143（Ch ）. Personalized hierarchical recurrent model for session-based recommendation systems 冯永 ， 张备 ， 强保华 ， 等 . MN-HDRM： 长短兴趣多神经网络混合动态推荐模型 ［J］. 计算机学报 ， 2019 ， 42 （ 1 ）： 16 - 28 . DOI： 10.11897/SP.J.1016.2019.00016 http://dx.doi.org/10.11897/SP.J.1016.2019.00016 . MN-HDRM： 长短兴趣多神经网络混合动态推荐模型 FENG Y ， ZHANG B ， QIANG B H ， et al . MN-HDRM： A novel hybrid dynamic recommendation model based on long-short-term interests multiple neural networks ［J］. Chinese Journal of Computers ， 2019 ， 42 （ 1 ）： 16 - 28 . DOI： 10.11897/SP.J.1016.2019.00016（Ch http://dx.doi.org/10.11897/SP.J.1016.2019.00016（Ch ）. MN-HDRM： A novel hybrid dynamic recommendation model based on long-short-term interests multiple neural networks WANG H W ， ZHANG F Z ， ZHAO M ， et al . Multi-task feature learning for knowledge graph enhanced recommendation ［C］// The World Wide Web Conference on ⁃ WWW’19. New York： ACM Press， 2019 ： 2000 - 2010 . DOI： 10.1145/3308558.3313411 http://dx.doi.org/10.1145/3308558.3313411 . Multi-task feature learning for knowledge graph enhanced recommendation CAO Y X ， WANG X ， HE X N ， et al . Unifying knowledge graph learning and recommendation： Towards a better understanding of user preferences ［C］// The World Wide Web Conference . New York ： ACM ， 2019 ： 151 - 161 . DOI： 10.1145/3308558.3313705 http://dx.doi.org/10.1145/3308558.3313705 . Unifying knowledge graph learning and recommendation： Towards a better understanding of user preferences WANG H W ， ZHANG F Z ， XIE X ， et al . DKN： deep knowledge-aware network for news recommendation ［C］// Proceedings of the 2018 World Wide Web Conference on World Wide Web⁃ WWW’18. New York： ACM Press， 2018 ： 1835 - 1844 . DOI： 10.1145/3178876.3186175 http://dx.doi.org/10.1145/3178876.3186175 . DKN： deep knowledge-aware network for news recommendation 周炫余 ， 唐祯 ， 唐丽蓉 ， 等 . 基于多源异构数据融合的初中数学知识图谱构建 ［J］. 武汉大学学报（理学版） ， 2021 ， 67 （ 2 ）： 118 - 126 . DOI： 10.14188/j.1671-8836.2020.0273 http://dx.doi.org/10.14188/j.1671-8836.2020.0273 . 基于多源异构数据融合的初中数学知识图谱构建 ZHOU X Y ， TANG Z ， TANG L R ， et al . Construction of junior high school mathematics knowledge graph based on multi-source heterogeneous data fusion ［J］. Journal of Wuhan University （Natural Science Edition） ， 2021 ， 67 （ 2 ）： 118 - 126 . DOI： 10.14188/j.1671-8836.2020.0273（Ch http://dx.doi.org/10.14188/j.1671-8836.2020.0273（Ch ）. Construction of junior high school mathematics knowledge graph based on multi-source heterogeneous data fusion WANG H W ， ZHANG F Z ， WANG J L ， et al . RippleNet： propagating user preferences on the knowledge graph for recommender systems ［C］// Proceedings of the 27th ACM International Conference on Information and Knowledge Management . New York ： ACM ， 2018 ： 417 - 426 . DOI： 10.1145/3269206.3271739 http://dx.doi.org/10.1145/3269206.3271739 . RippleNet： propagating user preferences on the knowledge graph for recommender systems WANG H W ， ZHAO M ， XIE X ， et al . Knowledge graph convolutional networks for recommender systems ［C］// The World Wide Web Conference on⁃ WWW’19. New York： ACM Press， 2019 ： 3307 - 3313 . DOI： 10.1145/3308558.3313417 http://dx.doi.org/10.1145/3308558.3313417 . Knowledge graph convolutional networks for recommender systems WANG X ， HE X N ， CAO Y X ， et al . KGAT： Knowledge graph attention network for recommendation ［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining . New York ： ACM ， 2019 ： 950 - 958 . DOI： 10.1145/3292500.3330989 http://dx.doi.org/10.1145/3292500.3330989 . KGAT： Knowledge graph attention network for recommendation 编者按 随着互联网、物联网、区块链、大数据、人工智能、5G技术的不断发展，特别是移动网络的发展，信息量成爆炸式增长。作为缓解信息过载的重要技术，推荐系统目前已经在健康、智能交通、教育、电子商务等领域有相当成功的应用。然而随着用户需求的持续变化，传统的推荐算法面临一些新的问题，如冷启动、推荐新颖度不够、数据稀疏等。针对这些问题，学者们将新技术应用于推荐系统中，产生了一批新的推荐方法。探讨如何将这些新的理论、方法及技术应用于推荐系统，对更好地提供个性化推荐服务具有积极的指导意义和重要的实践价值，也将促进智能时代的信息技术的持续发展。 “ChinaSoft 2021 面向人工智能的推荐系统前沿研究论坛”Track关注推荐系统中的特征表示与交互、推荐系统产业应用以及用于解决冷启动问题、数据稀疏问题、隐私性问题的相关技术方法等，针对学术和产业面临的难题、挑战和瓶颈，征集有关推荐系统研究领域创新性和突破性的高水平研究成果，深入探讨推荐系统相关基础理论、关键技术以及支撑平台等方面创新成果，并探讨相关成果在产业界的应用前景。 本刊聘请该论坛组织委员会成员武汉大学教授陈刚为本期客座主编，刘进（武汉大学）、武星（上海大学）、黄勃（上海工程技术大学）为客座副主编，他们从论坛收到的稿件中选出部分优秀论文作为本期推荐系统专辑的论文。 10.14188/j.1671-8836.2021.1005 TP391.1 A 1671-8836（2021）06-0539-08 ZHOU Xuanyu，LI Xuan，CHEN Yuanyuan， et al .Automatic Recommendation Method of Mathematical Knowledge Based on Combined Knowledge Graph and Temporal Feature ［J］. J Wuhan Univ （ Nat Sci Ed ），2021，67（6）：539-546. DOI： 10.14188/j.1671-8836.2021.1005（Ch http://dx.doi.org/10.14188/j.1671-8836.2021.1005(Ch ）. ZHOU Xuanyu，LI Xuan，CHEN Yuanyuan，et al.Automatic Recommendation Method of Mathematical Knowledge Based on Combined Knowledge Graph and Temporal Feature ［J］.J Wuhan Univ （Nat Sci Ed），2021，67（6）：539-546. DOI：10.14188/j.1671-8836.2021.1005（Ch）. 周炫余,李璇,陈圆圆, 等.联合知识图谱和时间特性的数学知识自动推荐方法[J].武汉大学学报（理学版）,2021,67(6):539-546. DOI:10.14188/j.1671-8836.2021.1005 周炫余,李璇,陈圆圆, 等.联合知识图谱和时间特性的数学知识自动推荐方法[J].武汉大学学报（理学版）,2021,67(6):539-546. DOI:10.14188/j.1671-8836.2021.1005 国家自然科学基金（62007007），湖南省教育厅优秀青年项目（19B365），湖南师范大学大学生创新创业训练计划项目（2020155） 2021-08-10 2021-12-24 2021-12-09 武汉大学学报（理学版） 6 67