基于BERT-BiLSTM-CRF模型的中国民族药知识抽取

基于BERT-BiLSTM-CRF模型的中国民族药知识抽取 The Chinese Ethnic Medicine Knowledge Extraction Based on BERT-BiLSTM-CRF Model 1 first-author 郑光敏，女，硕士生，现从事知识抽取、知识图谱研究。E-mail：gs.gmzheng18@gzu.edu.cn 郑光敏，女，硕士生，现从事知识抽取、知识图谱研究。E-mail：gs.gmzheng18@gzu.edu.cn gs.gmzheng18@gzu.edu.cn 1 2 1 3 corresp E-mail： hesong@gz5055.com E-mail： hesong@gz5055.com hesong@gz5055.com 贵州大学 医学院，贵州 贵阳 550025 贵州大学 医学院，贵州 贵阳 550025 School of Medicine， Guizhou University， Guiyang 550025， Guizhou， China School of Medicine， Guizhou University， Guiyang 550025， Guizhou， China 贵州中医药大学 第一附属医院，贵州 贵阳 550002 贵州中医药大学 第一附属医院，贵州 贵阳 550002 The First Affiliated Hospital of Guizhou University of Traditional Chinese Medicine， Guiyang 550002， Guizhou， China The First Affiliated Hospital of Guizhou University of Traditional Chinese Medicine， Guiyang 550002， Guizhou， China 贵州省人民医院 智慧医院建设办公室， 贵州 贵阳 550002 贵州省人民医院 智慧医院建设办公室， 贵州 贵阳 550002 Smart Hospital Construction Office， The People's Hospital of Guizhou Province， Guiyang 550002， Guizhou， China Smart Hospital Construction Office， The People's Hospital of Guizhou Province， Guiyang 550002， Guizhou， China 基于BERT-BiLSTM-CRF，提出一种先抽取关系和后抽取实体的自动抽取知识模型。其中，关系识别模型的输出是实体识别模型的输入。实验结果表明，该模型可高效抽取《中国民族药辞典》中的实体和关系。利用此模型抽取的中国民族药知识实体和关系构建了知识图谱，并基于此知识图谱实现了中国民族药知识可视化和智能问答。 Based on the BERT-BiLSTM-CRF, this paper proposed a knowledge extraction model that extracts relations firstly and entities secondly; the output of the relation recognition model is the input of the entity recognition model. The experimental conclusions show that the knowledge extraction model can effectively extract relations and entities of Dictionary of Chinese Ethnic Medicine . The knowledge graph of Chinese ethnic medicine extracted by the model is constructed, and the application of knowledge visualization and intelligent question answering are realized. 知识图谱 中国民族药 知识抽取 BERT-BiLSTM-CRF knowledge graph Chinese ethnic medicine knowledge extraction BERT-BiLSTM-CRF 0　 引 言 1 民族医药是我国传统医药必不可少的组成部分 ［ 1 1 ］ ，其诊断和治疗日渐融入主流西医学 ［ 2 2 ］ 。“十一五”期间，科技部首次将“民族医药发展关键技术示范研究”项目列入国家科技支撑计划，它是“传承与创新发展”的重要主题。进入21世纪后，数据、计算、人工智能突飞猛进，我国民族医药正在迎来历史性的新机遇 ［ 3 3 ］ 。 随着谷歌知识图谱 ［ 4 4 ］ 的发展，知识图谱在医疗领域里应用不断向前推进，如中医养生知识图谱 ［ 5 5 ］ 、医药知识图谱 ［ 6 6 ］ 、中医药知识图谱 ［ 7 7 ］ 、生物医药知识图谱 ［ 8 8 ］ 、心脏病中文知识图谱 ［ 9 9 ］ 、中文症状知识库 ［ 10 10 ］ ；在其知识智能应用方面，有面向患者的智能医生问答 ［ 11 11 ］ 、辅助医生诊断的平行胃肠诊疗系统 ［ 12 12 ］ 、融合知识图谱与深度学习的药物发现 ［ 13 13 ］ 、针对特定疾病和特定医疗领域的人工智能辅助诊疗专家诊断系统（如IBM的Waston ［ 14 14 ］ ），以及近期基于BERT（bidirectional encoder representation from transformers）融合大规模疾病术语和常用语 ［ 15 15 ］ 的应用研究。 目前中国民族医药（以下简称民族医药）在防治重大疾病等方面已积累了不少研究成果，然而知识图谱在民族医药领域的相关研究和智能应用鲜有报道，在开放互联网内也没有可用数据集。《中国民族药辞典》是我国民族药领域的权威专著，它已根据现有民族医药研究文献（民族医药图书180部，民族医药期刊文献1 118篇）进行了全面的分析和整理，详细记录了各少数民族的常用药，确认当前全国少数民族使用药物总数为7 736种 ［ 16 16 ］ ；其行文简明，句子表达具有鲜明的字符格式和字词特征；而此辞典整理的文本信息并没有被格式化和形成易于查询的知识库。数据是人工智能的驱动主体，知识图谱推进数据智能化，如果利用知识图谱来存储、组织、管理此辞典中民族药等数据，必将推动民族医药领域的知识智能化应用，但如果仅通过人工来提取这些非结构化的文本，必将带来大量的时间和财务消耗。为此，本文提出一种知识抽取模型来自动且高效地抽取此辞典中的知识，为中国民族药知识图谱构建提供全面和可靠的数据来源。 知识抽取包括实体识别（named entity recognition， NER）和关系抽取（relation extraction，RE）。早期实体识别和关系抽取方法主要为基于词典与规则方法，后期发展到基于统计的机器学习的方法，如条件随机场（CRF） ［ 17 17 ］ ，但在标注模型、特征提取方面仍需要大量人工参与并严重依赖语料库，其识别效果也不理想。近年来基于神经网络 ［ 18 18 ］ 的识别模型避免了繁琐的人工特征抽取，如长短期记忆网络（long short-term memory，LSTM） ［ 19 19 ］ 、双向长短期记忆网络（bidirectional long short-term memory，BiLSTM） ［ 20 20 ］ 。还有研究团队提出基于远程监督的抽取系统 ［ 21 21 ， 22 22 ］ 、改进或组合的神经网络的模型 ［ 23 23 ~ 25 25 23~25 ］ ，它们能够使用不同的网络架构来获取文本更多的语义信息，具有良好的泛化能力。然而上述方法都存在无法表征一词多义的问题。 BERT ［ 26 26 ］ （bidirectional encoder representation from transformers）的提出，为解决一词多义问题提供了思路。Souza等 ［ 27 27 ］ 将BERT-CRF模型应用到Portuguese NER，在HAREM I上取得最佳的F1值；张文涛等 ［ 28 28 ］ 将BERT-BiLSTM-CRF模型应用于中文电子病历中的实体识别中也得到了更好性能的模型。 本文根据实际应用需求，立足于高效且自动地抽取《中国民族药辞典》中民族药等相关知识，将BERT与BiLSTM、CRF组合，提出一种抽取关系与实体的知识抽取模型，从《中国民族药辞典》中抽取关系与实体；利用此模型抽取的关系与实体来构建民族药知识图谱，基于此知识图谱实现民族药智能问答。 1　 知识抽取模型 1 1.1　知识抽取任务 2 本文实体和关系的抽取分别是句子级别的关系识别和标识级别的实体识别任务，目的是抽取《中国民族药辞典》中的二元关系和实体。将民族药中实体关系定义为 R ，两个实体的关系用三元组表示为〈 E i ， R ， E j 〉，其中 E i ， E j 为民族药实体， R 为映射关系，根据《中国民族药辞典》的行文特点，定义映射关系和识别的三元组，如 表1 表1 所示。 实体1 ( E i ) 关系（ R ） 实体2( E j ) 〈民族用药, 参考书序列号, 书序列号〉 〈民族用药, 参考书名, 书名〉 〈民族用药, 参考期刊, 期刊序列号〉 〈民族用药, 效用同药, 中文药名〉 〈民族用药, 效用同民族药, 民族药〉 〈民族用药, 别名, 民族药名〉 〈英文药名, 参见, 英文药名〉 〈中文药名, 科, 科名〉 〈中文药名, 出自, 书名〉 〈中文药名, 英文名, 英文药名〉 〈民族用药, 有, 性质〉 〈民族用药, 引发, 症状〉 〈民族用药, 治, 症状〉 〈民族用药, 用于, 功效〉 在识别模型训练中，把此书目中的文本段落划分成多个待识别关系和实体的句子并为每个句子贴上正确标识，其示例段落划分形式如 图1 图1 所示，人工标识其所属关系和实体如 图2 图2 所示。根据设计的三元组形式，在模型训练中，输入原文句子和相应标注的三元组信息，如原文句子：“text”：“苍鹰【彝药】鸢：胆治体虚乏力 《107》 。”（辞典原文，苍鹰，表示此药品的中文名；“【】”符号中文字表示此药属于某民族药；“【】”符号后文字表示此药在“【】”符号中所示民族药中的名称及用法；《107》表示此记录参考的书序列号），对应的关系和实体标识为：“spo_list”： ｛“predicate”：“别名”，“object_type”：“民族药名”， “subject_type”：“民族用药”，“object”：“鸢”，“subject”：“苍鹰［彝药］”｝，｛“predicate”：“参考书序列号”，“object_type”：“书序列号”，“subject_type”： “民族用药”，“object”：“《107》”，“subject”：“苍鹰［彝药］”｝，｛“predicate”：“治”，“object_type”：“症状”，“subject_type”：“民族用药”，“object”：“体虚乏力”，“subject”：“苍鹰［彝药］”｝；训练完成后，在模型测试时，输入一个新的原文句子，也按训练集标注格式输出识别的关系与实体。 1.2　知识抽取模型结构 2 根据如上任务，本文构建的BERT-BiLSTM-CRF模型结构如 图3 图3 ，知识抽取模型抽取流程如 图4 图4 ，首先基于BERT-BiLSTM-CRF搭建第一个识别关系的多标签多分类任务模型；然后使用BERT-BiLSTM-CRF搭建第二个识别实体的单标签多分类任务模型，第一个模型的输出是第二个模型的输入，这两个模型形成管道式链接传递信息流，共同组成知识抽取模型。如 图4 图4 示例输入一个待识别的句子，其经过第一个关系识别模型后可被识别出有多个关系，在进入第二个模型即实体识别时，先依据第一个模型预测出来的关系，做格式转化后输入第二个模型，如 图4 图4 所示句子预测出了2个关系（科和英文名），那么格式转化时就重复该句子生成对应的关系和句子对，即重复这个句子2次，这2个重复样本就在第二个模型中对应着2个单标签多分类任务；第二个模型输出结果为这个句子中识别到的关系和实体。 1.3　模型训练与评价 2 1.3.1　数据集 3 关系和实体识别模型的训练中，选取《中国民族药辞典》的A章节来进行关系和实体标注，总共得到了3 662个关系和实体标识句子。取其4/5做训练集，1/5做测试集，其详细关系分布如 表2 表2 。每个句子可包含一个或多个关系，总计无重复语句。 关系类型 训练集语句数 测试集语句数 合计 治 1 312 328 1 640 别名 1 312 328 1 640 英文名 951 238 1 189 科 951 238 1 189 参考书序列号 656 164 820 参考期刊 656 164 820 用于 36 9 45 效用同药 60 15 75 效用同民族药 102 26 128 出自 8 2 10 参见 5 1 6 有 7 1 8 引发 4 1 5 参考书名 1 1 2 总数（删除重复） 2 929 733 3 662 1.3.2　标注与评价指标 3 根据《中国民族药辞典》文本设计的三元组形式，关系标识为14种，实体为12种（ 表1 表1 ）。模型中实体标注体系为BIO标注模式（B-begin，I-inside，O-outside），分别是“［Padding］”“［category］”“［##WordPiece］” “［CLS］”“［SEP］”“B-SUB”“I-SUB”“B-OBJ”“I-OBJ”“O”，共10个标签，即预测每一个词的标注，最后根据标注提取出实体对，SUB对应的是subject，第一个实体，B-SUB是第一个实体开始的位置，OBJ是第二个实体。 为了让实体对和关系对应，评价模型时综合考虑了关系和实体标识的预测。本模型采用精确率（ P ）、召回率（ R ）和F1-score（F1）来评判模型的性能，各评价指标的计算方法如下： <math display="block" id="M1"><mi>P</mi><mo>=</mo><mfrac><mrow><mi>C</mi></mrow><mrow><mi>S</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20929528&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20929522&type= 11.26066685 7.53533268 <math display="block" id="M2"><mi>R</mi><mo>=</mo><mfrac><mrow><mi>S</mi></mrow><mrow><mi>G</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20929544&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20929536&type= 11.51466751 7.53533268 <math display="block" id="M3"><mi mathvariant="normal">F</mi><mn mathvariant="normal">1</mn><mo>=</mo><mfrac><mrow><mn mathvariant="normal">2</mn><mi>P</mi><mi>R</mi></mrow><mrow><mi>P</mi><mo>+</mo><mi>R</mi></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20929558&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20929552&type= 20.15066719 7.70466709 其中， C 是识别正确的三元组数， S 是识别出的三元组个数， G 是总三元组个数。 1.3.3　实验环境与实验参数 3 模型训练在Python 3.6和Tensorflow 1.14 平台上完成，其具体配置见 表3 表3 ；训练过程中，参数设定如 表4 表4 。 操作系统 Linux CPU Intel(R) Xeon(R) Gold 5218(64-core) GPU 4*NVIDA Tesla 11GB Python 3.6 Tensorflow 1.14 参数 值 Transformer层数 12 隐藏层维度 768 优化器 Adam 学习率 2E <math id="M4"><mo>-</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20929589&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20929582&type= 3.21733332 2.37066650 5 Batch_size 32 max_seq_length 128 1.4　实验结果 2 实验1：测评识别所有关系训练的模型，测试结果如 表5 表5 。 注： 粗体为最优模型的结果 模型 P R F1 LSTM-CRF 0.763 3 0.635 6 0.693 6 BiLSTM-CRF 0.826 2 0.628 7 0.714 0 BERT 0.948 3 0.689 8 0.798 7 BERT-BiLSTM 0.938 7 0.667 3 0.780 0 BERT⁃BiLSTM⁃CRF 0.940 2 0.690 8 0.796 4 实验2：测评识别部分关系训练的模型，即不标记和识别语句中的“有、引发、参考、参考书名、出自”这5种关系（关系实例句子数量少），测试结果如 表6 表6 。 注： 粗体为最优模型的结果 模型 P R F1 LSTM-CRF 0.768 8 0.648 7 0.706 6 BiLSTM-CRF 0.843 9 0.662 8 0.742 4 BERT 0.940 2 0.701 2 0.803 3 BERT-BiLSTM 0.942 3 0.697 6 0.801 6 BERT⁃BiLSTM⁃CRF 0.941 3 0.716 5 0.813 6 1.4.1　实验1和实验2的分析 3 实验1中的训练集句子标注了所有关系，但是由于部分关系的语句数过少，其标注会影响模型训练和识别的性能。对比实验1与实验2的结果，观察到识别所有关系训练的模型，其知识抽取性能上比识别部分关系训练的模型有所降低；可见如果训练集中存在部分关系语句数过少或不均衡，会影响模型的识别性能。 1.4.2　与其他模型比较 3 在实验1和实验2中，BERT都表现出优于传统模型，由于它能充分提取字符集、词级、句子级甚至句间关系的特征，增强了模型的泛化能力 ［ 29 29 ， 30 30 ］ 。比较BERT与BERT-BiLSTM-CRF的实验结果，发现在BERT上增加BiLSTM和CRF后，其知识抽取性能更好。这主要归功于基于BERT-BiLSTM-CRF知识抽取模型能够有效组合BERT和传统模型的优势，除了充分提取文本特征外，还进一步利用句子中相邻标签的关联性获得了全局最优的标签序列，改善了实体识别性能。实验2中，本文提出的基于BERT-BiLSTM-CRF构建的知识抽取模型为抽取民族药知识的最优模型，其F1值取得了最高值。 1.4.3　与其他模型的F1值更新对比 3 对比分析了各模型前20个学习周期Epoch的F1值更新情况。如 图5 图5 所示，传统的神经网络其F1在初期处于相当低的水平，只有经过多次学习，周期迭代才逐渐更新上升到一个较稳定水平；BERT及其改良模型在训练初期就可达到一个较高水平，然后逐渐提升，最后趋于稳定在高水平；基于BERT-BiLSTM-CRF的知识抽取模型在F1值更新中表现出的性能最好。 2　 民族药知识图谱构建与应用 1 2.1　构建民族药知识图谱 2 从《中国民族药辞典》中抽取的知识，利用Protégé ［ 31 31 ］ 设计民族药知识图谱模式，把实体和关系导入Neo4j图数据库 ［ 32 32 ］ 并建立规范数据的约束规则。民族药的本体结构如 图6 图6 。 2.2　民族药知识图谱的应用 2 知识可视化，根据构建的民族药知识图谱，如 图7 图7 形成民族药知识图谱应用平台，可查询的实体为民族药知识图谱细化的实体，可对每一实体输入实体名字进行查询，示例查询某一民族药包含的民族用药以及症状，其返回数据的可视化界面如 图8 图8 所示。 智能问答，基于设计的民族药知识图谱应用平台同步实现知识智能问答，可选择 图7 图7 中“智能问答”输入文字来查询民族药知识图谱中的知识，其能基于民族药知识图谱快速回答民族药相关知识，其中三类的问答实例如 图9 图9 所示，民族药知识图谱能很好地应用在专业领域知识问答中。 3　 结 语 1 本研究完成的工作主要有： ① 基于BERT-BiLSTM-CRF构建了知识抽取模型，应用到《中国民族药辞典》的关系和实体识别中，进行知识抽取，第一个关系识别模型的输出是第二个实体识别模型的输入，这两个模型共同组合成知识抽取模型，其在测试集上取得了很好的性能；② 利用从《中国民族药辞典》中抽取的知识，设计了民族药知识图谱模式，构建了民族药知识图谱，基于民族药知识图谱探索了民族药相关智能应用，实现了民族药知识图谱可视化和智能问答。 本文的研究为民族医药等文本抽取以及知识图谱构建提供了方法，为实现相关民族医药知识图谱和民族医药可视化平台、智能问答等应用奠定了基础。此外如何对抽取后出现的噪音数据进行识别、校正以及对民族药知识进行知识融合、知识补全是完善民族药知识图谱的进一步工作。未来可通过人工智能进一步打造民族医药智能化系统，实现资源共享，突破民族医药传统师承模式，提升民族医药服务能力，更好服务大众。 参考文献 黄福开 . 中国民族医药发展现状与多元一体化战略对策 ［J］. 中南民族大学学报（自然科学版） ， 2008 ， 27 （ 2 ）： 36 - 39 . DOI： 10.3969/j.issn.1672-4321.2008.02.011 http://dx.doi.org/10.3969/j.issn.1672-4321.2008.02.011 . 中国民族医药发展现状与多元一体化战略对策 HUANG F K . Developmental status of Chinese ethnomedicine and integrative stratagem ［J］. Journal of South-Central University for Nationalities （Natural Science Edition） ， 2008 ， 27 （ 2 ）： 36 - 39 . DOI： 10.3969/j.issn.1672-4321.2008.02.011（Ch http://dx.doi.org/10.3969/j.issn.1672-4321.2008.02.011（Ch ）. Developmental status of Chinese ethnomedicine and integrative stratagem 诸国本 . 中国传统医学与西方替代医学的选择 ［J］. 世界科学技术-中药现代化 ， 2001 ， 3 （ 5 ）： 58 - 62 . DOI： 10.3969/j.issn.1674-3849.2001.05.015 http://dx.doi.org/10.3969/j.issn.1674-3849.2001.05.015 . 中国传统医学与西方替代医学的选择 ZHU G B . Selection between Chinese traditional medicine and western alternative medicine ［J］. World Science and Technology-Modernization of Traditional Chinese Medicine ， 2001 ， 3 （ 5 ）： 58 - 62 . DOI： 10.3969/j.issn.1674-3849.2001.05.015（Ch http://dx.doi.org/10.3969/j.issn.1674-3849.2001.05.015（Ch ）. Selection between Chinese traditional medicine and western alternative medicine 朱方 ， 邵蓉 ， 吴幼萍 . 中国民族药产业发展现状及策略研究 ［J］. 现代商贸工业 ， 2013 ， 25 （ 10 ）： 4 - 5 . DOI： 10.3969/j.issn.1672-3198.2013.10.002 http://dx.doi.org/10.3969/j.issn.1672-3198.2013.10.002 . 中国民族药产业发展现状及策略研究 ZHU F ， SHAO R ， WU Y P . Industry development status and strategies of Chinese Ethnic Medicine ［J］. Modern Business Trade Industry ， 2013 ， 25 （ 10 ）： 4 - 5 . DOI： 10.3969/j.issn.1672-3198.2013.10.002（Ch http://dx.doi.org/10.3969/j.issn.1672-3198.2013.10.002（Ch ）. Industry development status and strategies of Chinese Ethnic Medicine AMIT S . Introducing the Knowledge Graph ［EB/OL］. ［ 2012-05-16 ］. https：//www.blog.google/products/search/introducing-knowledge-graph-things-not/ https://www.blog.google/products/search/introducing-knowledge-graph-things-not/ . Introducing the Knowledge Graph 于彤 ， 李敬华 ， 于琦 ， 等 . 中医养生知识图谱的构建与应用 ［J］. 中国数字医学 ， 2017 ， 12 （ 12 ）： 64 - 66 . DOI： 10.3969/j.issn.1673-7571.2017.12.020 http://dx.doi.org/10.3969/j.issn.1673-7571.2017.12.020 . 中医养生知识图谱的构建与应用 YU T ， LI J H ， YU Q ， et al . The construction and application of knowledge mapping of health preservation of traditional Chinese medicine ［J］. China Digital Medicine ， 2017 ， 12 （ 12 ）： 64 - 66 . DOI： 10.3969/j.issn.1673-7571.2017.12.020（Ch http://dx.doi.org/10.3969/j.issn.1673-7571.2017.12.020（Ch ）. The construction and application of knowledge mapping of health preservation of traditional Chinese medicine 黄魏龙 . 基于深度学习的医药知识图谱问答系统构建研究 ［D］. 武汉 ： 华中科技大学 ， 2019 . DOI: 10.21661/r-497961 http://dx.doi.org/10.21661/r-497961 . 基于深度学习的医药知识图谱问答系统构建研究 HUANG W L . Research on the Construction of Medical Knowledge Graph QA System Based on Deep Learning ［D］. Wuhan ： Huazhong University of Science & Technology ， 2019 （Ch） . DOI: 10.21661/r-497961 http://dx.doi.org/10.21661/r-497961 . Research on the Construction of Medical Knowledge Graph QA System Based on Deep Learning 阮彤 ， 孙程琳 ， 王昊奋 ， 等 . 中医药知识图谱构建与应用 ［J］. 医学信息学杂志 ， 2016 ， 37 （ 4 ）： 8 - 13 . DOI： 10.3969/j.issn.1673-6036.2016.04.002 http://dx.doi.org/10.3969/j.issn.1673-6036.2016.04.002 . 中医药知识图谱构建与应用 RUAN T ， SUN C L ， WANG H F ， et al . Construction of traditional Chinese medicine knowledge graph and its application ［J］. Journal of Medical Intelligence ， 2016 ， 37 （ 4 ）： 8 - 13 . DOI： 10.3969/j.issn.1673-6036.2016.04.002（Ch http://dx.doi.org/10.3969/j.issn.1673-6036.2016.04.002（Ch ）. Construction of traditional Chinese medicine knowledge graph and its application 曹皓伟 ， 徐建良 ， 窦方坤 . 基于Neo4j生物医药知识图谱的构建 ［J］. 计算机时代 ， 2020 （ 6 ）： 35 - 38 . DOI： 10.16644/j.cnki.cn33-1094/tp.2020.06.010 http://dx.doi.org/10.16644/j.cnki.cn33-1094/tp.2020.06.010 . 基于Neo4j生物医药知识图谱的构建 CAO H W ， XU J L ， DOU F K . Building biomedical knowledge graph with Neo4j database ［J］. Computer Era ， 2020 （ 6 ）： 35 - 38 . DOI： 10.16644/j.cnki.cn33-1094/tp.2020.06.010（Ch http://dx.doi.org/10.16644/j.cnki.cn33-1094/tp.2020.06.010（Ch ）. Building biomedical knowledge graph with Neo4j database 付洋 ， 刘茂福 ， 乔瑞 . 心脏病中文知识图谱的构建 ［J］. 武汉大学学报（理学版） ， 2020 ， 66 （ 3 ）： 261 - 267 . DOI： 10.14188/j.1671-8836.2018.0217 http://dx.doi.org/10.14188/j.1671-8836.2018.0217 . 心脏病中文知识图谱的构建 FU Y ， LIU M F ， QIAO R . Construction of Chinese knowledge graph of heart disease ［J］. Journal of Wuhan University（Natural Science Edition） ， 2020 ， 66 （ 3 ）： 261 - 267 . DOI： 10.14188/j.1671-8836.2018.0217（Ch http://dx.doi.org/10.14188/j.1671-8836.2018.0217（Ch ）. Construction of Chinese knowledge graph of heart disease 昝红英 ， 韩杨超 ， 范亚鑫 ， 等 . 中文症状知识库的建立与分析 ［J］. 中文信息学报 ， 2020 ， 34 （ 4 ）： 30 - 37 . DOI： 10.3969/j.issn.1003-0077.2020.04.004 http://dx.doi.org/10.3969/j.issn.1003-0077.2020.04.004 . 中文症状知识库的建立与分析 ZAN H Y ， HAN Y C ， FAN Y X ， et al . Construction and analysis of symptom knowledge base in Chinese ［J］. Journal of Chinese Information Processing ， 2020 ， 34 （ 4 ）： 30 - 37 . DOI： 10.3969/j.issn.1003-0077.2020.04.004（Ch http://dx.doi.org/10.3969/j.issn.1003-0077.2020.04.004（Ch ）. Construction and analysis of symptom knowledge base in Chinese 谢刚 ， 吴高巍 ， 任俊宏 ， 等 . 面向患者的智能医生框架研究 ［J］. 计算机科学与探索 ， 2018 ， 12 （ 9 ）： 1475 - 1486 . DOI： 10.3778/j.issn.1673-9418.1806024 http://dx.doi.org/10.3778/j.issn.1673-9418.1806024 . 面向患者的智能医生框架研究 XIE G ， WU G W ， REN J H ， et al . Research on intelligent doctor framework for patient ［J］. Journal of Frontiers of Computer Science and Technology ， 2018 ， 12 （ 9 ）： 1475 - 1486 . DOI： 10.3778/j.issn.1673-9418.1806024（Ch http://dx.doi.org/10.3778/j.issn.1673-9418.1806024（Ch ）. Research on intelligent doctor framework for patient 张梅 ， 陈鸰 ， 王飞跃 ， 等 . 平行胃肠：基于ACP的智能胃肠疾病诊疗 ［J］. 模式识别与人工智能 ， 2019 ， 32 （ 12 ）： 1061 - 1071 . DOI： 10.16451/j.cnki.issn1003-6059.201912001 http://dx.doi.org/10.16451/j.cnki.issn1003-6059.201912001 . 平行胃肠：基于ACP的智能胃肠疾病诊疗 ZHANG M ， CHEN L ， WANG F Y ， et al . Parallel gastrointestine：An ACP-based approach for intelligent operations ［J］. Pattern Recognition and Artificial Intelligence ， 2019 ， 32 （ 12 ）： 1061 - 1071 . DOI： 10.16451/j.cnki.issn1003-6059.201912001（Ch http://dx.doi.org/10.16451/j.cnki.issn1003-6059.201912001（Ch ）. Parallel gastrointestine：An ACP-based approach for intelligent operations 桑盛田 ， 杨志豪 ， 刘晓霞 ， 等 . 融合知识图谱与深度学习的药物发现方法 ［J］. 模式识别与人工智能 ， 2018 ， 31 （ 12 ）： 1103 - 1110 . DOI： 10.16451 /j.cnki.issn1003-6059.201812005 http://dx.doi.org/10.16451/j.cnki.issn1003-6059.201812005 . 融合知识图谱与深度学习的药物发现方法 SANG S T ， YANG Z H ， LIU X X ， et al . A method combining knowledge graph and deep learning for drug discovery ［J］. Pattern Recognition and Artificial Intelligence ， 2018 ， 31 （ 12 ）： 1103 - 1110 . DOI ： 10.16451 /j.cnki.issn1003-6059.201812005（Ch http://dx.doi.org/10.16451/j.cnki.issn1003-6059.201812005（Ch ）. A method combining knowledge graph and deep learning for drug discovery STRICKLAND E . IBM Watson， heal thyself： How IBM overpromised and under delivered on AI health care ［J］. IEEE Spectrum ， 2019 ， 56 （ 4 ）： 24 - 31 . DOI： 10.1109/MSPEC.2019.8678513 http://dx.doi.org/10.1109/MSPEC.2019.8678513 . IBM Watson， heal thyself： How IBM overpromised and under delivered on AI health care 张晨童 ， 张佳影 ， 张知行 ， 等 . 融合常用语的大规模疾病术语图谱构建 ［J］. 计算机研究与发展 ， 2020 ， 57 （ 11 ）： 2467 - 2477 . DOI ： 10.7544/issn1000-1239.2020.20190747 http://dx.doi.org/10.7544/issn1000-1239.2020.20190747 . 融合常用语的大规模疾病术语图谱构建 ZHANG C T ， ZHANG J Y ， ＺHANG Z X ， et al . Construction of large-scale disease terminology graph with common terms ［J］. Journal of Computer Research and Development ， 2020 ， 57 （ 11 ）： 2467 - 2477 . DOI： 10.7544/issn1000-1239.2020.20190747（Ch http://dx.doi.org/10.7544/issn1000-1239.2020.20190747（Ch ）. Construction of large-scale disease terminology graph with common terms 贾敏如 ， 张艺 ， 严铸云 ， 等 . 中国民族药的品种和使用现状 ［J］. 世界科学技术： 中医药现代化 ， 2015 （ 7 ）： 1546 - 1550 . DOI： 10.11842/wst.2015.07.035 http://dx.doi.org/10.11842/wst.2015.07.035 . 中国民族药的品种和使用现状 JIA M R ， ZHANG Y ， YAN Z Y ， et al . Species and use of current chinese minority medicine ［J］. World Science and Technology-Modernization of Traditional Chinese Medicine and Materia Medica ， 2015 （ 7 ）： 1546 - 1550 . DOI ： 10.11842/wst.2015.07.035 （Ch http://dx.doi.org/10.11842/wst.2015.07.035（Ch ）. Species and use of current chinese minority medicine 彭春艳 ， 张晖 ， 包玲玉 ， 等 . 基于条件随机域的生物命名实体识别 ［J］. 计算机工程 ， 2009 ， 35 （ 22 ）： 197 - 199 . DOI： 10.3969/j.issn.1000-3428.2009.22.067 http://dx.doi.org/10.3969/j.issn.1000-3428.2009.22.067 . 基于条件随机域的生物命名实体识别 PENG C Y ， ZHANG H ， BAO L Y ， et al . Biological named entity recognition based on conditional random fields ［J］. Computer Engineering ， 2009 ， 35 （ 22 ）： 197 - 199 . DOI： 10.3969/j.issn.1000-3428.2009.22.067（Ch http://dx.doi.org/10.3969/j.issn.1000-3428.2009.22.067（Ch ）. Biological named entity recognition based on conditional random fields LAMPLE G ， BALLESTEROS M ， SUBRAMANIAN S ， et al . Neural architectures for named entity recognition ［C］// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies . San Diego ： Association for Computational Linguistics ， 2016 ： 260 – 270 . DOI： 10.18653/v1/N16-1030 http://dx.doi.org/10.18653/v1/N16-1030 . Neural architectures for named entity recognition CHIU J P C ， NICHOLS E . Named entity recognition with bidirectional LSTM-CNNs ［J］. Transactions of the Association for Computational Linguistics ， 2016 ， 4 ： 357 - 370 . DOI： 10.1162/tacl_a_00104 http://dx.doi.org/10.1162/tacl_a_00104 . Named entity recognition with bidirectional LSTM-CNNs 李丽双 ， 郭元凯 . 基于 CNN-BLSTM-CRF 模型的生物医学命名实体识别 ［J］. 中文信息学报 ， 2018 ， 32 （ 1 ）： 116 - 122 . DOI： 10.3969/j.issn.1003-0077.2018.01.015 http://dx.doi.org/10.3969/j.issn.1003-0077.2018.01.015 . 基于 CNN-BLSTM-CRF 模型的生物医学命名实体识别 LI L S ， GUO Y K . Biomedical named entity recognition with CNN-BLSTM-CRF ［J］. Journal of Chinese Information Processing ， 2018 ， 32 （ 1 ）： 116 - 122 . DOI： 10.3969/j.issn.1003-0077.2018.01.015（Ch http://dx.doi.org/10.3969/j.issn.1003-0077.2018.01.015（Ch ）. Biomedical named entity recognition with CNN-BLSTM-CRF MINTZ M ， BILLS S ， SNOW R ， et al . Distant Supervision for Relation Extraction without Labeled Data ［DB/OL］ .［ 2020-10-12 ］. http：//citeseerx.ist.psu.edu/viewdoc/download http://citeseerx.ist.psu.edu/viewdoc/download ；jsessionid=D9E667ECBF 5 D 1 A1D 5 C 853026 BB9E56F7？doi=10.1.1.148.3346 & rep=rep1 & type=pdf. DOI： 10.3115/1690219.1690287 http://dx.doi.org/10.3115/1690219.1690287 . Distant Supervision for Relation Extraction without Labeled Data 余小康 ， 陈岭 ， 郭敬 ， 等 . 结合从句级远程监督与半监督集成学习的关系抽取方法 ［J］. 模式识别与人工智能 ， 2017 ， 30 （ 1 ）： 54 - 63 . DOI： 10.16451 /j.cnki.issn1003-6059.201701006 http://dx.doi.org/10.16451/j.cnki.issn1003-6059.201701006 . 结合从句级远程监督与半监督集成学习的关系抽取方法 YU X K ， CHEN L ， GUO J ， et al . Relation extraction method combining clause level distant supervision and semi-supervised ensemble learning ［J］. Pattern Recognition and Artificial Intelligence ， 2017 ， 30 （ 1 ）： 54 - 63 . DOI ： 10.16451 /j.cnki.issn1003-6059.201701006 （Ch http://dx.doi.org/10.16451/j.cnki.issn1003-6059.201701006（Ch ）. Relation extraction method combining clause level distant supervision and semi-supervised ensemble learning 鄂海红 ， 张文静 ， 肖思琪 ， 等 . 深度学习实体关系抽取研究综述 ［J］. 软件学报 ， 2019 ， 30 （ 6 ）： 1793 - 1818 . DOI： 10.13328/j.cnki.jos.005817 http://dx.doi.org/10.13328/j.cnki.jos.005817 . 深度学习实体关系抽取研究综述 E H H ， ZHANG W J ， XIAO S Q ， et al . Survey of entity relationship extraction based on deep learning ［J］. Journal of Software ， 2019 ， 30 （ 6 ）： 1793 - 1818 . DOI： 10.13328/j.cnki.jos.005817（Ch http://dx.doi.org/10.13328/j.cnki.jos.005817（Ch ）. Survey of entity relationship extraction based on deep learning WANG Q ， WANG T ， XU C . Using a knowledge graph for hypernymy detection between Chinese symptoms ［C］// 2018 Tenth International Conference on Advanced Computational Intelligence （ICACI） . New York ： IEEE Press ， 2018 ： 300 - 307 . DOI: 10.1109/icaci.2018.8377528 http://dx.doi.org/10.1109/icaci.2018.8377528 . Using a knowledge graph for hypernymy detection between Chinese symptoms 刘苏文 ， 邵一帆 ， 钱龙华 . 基于联合学习的生物医学因果关系抽取 ［J］. 中文信息学报 ， 2020 ， 34 （ 4 ）： 60 - 68 . DOI： 10.3969/j.issn.1003-0077.2020.04.008 http://dx.doi.org/10.3969/j.issn.1003-0077.2020.04.008 . 基于联合学习的生物医学因果关系抽取 LIU S W ， SHAO Y F ， QIAN L H . Biomedical causality relation extraction based on joint learning ［J］. Journal of Chinese Information Processing ， 2020 ， 34 （ 4 ）： 60 - 68 . DOI： 10.3969/j.issn.1003-0077.2020.04.008（Ch http://dx.doi.org/10.3969/j.issn.1003-0077.2020.04.008（Ch ）. Biomedical causality relation extraction based on joint learning DEVLIN J ， CHANG M W ， LEE K ， et al . Bert： Pre-training of deep bidirectional transformers for language understanding ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies ， Volume 1 （Long and Short Papers） . Minneapolis： Association for Computational Linguistics ，2019： 4171 - 4186 . DOI： 10.18653/v1/N19-1423 http://dx.doi.org/10.18653/v1/N19-1423 . Bert： Pre-training of deep bidirectional transformers for language understanding SOUZA F ， NOGUEIRA R ， LOTUFO R . Portuguese Named Entity Recognition Using BERT-CRF ［DB/OL］.［ 2020-09-12 ］. https：//arxiv.org/pdf/1909.10649.pdf https://arxiv.org/pdf/1909.10649.pdf . Portuguese Named Entity Recognition Using BERT-CRF ZHANG W T ， JIANG S H ， ZHAO S ， et al . A BERT-BiLSTM-CRF model for Chinese electronic medical records named entity recognition ［C］// 2019 12th International Conference on Intelligent Computation Technology and Automation （ICICTA） . Piscataway ： IEEE ， 2019 ： 166 - 169 . DOI： 10.1109/ICICTA49267.2019.00043 http://dx.doi.org/10.1109/ICICTA49267.2019.00043 . A BERT-BiLSTM-CRF model for Chinese electronic medical records named entity recognition STRAKOVÁ J ， STRAKA M ， HAJIČ J . Neural architectures for nested NER through linearization ［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics . Florence ： Association for Computational Linguistics ， 2019 ： 5326 - 5331 . DOI: 10.18653/v1/p19-1527 http://dx.doi.org/10.18653/v1/p19-1527 . Neural architectures for nested NER through linearization CHEN C C ， CHEN K ， HSU C Y ， et al . Developing guideline-based decision support systems using Protégé and Jess ［J］. Computer Methods and Programs in Biomedicine ， 2011 ， 102 （ 3 ）： 288 - 294 . DOI： 10.1016/j.cmpb.2010.05.010 http://dx.doi.org/10.1016/j.cmpb.2010.05.010 . Developing guideline-based decision support systems using Protégé and Jess KNUBLAUCH H ， FERGERSON R W ， NOY N F ， et al . The Protégé OWL plugin： An open development environment for semantic web applications ［C］// International Semantic Web Conference . Berlin ： Springer ， 2004 ： 229 - 243 . DOI： 10.1007/978-3-540-30475-3_17 http://dx.doi.org/10.1007/978-3-540-30475-3_17 . The Protégé OWL plugin： An open development environment for semantic web applications VUKOTIC A ， WATT N ， ABEDRABBO T ， et al . Neo4j in Action ［M］. Shelter Island ： Manning Publications Co ， 2014 ： 52 - 148 . Neo4j in Action 10.14188/j.1671-8836.2020.0225 TP391.1 A 1671-8836（2021）05-0393-10 ZHENG Guangmin，YI Tianyuan，TANG Dongxin， et al .The Chinese Ethnic Medicine Knowledge Extraction Based on BERT-BiLSTM-CRF Model ［J］. J Wuhan Univ （ Nat Sci Ed ），2021，67（5）：393-402. DOI： 10.14188/j.1671-8836.2020.0225（Ch http://dx.doi.org/10.14188/j.1671-8836.2020.0225(Ch ）. ZHENG Guangmin，YI Tianyuan，TANG Dongxin，et al.The Chinese Ethnic Medicine Knowledge Extraction Based on BERT-BiLSTM-CRF Model ［J］.J Wuhan Univ（Nat Sci Ed），2021，67（5）：393-402. DOI：10.14188/j.1671-8836.2020.0225（Ch）. 郑光敏,易天源,唐东昕, 等.基于BERT-BiLSTM-CRF模型的中国民族药知识抽取[J].武汉大学学报（理学版）,2021,67(5):393-402. DOI:10.14188/j.1671-8836.2020.0225 郑光敏,易天源,唐东昕, 等.基于BERT-BiLSTM-CRF模型的中国民族药知识抽取[J].武汉大学学报（理学版）,2021,67(5):393-402. DOI:10.14188/j.1671-8836.2020.0225 国家重点研发计划（2019YFC1712500） 2020-09-25 2021-10-24 2021-10-12 武汉大学学报（理学版） 5 67