基于二阶段迭代的非负矩阵分解的分类模型

基于二阶段迭代的非负矩阵分解的分类模型 2-STGNMF: Supervised 2-Stage Iterative Nonnegative Matrix Factorization Model for General Classification 1 first-author 全 聪，男，博士生，现从事自然语言处理研究。E-mail：quancong@whu.edu.cn 全 聪，男，博士生，现从事自然语言处理研究。E-mail：quancong@whu.edu.cn quancong@whu.edu.cn 2 1 3 corresp E-mail: wu@whu.edu.cn E-mail: wu@whu.edu.cn wu@whu.edu.cn 武汉大学 计算机学院，湖北 武汉 430072 武汉大学 计算机学院，湖北 武汉 430072 School of Computer Science, Wuhan University, Wuhan 430072, Hubei, China School of Computer Science, Wuhan University, Wuhan 430072, Hubei, China 武汉大学 国家网络安全学院，湖北 武汉 430070 武汉大学 国家网络安全学院，湖北 武汉 430070 School of Cyber Science and Engineering, Wuhan University, Wuhan 430070, Hubei, China School of Cyber Science and Engineering, Wuhan University, Wuhan 430070, Hubei, China 武汉大学 深圳研究院，广东 深圳 518057 武汉大学 深圳研究院，广东 深圳 518057 Shenzhen Research Institute, Wuhan University, Shenzhen 518057, Guangdong, China Shenzhen Research Institute, Wuhan University, Shenzhen 518057, Guangdong, China 为了有效地结合标签信息与非负矩阵分解技术，提升现有的非负矩阵分解算法划分数据的性能，提出一种用于分类问题的基于二阶段迭代的非负矩阵分解模型（2-stage iterative nonnegative matrix factorization model，2-STGINMF），在阶段1，基于训练样本之间的关系和标签信息，用非负矩阵分解技术学习训练样本的置信度分布矩阵。在阶段2，根据训练样本的置信度分布矩阵，基于训练样本和测试样本之间的关系以及测试样本内部的关系，学习测试样本关于不同类别的置信度分布矩阵。此外，提出了一种迭代式训练机制解决标签稀疏性的问题。实验结果表明，与当前的一些机器学习方法和矩阵分解方法相比，本文提出的2-STGINMF模型在不同类型的数据分类问题上都达到了最优的性能且在训练样本较少时也能获得较好的分类结果。 In this paper, we propose a supervised 2-stage iterative nonnegative matrix factorization model for general classification (2-STGINMF), which aims to effectively incorporate the label information into non-negative matrix factorization to further enhance the performance of nonnegative matrix factorization on data division. At stage one,based on the relations within training samples and the label information， we learn the confidence distribution matrix by non-negative matrix factorization. At stage two, based on the relations between test and training samples and the relationship within the test sample， we learn the confidence distribution of test samples towards different classes. In addition, we propose an iterative training mode to alleviate the scarcity of labeled data. The experimental results show that compared with existing machine learning methods and matrix decomposition methods, the proposed 2-STGINMF model achieves the optimal performance in different datasets，and superior classification performance especially when the training data is small. 监督学习 分类 非负矩阵分解 supervised learning classification nonnegative matrix factorization 0　 引 言 1 非负矩阵分解 (nonnegative matrix factorization, NMF) [ 1 1 ] 技术为非负矩阵的低秩逼近问题提供了有效的解决方法。与其他的机器学习技术和深度学习技术相比，非负矩阵分解技术在保证模型性能的同时，为模型的结果提供可解释性，所以其被广泛应用于各种研究领域，例如：人脸识别 [ 2 2 , 3 3 , 4 4 ] ，主题发现 [ 5 5 , 6 6 , 7 7 ] 和降维 [ 8 8 , 9 9 , 10 10 ] 等。通过对数据内部结构的建模，非负矩阵分解模型能很好地学习到数据分布的特征表示，所以它在数据聚类和分类任务上都有着很好的表现。目前，大多数基于非负矩阵分解的方法都是通过对样本-特征矩阵（sample-feature matrix）进行分解，然后利用分解后得到的样本表示向量，结合现有的聚类方法或分类方法来完成对数据的划分。虽然此类方法 [ 11 11 , 12 12 , 13 13 ] 相比于其他机器学习的方法，在聚类和分类任务上取得了一定得提升，但是它们无法很好地把数据的标签信息融合进非负矩阵分解的过程中，从而导致了信息损失问题和性能下降问题。如何高效地利用标签信息，提高非负矩阵分解技术划分数据的性能，逐渐成为研究者们关注的重点之一。 近年来，随着在线社交平台的发展，相关社交数据的标签信息不断累积，例如：微博上的用户标签和脸书上的地理位置标签等，为研究基于监督性的非负矩阵分解技术提供了可靠的标签信息来源。Choo等 [ 11 11 ] 通过为对称的非负矩阵引入先验信息（prior information），使之作为弱监督约束来改善聚类的效果并同时为聚类结果提供可解释性。Chen等 [ 12 12 ] 通过引入领域知识（domain knowledge），提出了适用于半监督聚类问题 [ 13 13 ] 的非负矩阵分解模型。实验结果证明，引入监督性信息能改善非负矩阵分解在聚类问题上的性能。与以上基于弱监督的聚类模型不同，本文利用对称非负矩阵的结构和监督信息，提出一个基于2阶段迭代的非负矩阵分解的分类模型（2-STGINMF）。 传统的用于分类的非负矩阵分解方法，包括Huh等 [ 14 14 ] 和Lee等 [ 15 15 ] ，主要用来对数据样本进行特征提取，然后通过结合提取到的特征表达和现有的分类技术得到每个样本最终的分类结果。Su等 [ 16 16 ] 利用非负矩阵分解技术学习关于生物信息的表示向量，然后利用前人提出的关于生物信息的分类算法对提取到的向量进行分类。此类模式使现有基于矩阵分解模型的分类结果依赖于模型最终选取的分类技术，而不是模型对样本表达的学习能力。为了解决这一问题，2-STGINMF分类模型被设计为直接得到最终的分类结果，而不需要借助其他的分类技术。此外，传统的监督性非负矩阵分解方法通过对数据矩阵（data matrix）和标签矩阵（label matrix）同时进行分解，旨在将监督性信息引入样本的特征表达中。此类做法容易导致两种矩阵在矩阵重构（matrix reconstruction）过程中相互错误累加，并因此对特征表达的学习效果造成负面的影响。 在本文中，2-STGINMF模型直接把标签信息引入数据关系表达矩阵中，避免了同时对两个矩阵进行分解所产生的错误累加的问题。2-STGINMF模型首先根据训练样本之间的关系和标签信息，学习到每个训练样本对每个类别的置信度分布表达。然后根据学习到的训练样本的表达，基于训练样本和测试样本之间的关系以及测试样本内部的关系，学习测试样本的特征表达。最后，该模型通过迭代的模式把具有高置信分类结果的测试样本放进训练集，旨在解决标签数据稀疏性的问题。 1　 2-STGINMF 1 1.1　模型概述 2 一般说来，同一类别的样本之间具有更强的样本关联性，即属于同一个类别的样本往往具有较高的相似度。所以，可以合理地假设：样本之间相似度越高，它们属于同一个类别的概率就越大。 基于这一假设，2-STGINMF分类模型通过对样本间的相似度矩阵进行低秩逼近，学习样本对不同类别的置信度的分布表达。与同时学习训练样本表达和测试样本表达的传统非负矩阵分解模型不同，2-STGINMF模型把样本的表达学习解耦为两个阶段。阶段1主要是通过对训练样本的相似度矩阵 S 进行分解，通过对矩阵 S 的重构过程学习训练样本的置信度分布矩阵（confidence distribution matrix） V 。在阶段2，根据样本关系矩阵 P 和 S 以及阶段1学习到的矩阵 V ，学习测试样本关于不同类别的置信度分布矩阵 U 。最终，模型将置信度最大的类别视为当前样本所属的类别标签。为了解决标签稀疏性的问题，本文还提出了一种迭代式训练机制，旨在进一步改善模型关于分类任务的性能。 2-STGINMF的优化流程如 图1 图1 所示。 1.2　阶段1：学习训练样本置信度分布矩阵 V 2 在阶段1，我们首先通过引入标签信息构建训练样本间的相似度矩阵 <math id="M1"><mi mathvariant="bold-italic">S</mi><mo>∈</mo><msubsup><mrow><mi mathvariant="normal">R</mi></mrow><mrow><mo>+</mo></mrow><mrow><mi>n</mi><mo>×</mo><mi>n</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416385&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416384&type= 13.37733269 4.23333359 ，具体定义如下 <math display="block" id="M2"><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo><mtext>  </mtext><mi mathvariant="normal">i</mi><mi mathvariant="normal">f</mi><mtext> </mtext><mi>C</mi><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mi>C</mi><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mi>a</mi><mo>·</mo><mi mathvariant="normal">S</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><mtext>  </mtext><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">w</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416387&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416386&type= 46.82066727 9.99066734 如果两个样本有相同的标签，那么它们的相似度被直接设置为1。 <math id="M3"><mi mathvariant="normal">S</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416389&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416388&type= 17.10266685 4.48733330 表示样本 i 和样本 j 之间的相似度。参数 <math id="M4"><mi>a</mi><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">0,1</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416391&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416390&type= 14.47799969 3.55599999 ，用于控制来自不同类别的相似样本之间相互的作用。 为了让模型可以不需借助其他分类工具，直接得到分类结果，2-STGINMF模型对矩阵 V 中每个样本 i 对应的置信度分布表示 <math id="M5"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416393&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416392&type= 2.79399991 3.72533321 进行调整，让它每一维的列下标都和一个类别相对应。另外，为了对训练样本的分布表示引入监督信息，同时加快对矩阵 V 的学习过程，在对矩阵 V 进行参数初始化时，每个样本 i 对应的正确类别 c 的置信度 <math id="M6"><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416395&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416394&type= 3.38666677 3.72533321 会被设置为对应行向量 <math id="M7"><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416397&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416396&type= 2.79399991 3.72533321 所有维度中的最大值。完成对矩阵 V 的初始化后，更新 V 的目标函数如下 <math display="block" id="M8"><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi mathvariant="bold-italic">V</mi></mrow></munder><mtext> </mtext><mo stretchy="false">(</mo><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi mathvariant="bold-italic">S</mi><mo>-</mo><mi mathvariant="bold-italic">V</mi><msup><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></mrow></mfenced></mrow><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>-</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><munder><mrow><mo movablelimits="false">∑</mo></mrow><mrow><mi>i</mi></mrow></munder><msub><mrow><mi>v</mi></mrow><mrow><mi>i</mi><mi>c</mi></mrow></msub><mo>+</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416399&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416398&type= 51.13866806 7.28133297 <math display="block" id="M9"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mover><mrow><munder><mrow><mo movablelimits="false">∑</mo></mrow><mrow><mi>i</mi></mrow></munder></mrow><mrow><mi>m</mi></mrow></mover><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">v</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><mtext> </mtext><mi mathvariant="normal">s</mi><mo>.</mo><mi mathvariant="normal">t</mi><mo>.</mo><mtext> </mtext><mi mathvariant="bold-italic">V</mi><mo>∈</mo><msubsup><mrow><mi mathvariant="normal">R</mi></mrow><mrow><mo>+</mo></mrow><mrow><mi>m</mi><mo>×</mo><mi>k</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416401&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416400&type= 40.21666718 8.38199997 其中，（2）式的第一部分代表对相似度矩阵 S 的重构,（2）式的第二部分用来锚定每个样本对应正确类别的置信度的值, <math id="M10"><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi mathvariant="bold-italic">V</mi></mrow></munder></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416403&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416402&type= 6.09599972 4.65666676 表示对目标函数最小化，并返回最终的矩阵 V ,最后一部分对矩阵 V 起到一个正则化的作用; <math id="M11"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416405&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416404&type= 2.87866688 3.72533321 和 <math id="M12"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416407&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416406&type= 2.87866688 3.72533321 分别用于控制（2）式中第二项和第三项目标，通常的取值区间为 <math id="M13"><mo stretchy="false">[</mo><mn mathvariant="normal">0,1</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416409&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416408&type= 8.97466660 3.55599999 ; <math id="M14"><mo>|</mo><mo>|</mo><mi mathvariant="bold-italic">*</mi><mo>|</mo><msub><mrow><mo>|</mo></mrow><mrow><mi mathvariant="bold-italic">F</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416411&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416410&type= 6.18066692 4.40266657 表示矩阵的Frobenius-范数， <math id="M15"><mo>|</mo><mo>|</mo><mi mathvariant="bold-italic">*</mi><mo>|</mo><msub><mrow><mo>|</mo></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416413&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416412&type= 5.75733376 4.40266657 表示向量的1-范数。 1.3　阶段2：学习测试样本置信度分布矩阵 U 2 在学习到较好的训练样本对不同类别的置信度分布矩阵 V 后，在阶段2，2-STGINMF模型通过对训练样本的表达、训练样本和测试样本间的关系以及测试样本内部的关系来学习测试样本对不同类别的置信度分布矩阵 U 。目标函数为 <math display="block" id="M16"><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi mathvariant="bold-italic">U</mi></mrow></munder><mtext> </mtext><mo stretchy="false">(</mo><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi mathvariant="bold-italic">P</mi><mo>-</mo><mi mathvariant="bold-italic">U</mi><msup><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></mrow></mfenced></mrow><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msubsup><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi mathvariant="bold-italic">W</mi><mo>-</mo><mi mathvariant="bold-italic">U</mi><msup><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup></mrow></mfenced></mrow><mrow><mi>F</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mover><mrow><munder><mrow><mo movablelimits="false">∑</mo></mrow><mrow><mi>i</mi></mrow></munder></mrow><mrow><mi>n</mi></mrow></mover><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><mtext> </mtext><mi mathvariant="normal">s</mi><mo>.</mo><mi mathvariant="normal">t</mi><mo>.</mo><mtext> </mtext><mi mathvariant="bold-italic">U</mi><mo>∈</mo><msubsup><mrow><mi mathvariant="normal">R</mi></mrow><mrow><mo>+</mo></mrow><mrow><mi mathvariant="bold-italic">n</mi><mo>×</mo><mi>k</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416415&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416414&type= 61.80666733 16.00200081 其中，矩阵 <math id="M17"><mi mathvariant="bold-italic">P</mi><mo>∈</mo><msubsup><mrow><mi mathvariant="normal">R</mi></mrow><mrow><mo>+</mo></mrow><mrow><mi>n</mi><mo>×</mo><mi>m</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416417&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416416&type= 14.22399998 4.23333359 表示测试样本和训练样本的相似度矩阵，矩阵 <math id="M18"><mi mathvariant="bold-italic">W</mi><mo>∈</mo><msubsup><mrow><mi mathvariant="normal">R</mi></mrow><mrow><mo>+</mo></mrow><mrow><mi>m</mi><mo>×</mo><mi>m</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416419&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416418&type= 16.25600052 4.23333359 表示测试样本之间的相似度矩阵。 由前文可知，样本的类别是基于样本之间的关系学习所得到的，所以样本间关系的衡量在2-STGINMF中起到关键的作用。本文采用样本间的相似度表示样本间关系，两个样本相似度越高，它们的关系越接近。通常，不同样本之间相似度的取值范围可能存在较大的差异。例如：样本 i 和其最相似的邻居样本之间的相似度是0.8，而样本 j 和其最相似的邻居样本之间的相似度却可能是0.02。相似度取值范围的差异可能导致部分样本（例如样本 j ）之间的关系在学习的过程中被模型所忽略，从而影响模型对全体数据的泛化能力。为了解决样本间相似度取值差异的问题，本文提出利用相对相似度（relative similarity）取代绝对相似度来衡量样本之间的关系，其表达式如下 <math display="block" id="M19"><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi mathvariant="normal">S</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><mi mathvariant="normal">M</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mo>·</mo><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416421&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416420&type= 49.53000259 8.72066689 其中， <math id="M20"><mi mathvariant="normal">M</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">S</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mo>·</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416423&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416422&type= 22.26733398 4.48733330 表示样本 i 与最相似的邻居样本之间的相似度。 2-STGINMF分类模型是基于样本之间的关系和部分已知的样本标签来推导每个样本的所属类别。因此，样本间关系的质量，直接影响模型对样本标签的推导结果。通常情况，样本之间复杂的关系不可避免地存在着噪声，即不是所有样本间的关系都会对分类起到积极的影响，样本间一些异常的噪声关系甚至会对模型的分类性能起着负面的影响。为了在保留样本间有价值关系的同时过滤噪声关系对模型性能的影响，本文在构建样本间的关系矩阵时，仅保留样本间top- N 的相似度。对于非对称矩阵 P 里的每个代表样本间相似度的单元 <math id="M21"><msub><mrow><mi>p</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416425&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416424&type= 3.13266659 4.57200003 ，2-STGINMF仅保留同时大于行向量 <math id="M22"><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416427&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416426&type= 2.70933342 4.57200003 和列向量 <math id="M23"><msubsup><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416429&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416428&type= 3.55599999 4.82599974 的第 N 个最大值的单元，其余单元的值均重置为0，这一操作被称为Dual⁃Sparse operation [ 17 17 ] 。对于对称矩阵 W 里的每个单元 <math id="M24"><msub><mrow><mi>w</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416431&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416430&type= 4.23333359 3.72533321 ，2-STGINMF仅保留大于行向量 <math id="M25"><msub><mrow><mi mathvariant="bold-italic">w</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416433&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416432&type= 3.89466667 3.72533321 的第 N 个最大值的单元，其余单元的值均重置为0，这一操作被称为Sparse operation。 1.4　类质量归一化 2 矩阵 U 的每一行 <math id="M26"><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416435&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416434&type= 2.87866688 3.72533321 表示测试样本 i 对 k 个类别的置信度分布，每个向量 <math id="M27"><msub><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416437&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416436&type= 2.87866688 3.72533321 有 k 维。 <math id="M28"><msub><mrow><mi>u</mi></mrow><mrow><mi>i</mi><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416439&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416438&type= 3.47133350 3.72533321 的值越大，表示样本 i 属于类别 k 的概率越大。一般的分类问题经常缺乏对类别之间比重的考虑，所以在面对不均衡分类（unbalance classification）问题时，样本数量占比重较多的大类往往会主导模型关于分类的学习过程，从而导致在总体分类结果上升的同时，各子类分类结果下降的现象。为了应对不均衡分类所面临的问题，2-STGINMF分类模型通过利用Zhu等 [ 18 18 ] 提出的类质量归一化（class mass normalized, CMN）的方法来对学习到的矩阵 U 进行后处理。 首先，把训练集中不同类别之间的样本数量比值作为测试集中不同类别之间样本数量比值的先验知识。然后，令矩阵 U 中每一列的向量和的比值等于训练集中所得到的先验 <math display="block" id="M29"><mi mathvariant="normal">s</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">m</mi><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>:</mo><mo>⋯</mo><mo>:</mo><mi mathvariant="normal">s</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">m</mi><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">u</mi></mrow><mrow><mi>k</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>:</mo><mo>⋯</mo><mo>:</mo><msub><mrow><mi>c</mi></mrow><mrow><mi>k</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416441&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416440&type= 48.85266495 4.65666676 其中， <math id="M30"><msub><mrow><mi>c</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416443&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416442&type= 2.70933342 3.72533321 表示类别1在训练集中的样本数量比值且 <math id="M31"><munder><mrow><mo movablelimits="false">∑</mo></mrow><mrow><mi>k</mi></mrow></munder><msub><mrow><mi>c</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416445&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416444&type= 14.56266594 6.60399961 。 1.5　迭代模式 2 标签数据在分类任务中扮演着十分重要的角色，通常标签越多，分类效果越好。但在现实中，标签数据的数量往往只占全量数据的小部分，这类问题被称为标签数据的稀疏性问题。如前文所述，样本对类别的置信度表示样本属于对应类别的概率，即样本对某一类别的置信度越高，该样本属于当前类别的概率就越大。基于这一假设，本文提出一种迭代模式（iterative mode），用以缓解监督性学习任务中标签数据的稀疏性问题。该模式通过把置信度对于某一类别较高的测试样本当作新的训练样本，来迭代地对矩阵 U 进行学习。 在阶段2中，当每次对矩阵 U 的参数完成更新后，迭代模式会在测试集 <math id="M32"><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416447&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416446&type= 2.28600001 2.79399991 的每个类别中把置信度高于阈值 μ 的测试样本放进训练集 <math id="M33"><mi mathvariant="normal">L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416449&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416448&type= 2.11666679 2.79399991 对应的类别中，当作新的训练样本，并分别更新集合 <math id="M34"><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416451&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416450&type= 2.11666679 2.79399991 和 <math id="M35"><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416453&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416452&type= 2.28600001 2.79399991 。然后，根据更新后的 <math id="M36"><mi mathvariant="normal">L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416455&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416454&type= 2.11666679 2.79399991 和 <math id="M37"><mi mathvariant="normal">T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416457&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416456&type= 2.28600001 2.79399991 ，重新构造矩阵 V , U , P 和 W ，并对 U 进行下一轮的参数学习，直到达到最优的结果为止。 2　 算法优化 1 本文采用交替最小二乘法（alternating least squares, ALS） [ 19 19 ] 对矩阵 V 和矩阵 U 的参数进行学习。 2.1　优化矩阵 V 2 和Yan等人 [ 20 20 ] 的工作一样，在学习矩阵 V 时，将矩阵 V 和 V T 当作两个不同的矩阵，并基于（2）式对它们的参数交替进行更新。 <math display="block" id="M38"><msup><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msup><mtext> </mtext><mo>←</mo><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi mathvariant="bold-italic">V</mi></mrow></munder><mtext> </mtext><mo stretchy="false">(</mo><mo stretchy="false">(</mo><mi mathvariant="bold-italic">S</mi><msup><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></msup><mo>+</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mi mathvariant="bold-italic">L</mi><mo>-</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi>V</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><msup><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo><mi mathvariant="normal">T</mi></mrow></msup><msup><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></msup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><mn mathvariant="normal">0</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416459&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416458&type= 49.69933319 11.09133339 其中， <math id="M39"><msup><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416461&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416460&type= 5.75733376 3.13266659 表示矩阵 V 在第 t 轮迭代的解，矩阵 <math id="M40"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="bold-italic">V</mi></mrow></msub><mo>∈</mo><msubsup><mrow><mi mathvariant="normal">R</mi></mrow><mrow><mo>+</mo></mrow><mrow><mi>m</mi><mo>×</mo><mi>k</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416463&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416462&type= 16.25600052 4.23333359 是一个全1矩阵。矩阵 L 是（2）式中第二部分目标函数的一维倒数，其具体形式如下 <math display="block" id="M41"><msub><mrow><mi mathvariant="bold-italic">L</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo><mtext> </mtext><mi mathvariant="normal">i</mi><mi mathvariant="normal">f</mi><mtext> </mtext><mi>j</mi><mo>=</mo><mi>C</mi><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo><mtext> </mtext><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">h</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">w</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">e</mi><mtext> </mtext></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416465&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416464&type= 31.91933250 9.90599918 2.2　优化矩阵 U 2 矩阵 U 的优化过程与矩阵 V 相似。在完成对矩阵 V 的优化后，根据（3）式对矩阵 U 进行优化，细节如下 <math display="block" id="M42"><msup><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo>+</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msup><mtext> </mtext><mo>←</mo><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>U</mi></mrow></munder><mtext> </mtext><mo stretchy="false">(</mo><mo stretchy="false">(</mo><mi mathvariant="bold-italic">P</mi><mi mathvariant="bold-italic">V</mi><mo>+</mo><mi mathvariant="bold-italic">W</mi><msup><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></msup><mo>-</mo><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="bold-italic">U</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">(</mo><msup><mrow><mi mathvariant="bold-italic">V</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msup><mi mathvariant="bold-italic">V</mi><mo>+</mo><msup><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo><mi mathvariant="normal">T</mi></mrow></msup><msup><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></msup><msup><mrow><mo stretchy="false">)</mo></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>,</mo><mn mathvariant="normal">0</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416467&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416466&type= 74.59133148 10.15999985 其中， <math id="M43"><msup><mrow><mi mathvariant="bold-italic">U</mi></mrow><mrow><mo stretchy="false">(</mo><mi>t</mi><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416469&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416468&type= 5.67266655 3.04799986 表示矩阵 U 在第 t 轮迭代的解，矩阵 <math id="M44"><msub><mrow><mi mathvariant="bold-italic">E</mi></mrow><mrow><mi mathvariant="bold-italic">U</mi></mrow></msub><mo>∈</mo><msubsup><mrow><mi mathvariant="normal">R</mi></mrow><mrow><mo>+</mo></mrow><mrow><mi>n</mi><mo>×</mo><mi>k</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416470&type= 15.66333389 4.23333359 是一个全1矩阵。 3　 实验与分析 1 3.1　数据来源 2 为了验证算法的有效性，本文在三种具有不同属性的数据集上分别作了实验对比。三种数据集分别是：由路透社公开的新闻文本数据集R8 ( http://www.daviddlewis.com/resources/testcollections/reuters21578/ http://www.daviddlewis.com/resources/testcollections/reuters21578/ )、机器学习数据库UCI（ http://archive.ics.uci.edu/ml/datasets/ http://archive.ics.uci.edu/ml/datasets/ ）公开的Iris数据集以及Blood数据集。其中R8是一个类别不平衡的文档数据集。三个数据集的统计信息如 表1 表1 所示。 数据集 训练样本 测试样本 特征 类别 R8 5 487 2 191 8 883 8 Iris 150 104 46 3 Blood 748 537 211 2 3.2　评价指标 2 为了衡量算法的分类性能，本文同时采用精确率（Accuracy， A ）和宏 F 1（marco- F 1，M F 1） [ 21 21 ] 作为分类任务的评价指标。 A 从全局考虑算法对所有样本分类的准确率，M F 1分别计算每个类别的 F 1值然后求平均。一般情况，M F 1是不平衡分类问题最重要的评价指标。 3.3　参数设置 2 对文本数据集R8，本文与大多数文本分类方法一样，采用余弦相似度（cosine similarity） [ 22 22 ] 来衡量样本之间的相似度。计算方法如下 <math display="block" id="M45"><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub><msubsup><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>j</mi></mrow><mrow><mi mathvariant="normal">T</mi></mrow></msubsup></mrow><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416475&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416474&type= 38.09999847 10.92199993 其中， p 为样本的词袋（bag of word）向量表示。 对非文本数据集Iris和Blood，本文沿用Zhu等人提出的方法 [ 18 18 ] ，基于欧氏距离计算样本间的相似度，如下 <math display="block" id="M46"><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">m</mi><mo stretchy="false">(</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>d</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mo>-</mo><mfrac><mrow><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi mathvariant="bold-italic">p</mi></mrow><mrow><mi>j</mi></mrow></msub></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></mrow><mrow><mn mathvariant="normal">20</mn><mi>σ</mi></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416477&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416476&type= 49.10666656 13.37733269 其中，向量 p 为样本对应的特征向量表示。 <math id="M47"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416479&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416478&type= 1.69333339 2.79399991 表示训练集中类别之间的最短距离， <math id="M48"><mn mathvariant="normal">20</mn><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416481&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416480&type= 5.41866684 2.79399991 作为权重，旨在调节数据集Iris和Blood中节点之间关系的取值范围，对节点中的欧氏距离进行合理化的缩放。由（9）式可知，两个节点在空间中的距离越近，它们对应的相似度越高。 在本文中超参数的设置如下： <math id="M49"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416483&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416482&type= 2.87866688 3.72533321 、 <math id="M50"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416485&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416484&type= 2.87866688 3.72533321 和 <math id="M51"><msub><mrow><mi>λ</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416487&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416486&type= 2.87866688 3.72533321 的值分别为0.01，0.5和0.5， a 为0.5。另外，对于R8数据集，矩阵 P 和 W 的Top- N 相似邻居的 N 取值分别为150和100。对于Iris和Blood数据集，矩阵 P 和 W 的Top- N 相似邻居的 N 取值均为30。 3.4　实验结果 2 将2-STGINMF模型与以下一些机器学习方法和矩阵分解方法进行对比：Linear-SVM（support vector machine）模型 [ 23 23 ] 、S-SymNMF（supervised-symmetric nonnegative matrix factorization）模型 [ 24 24 ] 、SSoF（supervised soft-cluster matrix factorization）模型 [ 25 25 ] 、NMFSS（nonnegative matrix factorization for semi-supervised）模型 [ 12 12 ] 、WS-SymNMF（weakly supervised symmetric nonnegative matrix factorization）模型 [ 11 11 ] 、SSNMF-1NN（semi-supervised nonnegative matrix factorization with KNN）模型 [ 13 13 ] 和SSNMF(semi-supervised nonnegative matrix factorization)模型 [ 14 14 ] 。 表2 表2 是2-STGINMF分类模型和各种基线分类模型在三个数据集上关于分类性能上的对比，其中关于 A 和M F 1最优的结果在 表2 表2 中已被加粗。由于部分矩阵分解的方法并没有对不均衡分类问题做特殊处理，所以为了公平对比，对部分矩阵分解的方法，在实验的时候也为他们加上了类质量归一化的操作。从 表2 表2 可以看出：1） 2-STGINMF在三个不同类型的数据集上都取得了最好的分类效果，这说明了2-STGINMF分类模型在分类任务上的高效性；2） 一些矩阵分解的任务虽然在全局准确率上取得了不错的效果，例如：SSoF+CMN和SSNMF等，但他们的宏M F 1的结果却并不理想。相反，2-STGINMF模型分类结果对于 A 和M F 1指标均达到了最好的性能。这一现象说明2-STGINMF模型在保证全局分类效果的同时能较好地兼顾小类别的分类准确度；3) 2-STGINMF分类模型在不均衡数据集R8上分类的准确率和M F 1指标，都比其他基线方法有明显的提升。这说明2-STGINMF能很好地处理数据不均衡的情况；4） 观察在不同数据集上分类性能的对比，2-STGINMF分类模型都能战胜目前最优的矩阵分解方法或传统的机器学习方法，取得很好的分类效果。这也说明了2-STGINMF能更好地把监督信息融入矩阵分解模型中。 2 模型 2 R8 2 Iris 2 Blood A M F 1 A M F 1 A M F 1 Linear-SVM 94.1 84.7 95.6 95.4 79.1 50.1 S-SymNMF+CNM 86.3 48.6 52.2 52.2 78.2 43.9 SSoF+CMN 90.4 60.3 34.8 21.3 78.2 23.5 NMFSS 20.5 67.4 67.4 54.9 77.7 47.8 WS-SymNMF 13.5 9.1 43.5 43.5 54.0 50.0 SSNMF 93.5 84.7 93.4 93.1 78.2 43.9 SSNMF-1NN 38.8 12.9 36.9 21.2 76.3 46.9 2-STGINMF 96.4 91.6 95.6 95.5 81.5 66.2 % 前文提到，为解决训练样本稀疏性的问题，本文提出了基于数据增强原理的迭代模式（iterative mode）来保证2-STGINMF分类模型在训练样本较少时也能获得较好的分类结果。 图2 图2 展示了在R8数据集上，不同算法模型在训练样本数量不一样的情况下，分类性能的区别。 从 图2 图2 可以看出，在不同规模的训练样本下（10%~100%），2-STGINMG分类模型比起其他分类模型都能达到更好的分类性能。当只用少于等于30%的训练样本作为训练集时，2-STGINMF在精确率和M F 1上也能达到不错的效果。并且，训练样本越少，2-STGINMF在分类性能上比起其他模型的优势却越明显。此外，当使用超过50%的训练样本时，2-STGINMF就可达到接近最优的分类性能。相比之下，其他基线方法仍然需要使用全量数据进行训练，才能达到最优的分类性能。通过这些实验对比表明，迭代模式确实能帮助2-STGINMF分类模型更好地缓解训练样本的稀疏性问题，保证模型在训练样本较少时也能取得不错的分类效果。通过迭代使用分类置信度较高的测试样本，2-STGINMF分类模型在使用较少训练数据的时候就能达到模型的最优性能。 4　 结 语 1 本文提出一种用于分类问题的基于2阶段迭代的非负矩阵分解模型。为了有效地结合标签信息和非负矩阵分解技术，本文把矩阵分解过程解耦为两个阶段。在阶段1通过结合样本标签和训练样本间的关系学习到更好的关于训练样本的表达，在阶段2根据样本之间的关系和学习到的训练样本表达来学习测试样本的表达，并根据学习到的测试样本的表达来对测试样本进行分类。在三种数据集上所做实验的结果表明，本文提出的模型在分类性能上达到较好的效果，并且在不同类型的数据集上均展示了很好地鲁棒性。另外，当训练样本较少时，本文的模型也能取得不错的效果。 下一步，将尝试结合非负矩阵分解技术和深度学习技术，一方面利用非负矩阵分解为深度学习模型提供可解释性，另一方面利用深度学习强大的建模能力，进一步提升分类任务的性能。 参考文献 BERRY M W , BROWNE M , LANGVILLE A N , et al . Algorithms and applications for approximate nonnegative matrix factorization [J]. Computational Statistics & Data Analysis , 2007 , 52 ( 1 ): 155 - 173 . DOI: 10.1016/j.csda.2006.11.006 http://dx.doi.org/10.1016/j.csda.2006.11.006 . Algorithms and applications for approximate nonnegative matrix factorization LEE D D , SEUNG H S . Learning the parts of objects by non-negative matrix factorization [J]. Nature , 1999 , 401 ( 6755 ): 788 . DOI: 10.1038/44565 http://dx.doi.org/10.1038/44565 . Learning the parts of objects by non-negative matrix factorization LIU W , WEN Y , YU Z , et al . Sphereface: Deep hypersphere embedding for face recognition [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . New York : IEEE Press , 2017 : 212 - 220 . Sphereface: Deep hypersphere embedding for face recognition TANG JJ , QIAN W , ZHAO Z , et al . Multi-view non-negative matrix factorization for scene recognition [J]. Journal of Visual Communicaton and Image Representation , 2019 , 59 : 9 - 13 . DOI: 10.1016/j.jvcir.2018.12.040 http://dx.doi.org/10.1016/j.jvcir.2018.12.040 . Multi-view non-negative matrix factorization for scene recognition QIANG J , LI Y , YUAN Y , et al . Snapshot ensembles of non-negative matrix factorization for stability of topic modeling [J]. Applied Intelligence , 2018 , 48 ( 11 ): 3963 - 3975 . DOI: 10.1007/s10489-018-1192-4 http://dx.doi.org/10.1007/s10489-018-1192-4 . Snapshot ensembles of non-negative matrix factorization for stability of topic modeling HOANG T A , VO K D , NEJDL W . W2EA worldwide-event benchmark dataset for topic detection and tracking [C]// Proceedings of the 27th ACM International Conference on Information and Knowledge Management . New York : ACM , 2018 : 1847 - 1850 . W2EA worldwide-event benchmark dataset for topic detection and tracking SUH S , SHIN S , LEE J , et al . Localized user-driven topic discovery via boosted ensemble of nonnegative matrix factorization [J]. Knowledge and Information Systems , 2018 , 56 ( 3 ): 503 - 531 . DOI: 10.1007/s10115-017-1147-9 http://dx.doi.org/10.1007/s10115-017-1147-9 . Localized user-driven topic discovery via boosted ensemble of nonnegative matrix factorization LI Z C , LIU J , LU H Q . Structure preserving non-negative matrix factorization for dimensionality reduction [J]. Computer Vision and Image Understanding , 2013 , 117 ( 9 ): 1175 - 1189 . DOI: 10.1016/j.cviu.2013.04.003 http://dx.doi.org/10.1016/j.cviu.2013.04.003 . Structure preserving non-negative matrix factorization for dimensionality reduction BABAEE M , TSOUKALAS S , BABAEE M , et al . Discriminative nonnegative matrix factorization for dimensionality reduction [J]. Neurocomputing , 2016 , 173 : 212 - 223 . DOI: 10.1016/j.neucom.2014.12.124 http://dx.doi.org/10.1016/j.neucom.2014.12.124 Discriminative nonnegative matrix factorization for dimensionality reduction YAN W , ZHANG B , YANG Z . A novel regularized nonnegative matrix factorization for spectral-spatial dimension reduction of hyperspectral imagery [J]. IEEE Access , 2018 , 6 : 77953 - 77964 . DOI: 10.1109/ACCESS.2018.2884501 http://dx.doi.org/10.1109/ACCESS.2018.2884501 . A novel regularized nonnegative matrix factorization for spectral-spatial dimension reduction of hyperspectral imagery CHOO J , LEE C , REDDY C K , et al . Weakly supervised nonnegative matrix factorization for user-driven clustering [J]. Data mining and Knowledge Discovery , 2015 , 29 ( 6 ): 1598 - 1621 . DOI: 10.1007/s10618-014-0384-8 http://dx.doi.org/10.1007/s10618-014-0384-8 . Weakly supervised nonnegative matrix factorization for user-driven clustering CHEN Y , REGE M , DONG M , et al . Non-negative matrix factorization for semi-supervised data clustering [J]. Knowledge and Information Systems , 2008 , 17 ( 3 ): 355 - 379 . DOI: 10.1007/s10115-008-0134-6 http://dx.doi.org/10.1007/s10115-008-0134-6 . Non-negative matrix factorization for semi-supervised data clustering KANG Z , LU X , YI J , et al . Self-weighted multiple kernel learning for graph-based clustering and semi-supervised classification [C]// Proceedings of the 27th International Joint Conference on Artificial Intelligence . New York : AAAI Press , 2018 : 2312 - 2318 . Self-weighted multiple kernel learning for graph-based clustering and semi-supervised classification HUH S , GUPTA M D , XIAO J . Supervised nonnegative matrix factorization [P]. U .S.： Patent 8515879 . 2013-8-20 . Supervised nonnegative matrix factorization LEE H , YOO J , CHOI S . Semi-supervised nonnegative matrix factorization [J]. IEEE Signal Processing Letters , 2009 , 17 ( 1 ): 4 - 7 . DOI: 10.1109/LSP.2009.2027163 http://dx.doi.org/10.1109/LSP.2009.2027163 . Semi-supervised nonnegative matrix factorization SU J , YANG Z , WANG H , et al . Classification of motor imagery EEG based on sparsification and non-negative matrix factorization [C]// MATEC Web of Conferences . Paris : EDP Sciences , 2018 , 160 : 07007 . Classification of motor imagery EEG based on sparsification and non-negative matrix factorization SHAO J M , YU Z J , LI P Y , et al . Exploring common and distinct structural connectivity patterns between schizophrenia and major depression via cluster-driven nonnegative matrix factorization [C]// 2017 IEEE International Conference on Data Mining . New York : IEEE Press , 2017 : 1081 - 1086 . Exploring common and distinct structural connectivity patterns between schizophrenia and major depression via cluster-driven nonnegative matrix factorization ZHU X , GHAHRAMANI Z . Learning from Labeled and Unlabeled Data with Label Propagation [R]. Pittsburghers : Carnegie Mellon University , 2002 . DOI: 10.1.1.13.8280. Learning from Labeled and Unlabeled Data with Label Propagation HASTIE T , MAZUMDER R , LEE J D , et al . Matrix completion and low-rank SVD via fast alternating least squares [J]. The Journal of Machine Learning Research , 2015 , 16 ( 1 ): 3367 - 3402 . Matrix completion and low-rank SVD via fast alternating least squares YAN X H , GUO J F , LIU S H , et al . Learning topics in short texts by non-negative matrix factorization on term correlation matrix [C]// Proceedings of the 2013 SIAM International Conference on Data Mining . Philadelphia : Society for Industrial and Applied Mathematics , 2013 : 749 - 757 . Learning topics in short texts by non-negative matrix factorization on term correlation matrix 周志华 . 机器学习 ［M］. 北京 ： 清华大学出版社 ， 2016 ： 371 - 397 . 机器学习 ZHOU Z H . Machine Learning ［M］. Beijing ： Tsinghua University Press ， 2016 ： 371-397（Ch） . Machine Learning JIN P , ZHANG Y , CHEN X Y , et al . Bag-of-embeddings for text classification [C]// Proceedings of the 25th International Joint Conference on Artificial Intelligence . New York : AAAI Press , 2016 : 2824 - 2830 . Bag-of-embeddings for text classification CHANG C C , LIN C J . LIBSVM: A library for support vector machines [J]. ACM Transactions on Intelligent Systems and Technology (TIST) , 2011 , 2 ( 3 ): 27 . DOI: 10.1145/1961189.1961199 http://dx.doi.org/10.1145/1961189.1961199 . LIBSVM: A library for support vector machines KUANG D , DING C , PARK H . Symmetric nonnegative matrix factorization for graph clustering [C]// Proceedings of the 2012 SIAM International Conference on Data Mining . Philadelphia : Society for Industrial and Applied Mathematics , 2012 : 106 - 117 . DOI: 10.1137/1.9781611972825.10 http://dx.doi.org/10.1137/1.9781611972825.10 . Symmetric nonnegative matrix factorization for graph clustering ZHAO H , POUPART P , ZHANG Y , et al . Sof: Soft-cluster matrix factorization for probabilistic clustering [C]// 29th AAAI Conference on Artificial Intelligence . New York : AAAI Press , 2015 : 3188 - 3195 . Sof: Soft-cluster matrix factorization for probabilistic clustering 10.14188/j.1671-8836.2019.0163 TP391.1 A 1671-8836（2020）02-0190-07 QUAN Cong,LI Chenliang,WU Libing.2-STGNMF: Supervised 2-Stage Iterative Nonnegative Matrix Factorization Model for General Classification [J]. J Wuhan Univ （ Nat Sci Ed ）,2020,66(2):190-196. DOI:10.14188/j.1671-8836.2019.0163(Ch). QUAN Cong,LI Chenliang,WU Libing.2-STGNMF: Supervised 2-Stage Iterative Nonnegative Matrix Factorization Model for General Classification [J].J Wuhan Univ（Nat Sci Ed）,2020,66(2):190-196. DOI:10.14188/j.1671-8836.2019.0163(Ch). 全聪,李晨亮,吴黎兵.基于二阶段迭代的非负矩阵分解的分类模型[J].武汉大学学报（理学版）,2020,66(2):190-196. DOI:10.14188/j.1671-8836.2019.0163. 全聪,李晨亮,吴黎兵.基于二阶段迭代的非负矩阵分解的分类模型[J].武汉大学学报（理学版）,2020,66(2):190-196. DOI:10.14188/j.1671-8836.2019.0163. 国家自然科学基金（61772377,61572370,91746206），湖北省自然科学基金（2017CFA007），深圳市科技计划项目（JCYJ20170818112550194） 2019-06-13 2020-04-24 2020-09-30 武汉大学学报（理学版） 2 66