群不变孪生支持向量机及其一致性研究

许卫霞; 周水庚; 黄定江

doi:10.14188/j.1671-8836.2023.0166

您当前的位置：

首页 >

文章列表页 >

群不变孪生支持向量机及其一致性研究

更新时间：2024-03-26

- 群不变孪生支持向量机及其一致性研究
  增强出版
- Group Invariance⁃based Twin Support Vector Machines （GI⁃TWSVM）： The Problem and Its Consistency
- 武汉大学学报（理学版） 2024年页码：1-12
- 作者机构：
  
  1.上海立信会计金融学院信息管理学院，上海 201209
  2.复旦大学计算机科学技术学院上海市智能信息处理重点实验室，上海 200433
  3.华东师范大学数据科学与工程学院，上海 200062
- 作者简介：
  
  许卫霞，女，讲师，现从事机器学习研究。E-mail：xuweixia@lixin.edu.cn
  E-mail：sgzhou@fudan.edu.cn
- 基金信息：
  
  国家自然科学基金项目(U62072185)
- DOI：10.14188/j.1671-8836.2023.0166
  中图分类号： TP301.6
- 网络出版日期：2024-03-26，
  
  收稿日期：2023-07-24，
扫描看全文
许卫霞，周水庚，黄定江.群不变孪生支持向量机及其一致性研究［J］.武汉大学学报（理学版），XXXX，XX（XX）：1-12. DOI：10.14188/j.1671-8836.2023.0166.

XU Weixia，ZHOU Shuigeng，HUANG Dingjiang.Group Invariance⁃based Twin Support Vector Machines （GI⁃TWSVM）： The Problem and Its Consistency ［J］.J Wuhan Univ （Nat Sci Ed），XXXX，XX（XX）：1-12. DOI：10.14188/j.1671-8836.2023.0166（Ch）.
许卫霞，周水庚，黄定江.群不变孪生支持向量机及其一致性研究［J］.武汉大学学报（理学版），XXXX，XX（XX）：1-12. DOI：10.14188/j.1671-8836.2023.0166. DOI：

XU Weixia，ZHOU Shuigeng，HUANG Dingjiang.Group Invariance⁃based Twin Support Vector Machines （GI⁃TWSVM）： The Problem and Its Consistency ［J］.J Wuhan Univ （Nat Sci Ed），XXXX，XX（XX）：1-12. DOI：10.14188/j.1671-8836.2023.0166（Ch）. DOI：

摘要

群不变性是一种重要的先验知识，往往能提升算法性能。孪生支持向量机是一种二分类支持向量机算法，同样可以利用群不变性来提高性能。因此，本文提出将群不变性引入到孪生支持向量机框架中，定义了群不变孪生支持向量机问题，以提升其算法性能。首先，为群不变孪生支持向量机构造了具体的最优化问题，并以有界孪生支持向量机为例，提出了两种具备群不变性的有界孪生支持向量机算法，以此说明该最优化问题有解，故有实际意义。然后，系统研究了群不变孪生支持向量机的一致性，为其相关算法奠定了扎实的理论基础。最后，仍以有界孪生支持向量机为例进行实验。实验表明，群不变性能够提升孪生支持向量机算法性能。

Abstract

Group invariance is one important type of prior knowledge

and is often used to improve the learning performance. As a kind of binary classification support vector machine algorithm

twin support vector machines (TWSVM) can be improved on performance by exploring group invariance. Thus in this paper

we propose to incorporate group invariance into the framework of TWSVM

and thereby define the problem of group invariance-based twin support vector machines (GI⁃TWSVM)

so as to improve the performance. First

an optimal problem is formulated for GI⁃TWSVM. Taking twin bounded support vector machine (TBSVM) as an example

we develop two TBSVM algorithms with group invariance

which show that the optimal problem is solvable

and therefore is practically significant. Then

we systematically investigate the consistency of GI⁃TWSVM

to build up a solid theoretical basis for the related algorithms. Finally

still using TBSVM as an example

experimental results have shown that group invariance can improve the performance of twin support vector machine algorithms.

关键词

不变性群不变性孪生支持向量机一致性通用一致性

Keywords

invariancegroup invariancetwin support vector machineconsistencyuniversal consistency

references

LAUER F， BLOCH G. Incorporating prior knowledge in support vector machines for classification： A review［J］. Neurocomputing， 2008， 71（7/8/9）： 1578-1594. DOI： 10.1016/j.neucom.2007.04.010http://dx.doi.org/10.1016/j.neucom.2007.04.010.

ZHANG W， YU L， YOSHIDA T， et al. Feature weighted confidence to incorporate prior knowledge into support vector machines for classification［J］. Knowledge and Information Systems， 2019， 58（2）： 371-397. DOI： 10.1007/s10115-018-1165-2http://dx.doi.org/10.1007/s10115-018-1165-2.

LIU Y T， HUANG L， LI J， et al. Multi-task learning based on geometric invariance discriminative features［J］. Applied Intelligence， 2023， 53（3）： 3505-3518. DOI： 10.1007/s10489-022-03617-xhttp://dx.doi.org/10.1007/s10489-022-03617-x.

NANDA V， MAJUMDAR A， KOLLING C， et al. Do invariances in deep neural networks align with human perception？［J］. Proceedings of the 37th AAAI Conference on Artificial Intelligence， 2023， 37（8）： 9277-9285. DOI： 10.1609/aaai.v37i8.26112http://dx.doi.org/10.1609/aaai.v37i8.26112.

SIMARD P， LECUN Y， DENKER J S. Efficient pattern recognition using a new transformation distance［EB/OL］. ［2022-12-25］. https：//proceedings.neurips.cc/paper_files/paper/1992/file/26408ffa703a72e8ac0117e74ad46f33-Paper.pdfhttps://proceedings.neurips.cc/paper_files/paper/1992/file/26408ffa703a72e8ac0117e74ad46f33-Paper.pdf. DOI: 10.1007/3-540-49430-8_13http://dx.doi.org/10.1007/3-540-49430-8_13.

HOUNIE I， CHAMON L F O， RIBEIRO A. Automatic data augmentation via invariance-constrained learning［C］// Proceedings of the 40th International Conference on Machine Learning. New York： PMLR， 2023： 13410-13433. DOI： 10.5555/3618408.3618953http://dx.doi.org/10.5555/3618408.3618953.

XU W X， HUANG D J， ZHOU S G. Statistical learning with group invariance： Problem， method and consistency［J］. International Journal of Machine Learning and Cybernetics， 2019， 10（6）： 1503-1511. DOI： 10.1007/s13042-018-0829-2http://dx.doi.org/10.1007/s13042-018-0829-2.

JAYADEVA， KHEMCHANDANI R， CHANDRA S. Twin support vector machines for pattern classification［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007， 29（5）： 905-910. DOI： 10.1109/TPAMI.2007.1068http://dx.doi.org/10.1109/TPAMI.2007.1068.

MANGASARIAN O L， WILD E W. Multisurface proximal support vector machine classification via generalized eigenvalues［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（1）： 69-74. DOI： 10.1109/TPAMI.2006.17http://dx.doi.org/10.1109/TPAMI.2006.17.

SHAO Y H， ZHANG C H， WANG X B， et al. Improvements on twin support vector machines［J］. IEEE Transactions on Neural Networks， 2011， 22（6）： 962-968. DOI： 10.1109/TNN.2011.2130540http://dx.doi.org/10.1109/TNN.2011.2130540.

SHAO Y H， CHEN W J， WANG Z， et al. Weighted linear loss twin support vector machine for large-scale classification［J］. Knowledge–Based Systems， 2015， 73（1）： 276-288. DOI： 10.1016/j.knosys.2014.10.011http://dx.doi.org/10.1016/j.knosys.2014.10.011.

TANVEER M， SHUBHAM K. Smooth twin support vector machines via unconstrained convex minimization［J］. Filomat， 2017， 31（8）： 2195-2210. DOI： 10.2298/fil1708195thttp://dx.doi.org/10.2298/fil1708195t.

YAN H， YE Q L， ZHANG T A， et al. Least squares twin bounded support vector machines based on L1-norm distance metric for classification［J］. Pattern Recognition， 2018， 74（C）： 434-447. DOI： 10.1016/j.patcog.2017.09.035http://dx.doi.org/10.1016/j.patcog.2017.09.035.

XIAO Y S， LIU J N， WEN K R， et al. A least squares twin support vector machine method with uncertain data［J］. Applied Intelligence， 2023， 53（9）： 10668-10684. DOI： 10.1007/s10489-022-03897-3http://dx.doi.org/10.1007/s10489-022-03897-3.

GUPTA U， GUPTA D. Bipolar fuzzy based least squares twin bounded support vector machine［J］. Fuzzy Sets and Systems， 2022， 449： 120-161. DOI： 10.1016/j.fss.2022.06.009http://dx.doi.org/10.1016/j.fss.2022.06.009.

RASTOGI R， SHARMA S， CHANDRA S. Robust parametric twin support vector machine for pattern classification［J］. Neural Processing Letters， 2018， 47（1）： 293-323. DOI： 10.1007/s11063-017-9633-3http://dx.doi.org/10.1007/s11063-017-9633-3.

ZHENG X H， ZHANG L， YAN L L. CTSVM： A robust twin support vector machine with correntropy-induced loss function for binary classification problems［J］. Information Sciences， 2021， 559： 22-45. DOI： 10.1016/j.ins.2021.01.006http://dx.doi.org/10.1016/j.ins.2021.01.006.

DAMMINSED V， PANUP W， WANGKEEREE R. Laplacian twin support vector machine with pinball loss for semi-supervised classification［J］. IEEE Access， 2023， 11： 31399-31416. DOI： 10.1109/ACCESS.2023.3262270http://dx.doi.org/10.1109/ACCESS.2023.3262270.

HAZARIKA B B， GUPTA D. Density weighted twin support vector machines for binary class imbalance learning［J］. Neural Processing Letters， 2022， 54（2）： 1091-1130. DOI： 10.1007/s11063-021-10671-yhttp://dx.doi.org/10.1007/s11063-021-10671-y.

CHE Z Y， LIU B， XIAO Y S， et al. A new twin SVM method with dictionary learning［J］. Applied Intelligence， 2021， 51（10）： 7245-7261. DOI： 10.1007/s10489-021-02273-xhttp://dx.doi.org/10.1007/s10489-021-02273-x.

STEINWART I. Consistency of support vector machines and other regularized kernel classifiers［J］. IEEE Transactions on Information Theory， 2005， 51（1）： 128-142. DOI： 10.1109/TIT.2004.839514http://dx.doi.org/10.1109/TIT.2004.839514.

VAPNIK V N， CHERVONENKIS A J. The necessary and sufficient conditions for consistency of the method of empirical risk minimization［J］. Pattern Recognition and Image Analysis， 1991， 1（3）： 283-305.

VAPNIK V N. Statistical Learning Theory［M］. New York： Wiley， 1998.

VAPNIK V N. The Nature of Statistical Learning Theory［M］. 2nd ed. New York： Springer， 2000. DOI: 10.1007/978-1-4757-3264-1_8http://dx.doi.org/10.1007/978-1-4757-3264-1_8.

ROY A， CHAKRABORTY S. Support vector machine in structural reliability analysis： A review［J］. Reliability Engineering & System Safety， 2023， 233： 109126. DOI： 10.1016/j.ress.2023.109126http://dx.doi.org/10.1016/j.ress.2023.109126.

XU W X， HUANG D J， ZHOU S G. Universal consistency of twin support vector machines［J］. International Journal of Machine Learning and Cybernetics， 2021， 12（7）： 1867-1877. DOI： 10.1007/s13042-021-01281-0http://dx.doi.org/10.1007/s13042-021-01281-0.

LIN S B， WANG K D， WANG Y， et al. Universal consistency of deep convolutional neural networks［J］. IEEE Transactions on Information Theory， 2022， 68（7）： 4610-4617. DOI： 10.1109/TIT.2022.3151753http://dx.doi.org/10.1109/TIT.2022.3151753.

DECOSTE D， BURL M C. Distortion-invariant recognition via jittered queries［C］//Proceedings IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press， 2002： 732-737. DOI： 10.1109/CVPR.2000.855893http://dx.doi.org/10.1109/CVPR.2000.855893.

BOUSQUET O， ELISSEEFF A. Algorithmic stability and generalization performance［C］//Proceedings of the 13th International Conference on Neural Information Processing Systems. New York： ACM， 2000： 196-202. DOI： 10.5555/3008751.3008778http://dx.doi.org/10.5555/3008751.3008778.

更多指标>

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据