基于孪生网络的全参考彩色图像质量评价算法

基于孪生网络的全参考彩色图像质量评价算法 Full⁃Reference Color Image Quality Assessment Algorithm Based on Siamese Network 1 first-author 杨光义，男，高级实验师，博士，现从事图像处理和高频电路方面的研究。E-mail： ygy@whu.edu.cn 杨光义，男，高级实验师，博士，现从事图像处理和高频电路方面的研究。E-mail： ygy@whu.edu.cn ygy@whu.edu.cn 1 1 2 corresp E-mail： mhlin425@whu.edu.cn E-mail： mhlin425@whu.edu.cn mhlin425@whu.edu.cn 武汉大学 电子信息学院，湖北 武汉 430072 武汉大学 电子信息学院，湖北 武汉 430072 Electronic Information School， Wuhan University， Wuhan 430072， Hubei， China Electronic Information School， Wuhan University， Wuhan 430072， Hubei， China 武汉大学 测绘遥感信息工程国家重点实验室，湖北 武汉 430079 武汉大学 测绘遥感信息工程国家重点实验室，湖北 武汉 430079 State Key Laboratory of Information Engineering in Surveying， Mapping and Remote Sensing， Wuhan University， Wuhan 430079， Hubei， China State Key Laboratory of Information Engineering in Surveying， Mapping and Remote Sensing， Wuhan University， Wuhan 430079， Hubei， China 针对彩色图像质量评价问题，提出了一种基于孪生网络的全参考图像质量评价算法。在特征提取阶段，将双卷积结构作为特征提取单元，分别提取参考图像块和失真图像块的不同维度特征。通过卷积和池化操作，充分融合提取的图像特征，然后通过两级全连接层和平均池化，得到最终的质量评价分数。分别在LIVE和TID2013数据集上展开训练和测试，并交叉进行跨库测试，均取得了较好的实验结果。实验表明，本文算法对彩色图像质量的评价表现出良好的主客观评价一致性，体现了优越的质量评价性能和良好的泛化能力。另外，本文算法结构简单，参数计算量少，能够实现端到端训练，有望作为反馈网络用于图像去噪等场合。 Aiming at the solution of color image quality assessment, this paper proposes a full⁃reference color image quality assessment algorithm based on siamese network. We adopt the double convolution block as the feature extraction unit. The double convolution block extracts features on different dimensions of the reference image patch and the distorted image patch. Then, we fuse the extracted image features via the convolution and the pooling operations. After that, the final quality score is obtained through two levels of the fully connected layers and the average pooling layer. We performed training-testing experiments of the algorithm on the LIVE and the TID2013 datasets. Furthermore, the cross-database evaluation between the two databases is also conducted. Both achieved prominent results. The experiments show that the proposed algorithm has a good subjective and objective evaluation consistency for the evaluation of color image quality, indicating that the algorithm has exceptional performance and generalization ability. In addition, the algorithm has a simple architecture and fewer parameters. Since the network can be trained end-to-end, it is promising to exploit further usage other than image quality assessment. For an instance, the network can be leveraged as a feedback network for extended applications such as image denoising. 全参考 图像质量评价 孪生网络 端到端 full-reference image quality assessment siamese network end-to-end 0　 引 言 1 随着多媒体时代的来临，数字图像越来越多地进入人们的日常生活，并起着日益重要的作用。受限于拍照设备、网络传输速度和终端的存储容量等条件，数字图像难免会产生一定程度的失真。如何客观衡量一幅图像的失真程度，建立准确有效的图像质量评价（image quality assessment，IQA）机制，逐渐成为很多学者研究的方向 ［ 1 1 ］ 。根据参考图像的有无，图像质量评价算法可以分为全参考（full reference，FR）、半参考（reduced reference，RR）和无参考（no reference，NR）三类算法 ［ 2 2 ］ 。 随着深度学习的发展，特别是卷积神经网络的成功，人们着眼于利用深度神经网络来解决图像质量评价问题。具有开创意义的是Hou等 ［ 3 3 ］ 提出的基于深度学习的盲图像质量评价（blind image quality assessment via deep learning，DLIQA）算法。DLIQA算法在小波变换域提取12维图像特征，采用深度学习模型将特征映射到不同的图像质量等级，利用概率密度函数计算图像属于每种等级的概率，最后通过池化（pooling）得到图像质量分数。随后，很多典型的深度网络结构都在图像质量评价中得到了很好的应用，例如，2011年，Li等 ［ 4 4 ］ 以一般性回归神经网络（general regression neural network，GRNN）建立图像特征的识别层和综合层，统一处理图像的梯度、熵和相位一致特征，从而得到图像质量分数。2018年，Bosse等 ［ 5 5 ］ 先对图像进行分块和归一化处理，然后采用卷积神经网络（convolutional neural network，CNN）开展质量评价，提出了可以实现全参考和无参考评价的DeepIQA方法。同年，Lin和Wang ［ 6 6 ］ 利用生成对抗网络（generative adversarial network，GAN），根据失真图像生成一幅伪图像作为参考，以补偿真实参考的缺失，然后将伪参考信息与待测图像配对，从而得到精确的质量预测分数。另外，Kang等 ［ 7 7 ］ 提出的CNNIQA方法、Pei等 ［ 8 8 ］ 提出的DOG-SSIM方法、Liu 等 ［ 9 9 ］ 提出的RankIQA方法、Gu等 ［ 10 10 ］ 提出的DIQI方法、Lim等 ［ 11 11 ］ 提出的BLINDER方法、Ren等 ［ 12 12 ］ 提出的RAN4IQA方法，均取得了不错的实验结果。 图像质量评价作为图像处理研究领域中至关重要的一个环节，不仅可以作为图像系统中的基准量化指标，用于监控、调节图像采集系统进行图像自动筛选，也能作为反馈量加入其他图像处理算法之中，引导网络参数调整。然而，将全参考图像质量评价算法应用于深度神经网络的反馈调整，要求评价算法是连续可导的。现有能够满足这种要求的算法仅有DeepIQA算法 ［ 5 5 ］ ，但是DeepIQA算法参数量过于庞大，不适合迁移运用到其他应用场合。 为此，本文提出了一种基于孪生网络的全参考彩色图像质量评价算法（image quality assessment based on siamese network， SNIQA）。该算法的输入为彩色RGB图像，参考图像与失真图像双支路训练参数共享，可以实现输入图像到输出图像质量分数的端到端训练。SNIQA网络参数适中，存储容量低，可以同时作为基准量化指标和反馈量加入到图像处理应用中。 1　 本文算法 1 1.1　孪生网络 2 孪生网络最初是由Chopra等 ［ 13 13 ］ 提出来的，主要用于人脸图像分类和识别，网络输入为两幅图像，输出为两幅图像之间的匹配程度。典型的孪生网络结构如 图1 图1 所示。 图1 图1 中， <math id="M1"><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267927&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267887&type= 3.89466667 3.72533321 和 <math id="M2"><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267937&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267932&type= 3.89466667 3.72533321 为两幅输入图像 <math id="M3"><mo>;</mo><mi mathvariant="bold-italic">W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267947&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267942&type= 6.09599972 3.30199981 为两个子网络之间的共享权值向量； <math id="M4"><msubsup><mrow><mi>G</mi></mrow><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267956&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267952&type= 13.20799923 4.65666676 、 <math id="M5"><msubsup><mrow><mi>G</mi></mrow><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267963&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267960&type= 13.29266644 4.65666676 是两个子网络分别将两幅输入图像映射到低维空间的映射函数 <math id="M6"><mo>;</mo><msub><mrow><mi>E</mi></mrow><mrow><mi mathvariant="bold-italic">W</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267969&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267966&type= 20.48933411 4.48733330 是两个子网络输出值的欧氏距离，代表图像 <math id="M7"><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mi mathvariant="normal">和</mi><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267973&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267971&type= 11.51466751 4.23333359 的匹配程度，其值越小，匹配程度越高。将 <math id="M8"><msub><mrow><mi>E</mi></mrow><mrow><mi mathvariant="bold-italic">W</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267977&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267975&type= 18.03400040 4.48733330 定义为 <math display="block" id="M9"><msub><mrow><mi>E</mi></mrow><mrow><mi mathvariant="bold-italic">W</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mo stretchy="false">|</mo><mo stretchy="false">|</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo>-</mo><msubsup><mrow><mi>G</mi></mrow><mrow><mi mathvariant="bold-italic">W</mi></mrow><mrow><mo stretchy="false">(</mo><mn mathvariant="normal">2</mn><mo stretchy="false">)</mo></mrow></msubsup><mo stretchy="false">(</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">|</mo><mo stretchy="false">|</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267982&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267980&type= 56.21866608 4.65666676 1.2　SNIQA算法 2 1.2.1　算法描述 3 SNIQA算法基于孪生网络思想，采用二分支结构，同时接受三通道RGB失真-参考图像对作为输入，整体是完全由卷积、全连接模块构成的端到端前馈模型。模型框图如 图2 图2 所示。 图2 图2 中，网络的输入、输出及中间结果的尺寸以 <math id="M10"><mo stretchy="false">(</mo><mi>p</mi><mo>×</mo><mi>p</mi><mo>×</mo><mi>c</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267989&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267987&type= 18.37266731 3.72533321 表示， <math id="M11"><mi mathvariant="normal">其</mi><mi mathvariant="normal">中</mi><mo>,</mo><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267997&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6267993&type= 11.09133339 3.97933340 表示图像块的边长， c 表示图像的通道数；网络参数的尺寸以 <math id="M12"><mo stretchy="false">(</mo><mi>k</mi><mo>×</mo><mi>k</mi><mo>,</mo><msub><mrow><mi>c</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268002&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268000&type= 17.01799965 4.48733330 表示 <math id="M13"><mo>,</mo><mi mathvariant="normal">其</mi><mi mathvariant="normal">中</mi><mo>,</mo><mi>k</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268008&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268004&type= 12.69999981 3.55599999 表示卷积核的边长， <math id="M14"><msub><mrow><mi>c</mi></mrow><mrow><mi mathvariant="normal">o</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268016&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268013&type= 4.23333359 3.72533321 表示卷积运算输出的通道数；输入的通道数 <math id="M15"><msub><mrow><mi>c</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268020&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268019&type= 3.13266659 3.72533321 和输入图像的通道数相同，因此省略。 SNIQA算法借鉴了VGG网络 ［ 14 14 ］ 的双卷积结构，即将级联的两个卷积核大小和输出通道数都相同的卷积层以及它们的激活函数视为一个整体，将其作为一个模块。将每一个双卷积结构称为一个特征提取单元，以第 <math id="M16"><mi>i</mi><mo stretchy="false">(</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mn mathvariant="normal">3</mn><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268039&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268036&type= 19.81199837 3.55599999 个单元后的最大池化层的输出作为特征图 <math id="M17"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>l</mi><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268046&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268043&type= 2.62466669 4.57200003 ，则SNIQA网络包含3个这样的特征图（ <math id="M18"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>l</mi><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268052&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268048&type= 2.96333337 4.57200003 、 <math id="M19"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>l</mi><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268060&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268055&type= 2.96333337 4.57200003 和 <math id="M20"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>l</mi><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268065&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268062&type= 4.23333359 4.65666676 。位于网络不同深度的特征图 <math id="M21"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi>l</mi><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268073&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268068&type= 2.62466669 4.57200003 对应不同的抽象层级，这些中间输出在各自的表征空间上反映了输入图像的不同维度特性，充分表达了从底层到高层的有效信息。 输入网络前，失真图像和参考图像均进行了归一化和分块处理。 1） 归一化公式为 4 <math display="block" id="M22"><mover accent="true"><mrow><mi mathvariant="bold-italic">I</mi></mrow><mo stretchy="true">̂</mo></mover><mo>=</mo><mfrac><mrow><mi mathvariant="bold-italic">I</mi></mrow><mrow><mn mathvariant="normal">255</mn></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268079&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268076&type= 13.37733269 7.53533316 其中， <math id="M23"><mi mathvariant="bold-italic">I</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268085&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268081&type= 1.43933344 2.79399991 和 <math id="M24"><mover accent="true"><mrow><mi mathvariant="bold-italic">I</mi></mrow><mo stretchy="true">̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268091&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268088&type= 1.43933344 3.64066648 分别为归一化前后的图像。 2） 分块处理 4 卷积神经网络中，全连接层限定了输入网络的图像必须大小相同。为此，Kang等 ［ 7 7 ］ 将输入网络的图像切分成固定大小的图像块，这种方法在某种意义上也是对数据集的有效扩充。Kim等 ［ 15 15 ］ 、Guan等 ［ 16 16 ］ 和Ma等 ［ 17 17 ］ 采取了类似的分块策略，均取得了良好的实验效果。因此，本文也采用对输入图像进行分块的方法。分块时，将彩色（RGB三通道）失真图像和参考图像对应位置裁剪成大小为 <math id="M25"><mi>p</mi><mo>×</mo><mi>p</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268096&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268094&type= 8.46666718 3.64066648 的无重叠块，然后随机挑选 <math id="M26"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268102&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268099&type= 7.28133297 3.81000018 个失真-参考分块对，组成 <math id="M27"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi></mrow></msub><mo>×</mo><mi>p</mi><mo>×</mo><mi>p</mi><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268110&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268106&type= 27.09333420 4.57200003 的矩阵，成对输入网络（为了清晰简洁， 图2 图2 中仅以一个图像块作为示例）。 如 图2 图2 所示，两个特征提取器共享网络参数，分别用于提取输入的参考图像块和失真图像块特征。特征提取器由3个相同结构的“卷积+卷积+最大池化”模块级联而成。卷积核大小均是3×3，填零宽度为1，以保证卷积后图像尺寸不变，最大池化尺寸为2×2，步长为2。特征通道数按64、128逐级增加。然后，利用特征融合层将失真图像块特征图 <math id="M28"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268116&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268113&type= 2.37066674 4.57200003 、参考图像块特征图 <math id="M29"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268121&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268118&type= 2.03200006 4.57200003 以及二者之间的差值 <math id="M30"><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi mathvariant="normal">r</mi></mrow></msub><mo>-</mo><msub><mrow><mi mathvariant="bold-italic">f</mi></mrow><mrow><mi mathvariant="normal">d</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268128&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268125&type= 9.22866726 4.57200003 在通道维度拼接，然后通过 <math id="M31"><mn mathvariant="normal">3</mn><mo>×</mo><mn mathvariant="normal">3</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268136&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268132&type= 8.38199997 2.79399991 卷积、 <math id="M32"><mn mathvariant="normal">2</mn><mo>×</mo><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268144&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268140&type= 8.46666718 2.79399991 最大池化和 <math id="M33"><mn mathvariant="normal">2</mn><mo>×</mo><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268153&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268148&type= 8.46666718 2.79399991 卷积进行数据降维和深度融合。特征融合层中最后一层卷积层的填零宽度为0，其余卷积的填零宽度均为1。最后，用两个全连接层将融合特征回归得到图像块的质量分数。将全部图像块的质量分数进行池化，就可以得到整幅图像的质量预测分数。 1.2.2　算法特点 3 SNIQA算法的设计意图并不仅仅是为了提高图像质量评价效果，而是为了将其更好地应用于其他图像处理算法之中。梳理现有的图像质量评价方法，不难发现，所有图像质量评价方法都可以作为图像质量的量化指标，但并不是所有图像质量评价方法都适合作为网络调参的反馈量 ［ 18 18 ］ 。究其原因，在于作为反馈量的图像质量评价网络需要满足4个基本要求： 1） 网络为全参考模型：全参考网络容易收敛，其性能指标普遍优于无参考网络； 2） 网络输入为彩色图像：在图像压缩、去噪等具体实际应用中，彩色图像的处理最为常见，因此IQA网络需能评价彩色图像质量； 3） 整个网络连续可导：作为反馈量的IQA网络，不仅自身连续可导，而且可以与其他网络联合起来，组成一张更大的网络，实现端到端（end-to-end）的联合训练； 4） 网络层数适中：若网络层数太浅，如CNNIQA ［ 7 7 ］ 方法，模型过于简单，则无法提取足够有效的特征信息；若网络层数太深，如DeepIQA ［ 5 5 ］ 方法，模型训练困难，而且占用的存储容量太大，与其他网络联合后容易造成网络复杂度过高，给设计和使用都带来很大的困难。 相比DeepIQA网络 ［ 5 5 ］ ，SNIQA网络的特征提取器中卷积层的个数从10个减少到了6个，最大通道数也从512减少到128，大大减少了训练参数，节省了训练时间。同样相比于DeepIQA，在特征融合层，本文算法通过额外的卷积层和池化层，一方面将通道数由384降至64，避免输入全连接层的特征维度过高，另一方面更好地融合参考图像块和失真图像块的特征。在回归层，第一个全连接层的输出通道数从512减少到32，同时弃用加权子网络，进一步减少参数量。相较于全参考DeepIQA网络，SNIQA网络的可训练参数从约5.2 MB减少到约1.0 MB，计算量大大减小，训练和推理时间也大大减少。同时，SNIQA网络中更少的卷积层有利于对特征的选择，减小实验不确定性。 不难看出，SNIQA网络满足图像质量评价网络作为反馈量的4个基本要求：全参考模型，接受彩色图像作为输入，端到端的前馈结构使得其连续可导，同时具有适中的网络层数。因此，相比CNNIQA和DeepIQA等同类算法，SNIQA更适合作为反馈网络。 1.3　损失函数 2 在SNIQA网络模型训练时，需要将图像块的质量分数作为标签。然而，常用的公共IQA数据集均只提供了每幅图像的平均主观得分（mean opinion score，MOS）或者平均主观得分差异（differential mean opinion score，DMOS），并没有提供图像块的质量分数。为了方便实现，本文将整幅图像的MOS/DMOS当作图像块的质量分数。然而，由于图像的局部失真程度存在差异，人眼对于局部图像和整幅图像的评价分数也是不同的，这样的处理方法实则在模型中引入了噪声。因此，SNIQA网络的损失函数采用平均绝对值误差（mean absolute error，MAE），定义为 <math display="block" id="M34"><msub><mrow><mi>E</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi></mrow></msub><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi></mrow></msub></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi></mrow></msub></mrow></munderover></mstyle><mrow><mo stretchy="false">|</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>q</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow><mo stretchy="false">|</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268161&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268157&type= 38.26933289 9.22866726 其中， <math id="M35"><msub><mrow><mi>E</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268167&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268164&type= 7.02733326 3.72533321 表示每张图像的全部质量损失， <math id="M36"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268177&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268171&type= 7.28133297 3.81000018 表示图像块数量， <math id="M37"><mtext> </mtext><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268184&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268181&type= 3.38666677 4.57200003 表示图像块的预测分数， <math id="M38"><msub><mrow><mi>q</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268192&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268188&type= 2.62466669 4.57200003 表示真实的图像质量分数。 2　 实验与分析 1 实验环境为Ubuntu 16.04系统/Pytorch 0.4.1框架/8 GB内存/NVIDIA GTX1080显卡。使用Adam优化器 ［ 19 19 ］ ，设置优化器参数 <math id="M39"><msub><mrow><mi>β</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">0.9</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268200&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268196&type= 12.95399952 4.74133348 / <math id="M40"><msub><mrow><mi>β</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>=</mo><mn mathvariant="normal">0.99</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268208&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268204&type= 14.81666660 4.74133348 / <math id="M41"><mi>ε</mi><mo>=</mo><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">8</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268216&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268212&type= 13.03866673 3.04799986 ，并在损失函数中添加权重系数 <math id="M42"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268223&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268219&type= 1.77800000 2.79399991 为0.000 1的 <math id="M43"><msub><mrow><mi>L</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268231&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268227&type= 3.55599999 3.72533321 正则项以防止过拟合，如下式 <math display="block" id="M44"><msubsup><mrow><mi>E</mi></mrow><mrow><msub><mrow/><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi></mrow></msub></mrow><mrow><mi>'</mi></mrow></msubsup><mo>=</mo><msubsup><mrow><mi>E</mi></mrow><mrow><msub><mrow/><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi></mrow></msub></mrow><mrow/></msubsup><mo>+</mo><mi>λ</mi><munder><mo movablelimits="false">∑</mo><mrow><mi>W</mi></mrow></munder><mrow><msup><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268239&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268234&type= 34.79800034 6.60399961 其中， W = <math id="M45"><mfenced open="{" close="}" separators="|"><mrow><mi>ω</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268246&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268242&type= 5.07999992 3.97933340 是网络中的全部可训练参数的集合。裁剪图像时，取图像块大小 <math id="M46"><mi>p</mi><mo>×</mo><mi>p</mi><mo>=</mo><mn mathvariant="normal">32</mn><mo>×</mo><mn mathvariant="normal">32</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268254&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268250&type= 25.39999962 3.64066648 ，图像块数量 <math id="M47"><msub><mrow><mi>N</mi></mrow><mrow><mi mathvariant="normal">p</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi></mrow></msub><mo>=</mo><mn mathvariant="normal">32</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268262&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268258&type= 16.08666611 3.81000018 。 2.1　数据集 2 本文所讨论的IQA数据集选用LIVE（laboratory for image & video engineering） ［ 20 20 ］ 和TID2013（tampere image database 2013） ［ 21 21 ］ ，如 表1 表1 所示。LIVE数据集提供了29张原始参考图像和779张对应的失真图像。图像失真类型包括JPEG2000压缩、JPEG压缩、白噪声、高斯模糊和快速瑞利衰退等。数据集提供位于 <math id="M48"><mo stretchy="false">[</mo><mn mathvariant="normal">0,100</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268270&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268266&type= 12.78466702 3.55599999 之间的图像DMOS，DMOS越低，表示图像质量越好。TID2013数据集包含3 025幅图像，其中有25幅分辨率为 <math id="M49"><mn mathvariant="normal">324</mn><mo>×</mo><mn mathvariant="normal">512</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268278&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268274&type= 15.91733360 2.79399991 的彩色参考图像，其余为参考图像对应的失真图像。失真类型包括加性高斯噪声、JPEG压缩、JPEG2000压缩、高斯模糊等24种，每种类型包含5个不同的失真等级。TID2013数据集提供来自5个国家的971位测试人员进行主观评分统计得到的所有测试图像MOS。MOS取值范围为 <math id="M50"><mo stretchy="false">[</mo><mn mathvariant="normal">0,9</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268286&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268282&type= 8.97466660 3.55599999 ，MOS越大，表示图像质量越好。 数据集 参考图像数 失真图像数 失真类型数 主观评价人数 LIVE 29 779 5 161 TID2013 25 3 000 25 971 2.2　性能指标 2 为了客观衡量算法性能，本文选取3个通用的性能指标作为量化标准，分别为：Spearman 秩相关系数（Spearman’s rank-order correlation coefficient，SROCC）、Pearson线性相关系数（Pearson linear correlation coefficient，PLCC）和均方根误差（root mean square error，RMSE） ［ 22 22 ］ 。这3个指标均衡量算法的客观评价和人类视觉系统（human visual system，HVS）主观评价的一致性，不同指标评价算法性能时各有侧重。RMSE评价算法输出和主观评价结果的平均误差；SROCC评价算法输出和主观评价的单调性；PLCC评价算法输出和主观评价的线性相关程度。一般而言，RMSE越小或SROCC/PLCC越大，代表算法性能越好；相反，RMSE越大或SROCC/PLCC越小，代表算法性能越差。 2.3　模型训练 2 在TID2013数据集上，随机选取15张参考图像及其对应的失真图像作为训练集，5张参考图像及其对应的失真图像作为验证集，剩下的图像作为测试集。模型搭建后以随机数初始化，随后实验的所有模型在训练集上训练，每完整遍历一次训练集（称为一个epoch）后，在验证集上评估效果，以便选择最好的模型。TID2013数据集中第15种图像失真类型为不同程度的局部块失真（local block-wise distortions of different intensity）。实验发现，对这一类失真类型的图像进行分块处理后，图像块之间的失真程度极其不均匀，有些图像块失真严重，而其他图像块无明显失真，因此该类图像不适合输入SNIQA模型中训练，需要在训练时剔除。 将训练的epoch次数设置为1 000，初始学习率为0.000 1，每经过200个epoch将学习率下调一半。训练时使用小批次梯度下降法训练，mini-batch大小设置为64，每经过一个epoch，都在验证集上测试模型的相应指标，选择SROCC指标最高的模型作为最终的SNIQA模型。在TID2013数据集上训练1 000个epoch时，模型在训练集上损失函数MAE的变化曲线如 图3 图3 所示，模型在验证集上SROCC、PLCC和RMSE这3个性能指标的变化曲线如 图4 图4 所示。 由 图3 图3 可以看出，损失函数MAE持续稳定下降，模型在训练集上的表现逐渐变好，表明训练是有效的。由 图4 图4 可以看出，SNIQA模型收敛很快，当 <math id="M51"><mi mathvariant="normal">e</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi><mo>></mo><mn mathvariant="normal">400</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268314&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268310&type= 19.55799866 3.64066648 时，模型已经收敛得很好； <math id="M52"><mi mathvariant="normal">e</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">h</mi><mo>></mo><mn mathvariant="normal">800</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268322&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=6268318&type= 19.55799866 3.64066648 时，性能指标接近峰值。综合训练时长和性能指标，最终选择第980次的模型作为最终模型。 2.4　参数确定 2 如1.2节所述，将全部图像块的质量分数进行池化，就可以得到整幅图像的质量预测分数。 表2 表2 给出了采用等权平均池化与加权平均池化策略时SNIQA模型的性能指标。由 表2 表2 可以看出，采用等权平均池化时，模型可以得到更高的SROCC/PLCC和更低的RMSE，因此，SNIQA模型最终采用等权平均池化策略。 全局池化策略 SROCC PLCC RMSE 加权平均 0.933 7 0.933 6 0.440 1 等权平均 0.954 9 0.948 9 0.413 3 为探究全连接层的通道数对SNIQA模型的影响， 表3 表3 给出了128-64、64-32和32-16三种通道数下的性能指标值（ m - n 表示倒数第二层全连接层的输入和输出参数数目）。由 表3 表3 可知，当通道数设置为64-32时，SNIQA模型的SROCC和PLCC最高，因此SNIQA模型的全连接层通道数最终确定为64-32。 通道数 SROCC PLCC RMSE 128-64 0.950 9 0.947 1 0.419 9 64-32 0.954 9 0.948 9 0.413 3 32-16 0.951 5 0.946 9 0.412 0 2.5　指标测试 2 表4 表4 给出了SNIQA算法分别在LIVE和TID2013数据集上经训练、验证和测试得到的性能指标。参与比较的算法包括传统经典方法PSNR、SSIM ［ 23 23 ］ 、MS-SSIM ［ 24 24 ］ 、IW-SSIM ［ 25 25 ］ 、MAD ［ 26 26 ］ 、IFC ［ 27 27 ］ 、VIF ［ 28 28 ］ 、FSIM ［ 29 29 ］ 、VSI ［ 30 30 ］ 、SCQI ［ 31 31 ］ 、MDSI ［ 32 32 ］ 、DOG-SSIM ［ 8 8 ］ 和深度学习算法DeepIQA ［ 5 5 ］ ，共13种算法。由于SNIQA算法为全参考算法，且无参考算法的性能普遍劣于全参考算法，因此选取的算法均为全参考IQA算法，所有数据均从原论文中获得，其中DeepIQA算法选取的是全参考加权平均模型的数据。由 表4 表4 可以看出，相比于传统经典算法和深度学习算法，本文提出的 SNIQA算法在LIVE和TID2013数据集上都有非常好的表现，体现了SNIQA算法的良好性能。 注： 空白处表示该指标在算法原文中没有给出且难以通过复现来获取 2 FR-IQA 3 TID2013 3 LIVE SROCC PLCC RMSE SROCC PLCC RMSE PSNR 0.639 4 0.701 7 0.883 2 0.875 5 0.872 1 13.368 0 SSIM [ 23 23 ] 0.741 7 0.789 5 0.760 8 0.957 9 0.944 9 8.945 5 MS-SSIM [ 24 24 ] 0.785 9 0.832 9 0.686 1 0.951 3 0.948 9 8.618 8 IW-SSIM [ 25 25 ] 0.777 9 0.831 9 0.688 0 0.956 7 0.952 2 8.347 2 MAD [ 26 26 ] 0.780 7 0.826 7 0.697 5 0.966 9 0.967 5 6.907 3 IFC [ 27 27 ] 0.538 9 0.553 8 1.032 2 0.925 9 0.926 8 10.264 0 VIF [ 28 28 ] 0.676 9 0.772 0 0.778 0 0.963 6 0.960 4 7.613 7 FSIM [ 29 29 ] 0.801 5 0.858 9 0.634 9 0.963 4 0.959 7 7.678 0 VSI [ 30 30 ] 0.896 5 0.900 0 0.540 4 0.952 4 0.948 2 8.681 6 SCQI [ 31 31 ] 0.905 2 0.907 1 0.521 9 0.940 6 0.934 4 9.735 5 MDSI [ 32 32 ] 0.889 9 0.908 5 0.518 1 0.966 7 0.965 9 7.079 0 DOG-SSIM [ 8 8 ] 0.907 0 0.919 0 0.961 0 0.963 0 DeepIQA [ 5 5 ] 0.940 0 0.946 0 0.970 0 0.980 0 SNIQA 0.954 9 0.948 9 0.413 3 0.970 4 0.989 9 4.442 6 为了验证模型对不同样本的有效性和泛化能力，需要进行跨数据集测试。将整个LIVE或TID2013数据集用作训练集，然后在TID2013或LIVE数据集上进行测试，得到的性能指标如 表5 表5 所示。为了对比，同时列出了传统方法中具有代表性的算法DOG-SSIM和深度学习算法DeepIQA的结果。由 表5 表5 可以看出，在跨数据集测试中SNIQA算法取得了最高的SROCC，有优越的表现，反映了SNIQA算法良好的泛化能力。 算法 LIVE训练 TID2013测试 TID2013训练 LIVE测试 DOG-SSIM 0.751 0 0.948 0 DeepIQA 0.751 0 0.936 0 SNIQA 0.847 0 0.959 5 为了验证模型的效率，对DeepIQA算法和SNIQA算法以相同的条件进行效率测试（测试设备和训练设备一致）。每个算法分别依次输入200张图像，取最后100张图像计算的时间平均值，得到单张图像的运行时间，如 表6 表6 所示。算法的参数量从算法的结构中计算得到。由 表6 表6 可以看出，相对于DeepIQA算法，SNIQA算法效率提升了约16%，参数量也大大下降，体现了SNIQA算法的高效和轻量。 算法 单张图像运行时间/ms 参数量/MB DeepIQA 4.07 5.2 SNIQA 3.43 1.0 3　 结 语 1 本文基于孪生网络思想，构造了一个轻量、快速、高效的全参考图像质量评价算法SNIQA。在特征提取阶段，将每一个双卷积结构作为一个特征提取单元。位于网络不同深度的特征图对应不同的抽象层级，这些中间输出在各自的表征空间上反映了输入图像的不同维度特性，充分表达了从底层到高层的有效信息。在特征融合层，通过卷积和池化，将通道数设置为64，避免输入全连接层的特征维度过高，同时更好地融合参考图像块和失真图像块的特征。相比于一般的深度学习IQA网络，SNIQA算法的训练参数量仅为1.0 M，大大降低了训练量，同时有利于特征选择。SNIQA算法不仅可以用于彩色图像质量评价，也可以融合到其他图像处理算法中。下一步的工作重点是将SNIQA算法作为反馈网络用于图像压缩、去噪等场合，提高压缩、去噪等网络的性能。 参考文献 褚江 ， 陈强 ， 杨曦晨 . 全参考图像质量评价综述 ［J］. 计算机应用研究 ， 2014 ， 31 （ 1 ）： 13 - 22 . DOI： 10.3969/j.issn.1001-3695.2014.01.003 http://dx.doi.org/10.3969/j.issn.1001-3695.2014.01.003 . 全参考图像质量评价综述 CHU J ， CHEN Q ， YANG X C . Review on full reference image quality assessment algorithms ［J］. Application Research of Computers ， 2014 ， 31 （ 1 ）： 13 - 22 . DOI： 10.3969/j.issn.1001-3695.2014.01.003（Ch http://dx.doi.org/10.3969/j.issn.1001-3695.2014.01.003（Ch ）. Review on full reference image quality assessment algorithms 王志明 . 无参考图像质量评价综述 ［J］. 自动化学报 ， 2015 ， 41 （ 6 ）： 1062 - 1079 . DOI： 10.16383/j.aas.2015.c140404 http://dx.doi.org/10.16383/j.aas.2015.c140404 . 无参考图像质量评价综述 WANG Z M . Review of no-reference image quality assessment ［J］. Acta Automatica Sinica ， 2015 ， 41 （ 6 ）： 1062 - 1079 . DOI： 10.16383/j.aas.2015.c140404（Ch http://dx.doi.org/10.16383/j.aas.2015.c140404（Ch ）. Review of no-reference image quality assessment HOU W L ， GAO X B ， TAO D C ， et al . Blind image quality assessment via deep learning ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2015 ， 26 （ 6 ）： 1275 - 1286 . DOI： 10.1109/TNNLS.2014.2336852 http://dx.doi.org/10.1109/TNNLS.2014.2336852 . Blind image quality assessment via deep learning LI C F ， BOVIK A C ， WU X J ， et al . Blind image quality assessment using a general regression neural network ［J］. IEEE Transactions on Neural Networks ， 2011 ， 22 （ 5 ）： 793 - 799 . DOI： 10.1109/TNN.2011.2120620 http://dx.doi.org/10.1109/TNN.2011.2120620 . Blind image quality assessment using a general regression neural network BOSSE S ， MANIRY D ， MULLER K R ， et al . Deep neural networks for no-reference and full-reference image quality assessment ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 1 ）： 206 - 219 . DOI： 10.1109/TIP.2017.2760518 http://dx.doi.org/10.1109/TIP.2017.2760518 . Deep neural networks for no-reference and full-reference image quality assessment LIN K Y ， WANG G X . Hallucinated-IQA： No-reference image quality assessment via adversarial learning ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New York ： IEEE Press ， 2018 ： 732 - 741 . DOI： 10.1109/CVPR.2018.00083 http://dx.doi.org/10.1109/CVPR.2018.00083 . Hallucinated-IQA： No-reference image quality assessment via adversarial learning KANG L ， YE P ， LI Y ， et al . Convolutional neural networks for no-reference image quality assessment ［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition . New York ： IEEE Press ， 2014 ： 1733 - 1740 . DOI： 10.1109/CVPR.2014.224 http://dx.doi.org/10.1109/CVPR.2014.224 . Convolutional neural networks for no-reference image quality assessment PEI S C ， CHEN L H . Image quality assessment using human visual DOG model fused with random forest ［J］. IEEE Transactions on Image Processing ， 2015 ， 24 （ 11 ）： 3282 - 3292 . DOI： 10.1109/TIP.2015.2440172 http://dx.doi.org/10.1109/TIP.2015.2440172 . Image quality assessment using human visual DOG model fused with random forest LIU X L ， WEIJER J ， BAGDANOV A D . RankIQA： Learning from rankings for no-reference image quality assessment ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision . New York ： IEEE Press ， 2017 ： 1040 - 1049 . DOI： 10.1109/ICCV.2017.118 http://dx.doi.org/10.1109/ICCV.2017.118 . RankIQA： Learning from rankings for no-reference image quality assessment GU K ， ZHAI G T ， YANG X K ， et al . Deep learning network for blind image quality assessment ［C］// Proceedings of the 2014 IEEE International Conference on Image Processing . New York ： IEEE Press ， 2014 ： 511 - 515 . DOI： 10.1109/ICIP.2014.7025102 http://dx.doi.org/10.1109/ICIP.2014.7025102 . Deep learning network for blind image quality assessment LIM H ， KIM H G ， RA Y M ， et al . VR IQA NET： Deep virtual reality image quality assessment using adversarial learning ［C］// Proceedings of the 2018 IEEE International Conference on Acoustics ， Speech， and Signal Processing. New York ： IEEE Press ， 2018 ： 6737 - 6741 . DOI： 10.1109/icassp.2018.8461317 http://dx.doi.org/10.1109/icassp.2018.8461317 . VR IQA NET： Deep virtual reality image quality assessment using adversarial learning REN H Y ， CHEN D Q ， WANG Y Z ， et al . RAN4IQA： Restorative adversarial nets for no-reference image quality assessment ［C］// Proceedings of the IEEE Inational Conference on Artificial Intelligence . New York ： IEEE Press ， 2018 ： 7308 - 7314 . RAN4IQA： Restorative adversarial nets for no-reference image quality assessment CHOPRA S ， HADSELL R ， LECUN Y . Learning a similarity metric discriminatively ， with application to face verification ［C］// Proceedings of the 2005 IEEE Conference on Computer Vision and Pattern Recognition . New York ： IEEE Press ， 2005 ： 539 - 546 . DOI： 10.1109/CVPR.2005.202 http://dx.doi.org/10.1109/CVPR.2005.202 . with application to face verification SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［C］// Proceedings of the International Conference on Learning Representations . San Diego ： ArXiv E-Prints ， 2015 ： 1 - 14 . Very deep convolutional networks for large-scale image recognition KIM J ， LEE S . Fully deep blind image quality predictor ［J］. IEEE Journal of Selected Topics in Signal Processing ， 2017 ， 11 （ 1 ）： 206 - 220 . DOI： 10.1109/JSTSP.2016.2639328 http://dx.doi.org/10.1109/JSTSP.2016.2639328 . Fully deep blind image quality predictor GUAN J ， YI S ， ZENG X ， et al . Visual importance and distortion guided deep image quality assessment framework ［J］. IEEE Transactions on Multimedia ， 2017 ， 19 （ 11 ）： 2505 - 2520 . DOI： 10.1109/TMM.2017.2703148 http://dx.doi.org/10.1109/TMM.2017.2703148 . Visual importance and distortion guided deep image quality assessment framework MA K D ， LIU W T ， ZHANG K ， et al . End-to-end blind image quality assessment using deep neural networks ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 3 ）： 1202 - 1213 . DOI： 10.1109/TIP.2017.2774045 http://dx.doi.org/10.1109/TIP.2017.2774045 . End-to-end blind image quality assessment using deep neural networks 杨光义 . 图像质量评价及其在图像去噪中的应用研究 ［D］. 武汉 ： 武汉大学 ， 2018 . 图像质量评价及其在图像去噪中的应用研究 YANG G Y . Image Quality Assessment and Its Application in Image Denoising ［D］. Wuhan ： Wuhan University ， 2018 （Ch） . Image Quality Assessment and Its Application in Image Denoising KINGMA D P ， BA J . Adam： A method for stochastic optimization ［C］// Proceedings of the International Conference on Learning Representations . San Diego ： ArXiv E-Prints ， 2015 ： 1 - 15 . Adam： A method for stochastic optimization 张淑芳 ， 张聪 ， 张涛 ， 等 . 通用型无参考图像质量评价算法综述 ［J］. 计算机工程与应用 ， 2015 ， 51 （ 19 ）： 13 - 23+151 . DOI： 10.3778/j.issn.1002-8331.1507-0044 http://dx.doi.org/10.3778/j.issn.1002-8331.1507-0044 . 通用型无参考图像质量评价算法综述 ZHANG S F ， ZHANG C ， ZHANG T ， et al . Review on universal no-reference image quality assessment algorithm . Computer Engineering and Applications ， 2015 ， 51 （ 19 ）： 13 - 23+151 . DOI： 10.3778/j.issn.1002-8331.1507-0044（Ch http://dx.doi.org/10.3778/j.issn.1002-8331.1507-0044（Ch ）. Review on universal no-reference image quality assessment algorithm SHEIKH H R ， SABIR M ， BOVIK A C ， et al . A statistical evaluation of recent full reference image quality assessment algorithms ［J］. IEEE Transactions on Image Processing ， 2006 ， 15 （ 11 ）： 3440 - 3451 . DOI： 10.1109/TIP.2006.881959 http://dx.doi.org/10.1109/TIP.2006.881959 . A statistical evaluation of recent full reference image quality assessment algorithms PONOMARENKO N N ， JIN L ， IEREMEIEV O ， et al . Image database TID2013： Peculiarities， results and perspectives ［J］. Signal Processing：Image Communication ， 2015 ， 30 （ 1 ）： 57 - 77 . DOI： 10.1016/j.image.2014.10.009 http://dx.doi.org/10.1016/j.image.2014.10.009 . Image database TID2013： Peculiarities， results and perspectives WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image quality assessment： From error visibility to structural similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 . DOI： 10.1109/TIP.2003.819861 http://dx.doi.org/10.1109/TIP.2003.819861 . Image quality assessment： From error visibility to structural similarity WANG Z ， SIMONCELLI E P ， BOVIK A C . Multiscale structural similarity for image quality assessment ［C］// Proceedings of the IEEE Conference on Signals ， Systems and Computers. New York：IEEE Press ， 2003 ： 1398 - 1402 . DOI： 10.1109/ACSSC.2003.1292216 http://dx.doi.org/10.1109/ACSSC.2003.1292216 . Multiscale structural similarity for image quality assessment WANG Z ， LI Q . Information content weighting for perceptual image quality assessment ［J］. IEEE Transactions on Image Processing ， 2011 ， 20 （ 5 ）： 1185 - 1198 . DOI： 10.1109/ACSSC.2003.1292216 http://dx.doi.org/10.1109/ACSSC.2003.1292216 . Information content weighting for perceptual image quality assessment LARSON E C ， CHANDLER D M . Most apparent distortion： Full-reference image quality assessment and the role of strategy ［J］. Journal of Electronic Imaging ， 2010 ， 19 （ 1 ）： 1 - 21 . DOI： 10.1117/1.3267105 http://dx.doi.org/10.1117/1.3267105 . Most apparent distortion： Full-reference image quality assessment and the role of strategy SHEIKH H R ， BOVIK A C ， DE VECIANA G . An information fidelity criterion for image quality assessment using natural scene statistics ［J］. IEEE Transactions on Image Processing ， 2005 ， 14 （ 12 ）： 2117 - 2128 . DOI： 10.1109/TIP.2005.859389 http://dx.doi.org/10.1109/TIP.2005.859389 . An information fidelity criterion for image quality assessment using natural scene statistics SHEIKH H R ， BOVIK AＣ ． Image information and visual quality 　［J］. IEEE Transactions on Image Processing ， 2006 ， 15 （ 2 ）： 430 - 444 . DOI： 10.1109/TIP.2005.859378 http://dx.doi.org/10.1109/TIP.2005.859378 . Image information and visual quality ZHANG L ， ZHANG L ， MOU X ， et al . FSIM： A feature similarity index for image quality assessment ［J］. IEEE transactions on Image Processing ， 2011 ， 20 （ 8 ）： 2378 - 2386 . DOI： 10.1109/TIP.2011.2109730 http://dx.doi.org/10.1109/TIP.2011.2109730 . FSIM： A feature similarity index for image quality assessment ZHANG L ， SHEN Y ， LI H ， et al . VSI： A visual saliency-induced index for perceptual image quality assessment ［J］. IEEE Transactions on Image Processing ， 2014 ， 23 （ 10 ）： 4270 - 4281 . DOI： 10.1109/TIP.2014.2346028 http://dx.doi.org/10.1109/TIP.2014.2346028 . VSI： A visual saliency-induced index for perceptual image quality assessment BAE S ， KIM M . A novel image quality assessment with globally and locally consilient visual quality perception ［J］. IEEE Transactions on Image Processing ， 2016 ， 25 （ 5 ）： 2392 - 2406 . DOI： 10.1109/TIP.2016.2545863 http://dx.doi.org/10.1109/TIP.2016.2545863 . A novel image quality assessment with globally and locally consilient visual quality perception NAFCHI H Z ， SHAHKOLAEI A ， HEDJAM R ， et al . Mean deviation similarity index： Efficient and reliable full-reference image quality evaluator ［J］. IEEE Access ， 2016 ， 4 ： 5579 - 5590 . DOI： 10.1109/ACCESS.2016.2604042 http://dx.doi.org/10.1109/ACCESS.2016.2604042 . Mean deviation similarity index： Efficient and reliable full-reference image quality evaluator 10.14188/j.1671-8836.2019.0160 TP391.9 A 1671-8836（2020）06-0589-08 YANG Guangyi,YE Lingxuan,LONG Minyi, et al .Full⁃Color Image Quality Assessment Algorithm Based on Siamese Network [J]. J Wuhan Univ （ Nat Sci Ed ）,2020,66(6):589-596. DOI: 10.14188/j.1671-8836.2019.0160 http://dx.doi.org/10.14188/j.1671-8836.2019.0160 (Ch). YANG Guangyi,YE Lingxuan,LONG Minyi,et al.Full⁃Color Image Quality Assessment Algorithm Based on Siamese Network [J].J Wuhan Univ（Nat Sci Ed）,2020,66(6):589-596. DOI:10.14188/j.1671-8836.2019.0160(Ch). 杨光义,叶凌轩,龙敏义, 等.基于孪生网络的全参考彩色图像质量评价算法[J].武汉大学学报（理学版）,2020,66(6):589-596. DOI:10.14188/j.1671-8836.2019.0160 杨光义,叶凌轩,龙敏义, 等.基于孪生网络的全参考彩色图像质量评价算法[J].武汉大学学报（理学版）,2020,66(6):589-596. DOI:10.14188/j.1671-8836.2019.0160 国家重点研发计划项目（2018YFB0504501）；湖北省教学改革建设项目（2017JG109）；武汉大学教学改革建设项目（2016JG52）；武汉大学2018~2019学年实验教学中心开放项目（WHU-2018-XYKF-05） 2019-06-06 2020-12-24 2021-01-26 武汉大学学报（理学版） 6 66