基于全卷积孪生网络的模糊目标跟踪

基于全卷积孪生网络的模糊目标跟踪 Blurred Target Tracking by Fully-Convolutional Siamese Network 1 first-author 章泉源，男，高级工程师，现从事人工智能、微波设计方面的研究。E-mail：18049960212@163.com 章泉源，男，高级工程师，现从事人工智能、微波设计方面的研究。E-mail：18049960212@163.com 18049960212@163.com 2 2 2 3 上海航天电子技术研究所，上海 201109 上海航天电子技术研究所，上海 201109 Shanghai Aerospace Electronic Technology Institute， Shanghai 201109， China Shanghai Aerospace Electronic Technology Institute， Shanghai 201109， China 武汉大学 计算机学院，湖北 武汉 430072 武汉大学 计算机学院，湖北 武汉 430072 School of Computer Science， Wuhan University， Wuhan 430072， Hubei， China School of Computer Science， Wuhan University， Wuhan 430072， Hubei， China 武汉大学 电子信息学院，湖北 武汉 430072 武汉大学 电子信息学院，湖北 武汉 430072 Electronic Information School， Wuhan University， Wuhan 430072， Hubei， China Electronic Information School， Wuhan University， Wuhan 430072， Hubei， China 针对全卷积孪生网络（fully-convolutional siamese network，SiamFC）跟踪速度较快但容易受到运动模糊干扰的问题，通过在SiamFC的基础上引入图像质量评估（image quality assessment，IQA）和去模糊模块，提出了一种有效跟踪运动模糊场景下目标的算法。一方面，使用图像质量评估模块对SiamFC选择的搜索区域进行质量评估，只有在得出的结果显示该图像区域较为模糊时才对其进行去模糊处理，以最大程度防止在原本清晰的图像中引入噪声，同时将图像质量评估模块与SiamFC的网络结构进行融合，以尽可能减少新增模块所需的计算量。另一方面，去模糊模块可以有效解决原图像中存在的运动模糊对跟踪造成干扰的问题。在公开数据集OTB2015和UAV20L上的实验结果表明，相较于基准算法SiamFC，本文算法在OTB2015上的准确率提升了3.1%，成功率提升了2.6%；在UAV20L上的准确率提升了4.7%，成功率提升了5.4%。对OTB2015和UAV20L数据集中不同属性的视频序列进行分析，结果表明，本文算法可以有效降低动态模糊对跟踪算法的干扰。 To solve the problem that SiamFC (fully-convolutional siamese network) has fast-tracking speed but is easily disturbed by motion blur, we proposed an algorithm that can effectively track objects in motion blur scene by introducing IQA （image quality assessment） module and deblurring module to improve SiamFC’s performance. On the one hand, we use the IQA module to evaluate the search area of SiamFC. Only when the results show that the image area is fuzzy, it can be processed by the deblurring module, which is to prevent introducing noise into the clear image. At the same time, the image quality assessment module and the network structure of SiamFC are integrated to minimize the amount of calculation required for the new module. On the other hand, the deblurring module can effectively solve the problem that the motion blur in the original image interferes with the tracking. The experimental results on the public data sets OTB2015 and UAV20L show that compared with the benchmark algorithm SiamFC, the precision rate of this algorithm on OTB2015 has increased by 3.1%, and the success rate has increased by 2.6%; the precision rate on UAV20L has increased by 4.7%, the success rate increased by 5.4%. The analysis of video sequences with different attributes in the OTB2015 and UAV20L datasets shows that the proposed algorithm can effectively reduce the interference of dynamic blur on the tracking algorithm. 目标跟踪 孪生网络 运动模糊 object tracking Siamese network motion blur 0　 引 言 1 视觉跟踪在计算机视觉中起着至关重要的作用。虽然对跟踪问题的研究已经取得很多进展，但由于跟踪问题的复杂性和外界因素如目标形变、运动模糊和遮挡等对跟踪算法的干扰，使得视觉跟踪仍然是一项非常困难的任务 ［ 1 1 ］ 。为了解决上述问题，人们建立了许多鲁棒的目标跟踪模型 ［ 2 2 ］ 。然而，现有的大多数跟踪算法并没有直接考虑视频序列中存在的运动模糊问题。在许多日常应用场景中，摄像机抖动和物体运动经常会引起运动模糊，同时运动模糊很可能会与其他干扰因素一起出现，这不仅增加了跟踪算法匹配特征的难度，也降低了其在这些应用场景中的性能 ［ 3 3 ］ 。 该问题的一个解决方案是在跟踪之前使用反卷积进行图像恢复，但由于传统的反卷积方法较高的计算成本会导致较慢的跟踪帧率 ［ 4 4 ］ ，同时该解决方案还容易受到吉布斯现象的影响，导致去模糊图像中产生由振铃效应 ［ 5 5 ］ 引入的噪声，这类噪声很容易导致跟踪失败。另一个解决方案是通过对核进行采样来克服接近目标模糊状态的运动模糊，在文献［ 6 6 ］中，观察到可以通过直接匹配模糊图像而不是对图像进行去模糊来进行有效的目标跟踪。Dai等 ［ 7 7 ］ 首先利用方向可调滤波器来估计目标运动模糊的方向，然后以像素为单位遍历模糊强度，使用均值漂移算法找出每个模糊强度的最佳匹配点。在文献［ 4 4 ］中，受稀疏表示在计算机视觉任务中成功应用的启发，作者提出了一种将视觉跟踪与运动模糊问题相结合的统一稀疏近似框架。在文献［ 8 8 ］中，作者在训练样本中加入了不同的模糊核，以增强模型对严重模糊的鲁棒性。然而，模糊核不能准确反映模糊图像上的真实目标状态，当模糊程度超出模糊核的表示范围时就会导致跟踪失败。此外，这种方法可能会产生冗余的模糊模板，导致重复无用的匹配和额外的计算负担。 近年来，深度学习的应用使图像恢复和目标跟踪领域在准确率和效率方面都取得了很大的提升，因此很多学者将基于深度学习的去模糊方法运用在目标跟踪领域。在图像去模糊方面，Kupyn等 ［ 9 9 ， 10 10 ］ 首次通过引入生成对抗网络来进行图像去模糊，又通过引入特征金字塔网络 ［ 11 11 ］ 来改进生成对抗网络去模糊方法；Tao等 ［ 12 12 ］ 提出基于尺度循环网络 （scale-recurrent network，SRN）的多尺度图像去模糊方法，取得了很好的效果。相对基于生成对抗网络的去模糊方法和其他基于深度学习的去模糊方法 ［ 13 13 ］ ，基于尺度循环网络的去模糊方法在达到相似的去模糊效果时具有更少的参数数量和更低的计算成本。在目标跟踪方面，基于孪生网络的跟踪器 ［ 14 14 ］ 以其均衡的精度和速度在跟踪界引起了极大的关注。但由于全卷积孪生网络（fully-convolutional siamese network，SiamFC） ［ 14 14 ］ 只将后续帧中的目标区域与第一帧提取到的特征模板进行相似度匹配，因此当后续帧中目标出现运动模糊等干扰因素时，会导致真实目标所对应的响应图位置的分数降低，从而影响跟踪的准确率与成功率。 由于目标跟踪领域对算法速度要求较高，而对视频中每一帧图像均进行去模糊处理会严重影响跟踪算法的速度，因此本文引入了图像质量评估模块（image quality assessment，IQA），通过对每一帧图像的质量进行评估，以判断该帧图像是否需要去模糊。图像质量评估算法是视评估算法为一个函数，其输入为被测图像，输出为图像质量的评估值，该评估值应尽可能接近于人的主观评估结果。由于图像质量评估领域的数据集较小，在文献［ 15 15 ］中作者首先通过已知质量的图片使用图像处理变换自动生成不同级别不同类型的失真图像以得到一个大型数据集，接着使用孪生网络从大型数据集中的图像质量排序关系学习出通用特征，最后使用较小的图像质量评估数据集对孪生网络中一个分支进行微调。在文献［ 16 16 ］中，作者通过对预训练的VGG16网络使用较小的图像质量评估数据集进行微调，达到了很好的预测效果，并且相对于文献［ 15 15 ］提出的方法运行速度更快，因此本文选择了文献［ 16 16 ］提出的方法作为本文的图像质量评估模块。 为解决无法在运动模糊场景下高效地进行目标跟踪的问题，本文提出了一种基于孪生网络的模糊目标跟踪算法。为了提高SiamFC的匹配精度，本文引入了图像去模糊模块。由于去模糊的计算成本较高同时需要避免对原本较为清晰的图像去模糊，在跟踪前增加了一个图像质量评估模块来判断目标候选区域的模糊程度。若模糊程度较低，则由原有的SiamFC框架直接处理，以平衡跟踪性能和效率；反之，则使用图像去模糊模块对图片进行去模糊后再交由SiamFC框架处理。并在数据集OTB2015 ［ 1 1 ］ 和UAV20L ［ 17 17 ］ 上对本文算法性能进行验证。 1　 全卷积孪生网络SiamFC 1 基于孪生网络的跟踪算法将视觉跟踪看做一个互相关问题，通过两个共享参数的网络分支来比较两个输入的相似性。全卷积孪生网络SiamFC ［ 14 14 ］ 使用AlexNet ［ 18 18 ］ ，首先对第一帧中的目标位置提取深度特征，以得到模板图像 z 对应的特征图，接着对于后续帧输入的搜索区域图像 x 同样提取深度特征，并对得到的特征图与模板图像 z 的特征图进行互相关操作以得到响应矩阵，响应矩阵的峰值即为跟踪目标的位置，SiamFC的网络结构如 图1 图1 所示。 在得到响应图之后，将其进行非线性插值即可得到目标在原搜索区域中的位置，该过程可以定义为 <math display="block" id="M1"><mi mathvariant="bold-italic">f</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">z</mi><mo>,</mo><mi mathvariant="bold-italic">x</mi></mrow></mfenced><mo>=</mo><mi>φ</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">z</mi></mrow></mfenced><mo>⊗</mo><mi>φ</mi><mfenced separators="|"><mrow><mi mathvariant="bold-italic">x</mi></mrow></mfenced><mo>+</mo><mi mathvariant="bold-italic">b</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932167&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932163&type= 43.77266693 4.06400013 其中， φ 是去掉全连接层的AlexNet网络，经过AlexNet网络提取深度特征后可得到模板图像 z 和搜索区域图像 x 对应的特征图， <math id="M2"><mo>⊗</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932174&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932171&type= 3.72533321 3.55599999 表示卷积运算， b 为偏置项， f 为最终获取的响应矩阵。 2　 本文算法 1 2.1　总体网络结构与算法流程 2 本文算法的总体结构和流程分别如 图2 图2 和 图3 图3 所示。由 图2 图2 可知，本文算法在SiamFC算法中引入了图像质量评估模块和图像去模糊模块。由 图3 图3 可知，算法的具体流程如下： 1） 对于视频序列第一帧中标注的模板区域，首先使用AlexNet提取特征以得到模板区域所对应的特征图；同时对模板区域使用图像质量评估模块进行评估，以得到模板区域对应的图像质量得分 y 。 2） 在后续帧到来时，为了降低图像质量评估模块的计算量，并不将整帧图片输入该模块中，而是将搜索区域作为该模块的输入，若搜索区域对应的图像质量得分 x 1 位于我们设定的阈值，即3.75到4.25之间（2.2节将详述取值依据），则认为该搜索区域中具有运动模糊。 3） 对于具有运动模糊的搜索区域，将原始搜索区域送入去模糊模块中进行去模糊处理。将去模糊后的搜索区域再次使用图像质量评估模块进行评估，得到其去模糊之后对应的图像质量得分 x 2 。 4） 比较 x 1 ， x 2 与 y 的差值，只有当 x 2 与 y 的差值小于 x 1 与 y 的差值时，说明去模糊操作减小了搜索区域与模板之间的清晰度差距，此时使用AlexNet对去模糊后的搜索区域重新提取深度特征，并将得到的特征图与模板特征图进行互相关操作；反之，若 x 1 与 y 的差值小于 x 2 与 y 的差值或 x 1 的得分不在设定的阈值之内，则使用原搜索区域提取到的特征图与模板特征图进行互相关操作。 上述步骤有助于减小SiamFC算法中模板区域与搜索区域的图像质量差距，从而缓解运动模糊对跟踪造成的不利影响。此外，高效率图像质量评估模块的引入最大化地减小了图像去模糊模块对SiamFC跟踪算法效率的影响。 2.2　图像质量评估(IQA)模块 2 由于本文在SiamFC框架中额外引入了采用PSS-NSC（parameter selective sharing and nested skip connections）算法 ［ 12 12 ］ 的去模糊模块，因此需要尽可能少地对原本已经较为清晰的图片进行去模糊处理，这样不仅可以避免在这些图片中引入噪声，同时可以减少需要经过去模糊模块的图像数量，以最大化减小去模糊模块对于SiamFC框架跟踪效率的影响。 为了对图片质量进行评估以判断图像的模糊程度，本文引入了基于深度学习的NIMA（neural image assessment）算法 ［ 16 16 ］ 作为本文算法的图像质量评估模块算法，其网络结构如 图4 图4 所示。NIMA算法首先使用去掉最后一层全连接层的VGG16 ［ 19 19 ］ 提取图像的深度特征，接着将提取到的特征输入包含10个神经元的全连接层中，然后使用SoftMax层以得到该图片分别获得1~10分的概率，最后利用（2）式即可得到该图像对应的质量评估分数 <math display="block" id="M3"><mi>μ</mi><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">10</mn></mrow></munderover></mstyle><mrow><mo stretchy="false">(</mo><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow><mo>×</mo><msub><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932202&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932198&type= 25.06133461 8.38199997 其中， s i 表示第 i 个分数， <math id="M4"><msub><mrow><mi>p</mi></mrow><mrow><msub><mrow><mi>s</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932209&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932206&type= 3.21733332 4.06400013 表示该图像获得第 i 个分数的概率。 同时为了根据NIMA算法的评估得分确定需要进行去模糊的图片，我们统计了7 000张运动模糊图像经过NIMA算法评估得到的分数。本文中使用的具有运动模糊的图像以两种方式得到，一是收集了目前公开的数据集CUHK ［ 20 20 ］ 中具有运动模糊的图像，该数据集包含2 000张模糊图像；二是利用文献［ 21 21 ］提出的方法生成线性模糊核，在Caltech-101数据集 ［ 22 22 ］ 中随机挑选5 000张图像生成运动模糊图像。这7 000张图像的质量评分分布如 表1 表1 所示。 图像质量评分 图像数量 [3.5,3.75) 784 [3.75,4) 1 634 [4,4.25) 2 731 [4.25,4.5) 1 025 [4.5,4.75) 541 [4.75,5] 285 从 表1 表1 中可以看出，绝大多数运动模糊图像的评估分数在3.75到4.25之间，因此我们使用这个范围来判断输入图像是否具有运动模糊。 2.3　图像去模糊模块 2 为了消除图像中存在的动态模糊，将基于深度学习方法的PSS-NSC ［ 12 12 ］ 作为图像去模糊模块。该模块在原图像的3个采样尺度上逐步消除图像中的动态模糊，同时在基于尺度循环网络的多尺度图像去模糊方法中引入了参数选择性共享和嵌套跳过连接，以便进一步减少参数数量。PSS-NSC的一个子网络结构如 图5 图5 所示。其中， B i 为第 i 个尺度输入的模糊图像， I i 为第 i 个尺度去模糊之后的图像，而PSS-NSC在3个不同尺度上进行图像的去模糊，因此其共有3个 图5 图5 所示的子网络。 从 图5 图5 中可以看出，每个子网络由特征提取、特征非线性变换和特征重建3个模块组成，其中特征非线性变换和特征重建两个模块采取跨尺度参数共享，而特征提取模块则采用非共享模式，以保证网络可以在不同尺度下提取到不同的特征。其中每个子网络的功能可由（3）式表示。 <math display="block" id="M5"><msub><mrow><mi>I</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi mathvariant="normal">N</mi><mi mathvariant="normal">e</mi><msub><mrow><mi mathvariant="normal">t</mi></mrow><mrow><mi>i</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>B</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msub><mrow><mi>I</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>;</mo><msub><mrow><mi>θ</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><mi>η</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932249&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932245&type= 34.54399872 4.91066647 其中，Net i 表示具有尺度无关参数 <math id="M6"><msub><mrow><mi>θ</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932256&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932252&type= 2.53999996 3.72533321 和尺度共享参数 <math id="M7"><mi>η</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932265&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932261&type= 1.86266661 3.64066648 的第 i 个尺度的子网络。 在第 i 个尺度上，将 i- 1尺度上恢复的清晰图像 I i- 1 的大小经过双线性插值调整为和当前模糊图像 B i 一致后，将其与 B i 连接后作为输入，输出 I i 则是当前尺度下恢复的清晰图像。组成非线性变换模块的三阶嵌套跳过连接则可以由（4）式定义。 <math display="block" id="M8"><msub><mrow><mi>x</mi></mrow><mrow><mi>n</mi></mrow></msub><mo>=</mo><msub><mrow><mi>x</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">2</mn></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msub></mrow></mfenced><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">2</mn></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msub></mrow></mfenced></mrow></mfenced><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>n</mi></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">2</mn></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msub></mrow></mfenced><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msub><mo>+</mo><msub><mrow><mi>F</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">2</mn></mrow></msub><mfenced separators="|"><mrow><msub><mrow><mi>x</mi></mrow><mrow><mi>n</mi><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msub></mrow></mfenced></mrow></mfenced></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932275&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=20932270&type= 166.53933716 6.34999990 其中， x n- 1 ， x n 和 F n 分别表示第 n 个残差学习单元的输入、输出和剩余函数， x n- 2 和 F n- 1 为第 n- 1个残差学习单元的输入和剩余函数， x n- 3 和 F n- 2 为第 n- 2个残差学习单元的输入和剩余函数。该嵌套跳过连接的加入可以提升信息传递效率并改善梯度消失问题，在生成更复杂特征的同时更易于优化训练。 3　 实验结果与分析 1 本文算法中的SiamFC跟踪框架、图像质量评估模块和图像去模糊模块均使用文献［ 4 4 ， 8 8 ， 10 10 ］中的预训练模型，同时本文算法使用PyTorch实现，运行环境为Ubuntu 18.04，CPU采用Intel Core i9，GPU使用NVIDIA 2080Ti。 3.1　实验数据集及评价标准 2 为了评估本文算法的性能，在OTB2015 ［ 1 1 ］ 和UAV20L ［ 17 17 ］ 两个公共数据集上对本文算法进行了测试。OTB2015为短时跟踪数据集，该数据集共有100个视频序列，并且标注了11种属性，包括运动模糊（motion blur，MB），快速运动（fast motion，FM），平面内旋转（in-plane rotation，IPR），低分辨率（low resolution，LR），背景混淆（background clutter，BC），光照变化（illumination_variations，IV），尺度变化（scale variations，SV），遮挡（occlusions，OCC），形变（deformation，DEF），平面外旋转（out-of-plane rotation，OPR），离开视野（out-of-view，OV）。UAV20L包含20个由无人机拍摄的长期跟踪序列，平均序列长度达到了2 934帧。相对于OTB2015数据集，UAV20L数据集由于是无人机拍摄并且视频序列时间跨度较长，因此更容易出现相机抖动与目标模糊的情况。这两种数据集可以很好地测试本文算法在短时跟踪与长时跟踪中各种情况下的性能。 OTB2015和UAV20L均采用了准确率和成功率两个评估指标。成功率图中算法后方括号内的数值为预测目标框与人工标注目标框重叠率大于阈值0.5的帧数占总帧数的比率。准确率图中算法后方括号内的数值为跟踪算法预测目标框与人工标注的目标框的中心距离小于阈值20像素的帧数占总帧数的比率。 3.2　OTB2015数据集实验结果 2 3.2.1　算法整体性能评估 3 将本文算法与6种主流跟踪算法进行对比。对比算法分别是基于相关滤波的实时性算法DSST（discriminative scale space tracker） ［ 23 23 ］ ，SRDCF（spatially regularized discriminative correlation filters） ［ 24 24 ］ ，SAMF（scale adaptive with multiple features tracker） ［ 25 25 ］ ，KCF（kernel correlation filter） ［ 26 26 ］ ，引入了检测机制的目标跟踪算法LCT（long-term correlation tracking） ［ 27 27 ］ ，基于孪生网络的目标跟踪算法SiamFC ［ 14 14 ］ 。 图6 图6 为7种算法在OTB2015数据集上的成功率图和准确率图。从 图6 图6 中可以看出（算法后方括号内的数值），本文算法相较于基准算法SiamFC在成功率上提升了2.6%，达到了0.592；准确率则提升了3.1%，达到了0.787。由于本文算法引入了高效率的图像质量评估模块，在保证算法实时性的情况下，本文算法在成功率和准确率上也超过了LCT算法和基于相关滤波的实时性算法DSST、SAMF和KCF。SRDCF算法对滤波器进行了时域上的正则处理，可以有效地抑制运动模糊等属性的干扰；本文算法在SiamFC中引入了图像质量评估与去模糊模块，可以看出本文算法相对于SRDCF算法也有一定的竞争力，充分说明了在SiamFC中引入图像质量评估与去模糊模块的有效性。 3.2.2　算法在不同属性下的性能评估 3 由于本文算法在SiamFC框架中引入了图像质量评估和去模糊模块，为了分析跟踪器在运动模糊场景中的性能，可以引起图像或者目标发生模糊的属性是我们需要重点关注的。根据OTB2015数据集中每个序列标注的属性，选择了运动模糊（MB），快速运动（FM），平面内旋转（IPR），低分辨率（LR）和背景混淆（BC）这5种可能会在跟踪过程中导致运动模糊的属性来对本文算法进行分析。不同算法在OTB2015数据集中5种属性下的成功率和准确率分别如 图7 图7 和 图8 图8 所示。 从 图7 图7 和 图8 图8 可以看出，本文算法在具有上述5种属性的视频序列上的测试结果相对于基准算法SiamFC成功率分别提升了9.0%，4.8%，4.3%，10.6%，4.7%；准确率分别提升了10.7%，5.6%，5.0%，11.7%，5.0%。由于基于相关滤波的实时性算法DSST，SAMF和KCF算法会不断更新滤波器模板，而且未对运动模糊等属性进行处理，因此本文算法在5种属性上的准确率与成功率均高于DSST、SAMF和KCF算法。LCT算法由于具有模板更新机制，也较易受到运动模糊等属性的干扰，因此本文算法在5种属性上相对于LCT算法也具有一定优势。SRDCF算法由于加入了滤波器正则，对背景混淆等属性的干扰有较好的抑制作用，因此在背景混淆和快速运动属性上的表现优于本文算法。 3.2.3　算法定性评估 3 在本节中，选择了3个具有运动模糊的视频序列来进一步分析本文提出算法的性能，跟踪视频截图如 图9 图9 所示。其中黄色的矩形框表示人工标注的真值（ground truth，GT）。 （a） MotorRolling； （b） DragonBaby； （c） Girl2 （a） MotorRolling； （b） DragonBaby； （c） Girl2 从 图9 图9 （a）中可以看出，在MotorRolling视频序列中，跟踪目标在第124，127和131帧中由于迅速移动明显变得模糊，由于SiamFC没有相应的处理机制因此丢失了目标，而本文算法由于对具有运动模糊的搜索区域进行了去模糊处理，因此可以准确捕捉到跟踪目标。在DragonBaby视频序列（ 图9 图9 （b））中，第95，101和111帧中目标由于快速运动出现了模糊；在Girl2视频序列（ 图9 图9 （c））中，跟踪目标因为相机镜头的移动而出现了运动模糊，因此在DragonBaby和Girl2视频序列中SiamFC也同样丢失了目标，而本文算法均可以较好地捕捉到目标。 3.2.4　算法跟踪速度评估 3 为了评估本文算法的跟踪速度，将本文算法与3.2.1节中6种算法在 OTB2015 数据集上的每秒跟踪帧数（frames per second，FPS） 进行比较分析，结果如 表2 表2 所示。 算法 速度/ (frame·s －１ ) KCF 175.4 LCT 29.1 DSST 22.6 SiamFC 21.3 Ours 18.4 SRDCF 7.1 SAMF 4.2 从 表2 表2 中可以看出，虽然本文算法在SiamFC的基础上增加了图像质量评估和去模糊模块，但由于只对图像质量评估得分位于我们设定的阈值范围之内的图像进行计算量较大的去模糊操作，因此本文算法速度相对于SiamFC并没有较大下降，并且相对SRDCF和SAMF等算法，本文算法的速度也有一定优势。而相对于基于相关滤波的实时性算法KCF和DSST，由于该类算法仅使用滤波器模板进行互相关操作，不需要提取深度特征，因此跟踪速度高于本文算法。LCT算法虽然引入了时空上下文信息用于长时跟踪，但由于其仍是基于相关滤波的目标跟踪算法，因此其跟踪速度相对于本文算法仍有一定优势。 3.3　UAV20L数据集实验结果 2 3.3.1　算法整体性能评估 3 在UAV20L数据集上，将本文算法与5种跟踪算法进行了对比，这5种算法分别是 DSST、KCF、SAMF、SRDCF以及SiamFC。 图10 图10 为所有算法的成功率图和准确率图。在 图10 图10 中可以看出本文算法在成功率上达到了44.7%，相对于基准算法SiamFC提升了5.4%；准确率达到了64.0%，相对于SiamFC提升了4.7%。由于UAV20L数据集中的视频序列长度相对OTB2015数据集更长，跟踪目标更易受到运动模糊等属性的干扰，基于相关滤波的实时性算法DSST、SAMF和KCF算法中的滤波器模板容易受到污染，因此本文算法相对于上述3种算法有较大优势，并且相较于加入了滤波器正则的SRDCF算法，本文算法性能也更优。 3.3.2　算法在不同属性下的性能评估 3 选取UAV20L数据集中可能引起运动模糊的5种属性对本文算法的性能进行评估。这5种属性分别是快速运动（FM），背景混淆（BC），低分辨率（LR），相机运动（camera motion，CM）和视角变化（view change，VC）。不同算法在UAV20L数据集中5种属性的成功率和准确率分别如 图11 图11 和 图12 图12 所示。由 图11 图11 和 图12 图12 可以看出，本文算法在上述5种属性下相对于基准算法SiamFC成功率分别提升了21.2%，6.5%， 18.9%，5.9%，7.9%，准确率分别提升了15.8%，5.9%，13.8%，5.3%，7.5%。由于UAV20L数据集中的视频序列长度更长，目标更易受到快速运动等属性的干扰，而本文算法由于图像质量评估模块和去模糊模块的引入，因此，整体而言，在5种属性下，相对于DSST、SAMF、KCF和SRDCF算法，本文算法的准确率和成功率均较高。 3.4　消融试验 2 为了验证本文加入的图像质量评估模块和去模糊模块的有效性，进行消融试验，结果如 表3 表3 所示。消融实验在数据集OTB2015和UAV20L上进行。第一组实验是在SiamFC框架上加入了图像质量评估模块和去模糊模块，即本文算法；第二组实验是仅仅加入去模糊模块；第三组实验是原始SiamFC算法 ［ 14 14 ］ 。 数据集 评价指标 第一组 第二组 第三组 OTB2015 成功率/% 准确率/% 速度/(frame·s -1 ) 74.6 78.7 16.7 71.9 75.8 11.4 72.3 76.3 20.5 3 UAV20L 成功率/% 58.5 53.7 54.4 准确率/% 64.0 60.5 61.1 速度/(frame·s -1 ) 18.4 11.0 21.3 由 表3 表3 可以看出，如果仅仅加入图像去模糊模块，不仅准确率和成功率相对于第一组实验均有所下降，而且由于对一些原本清晰的图片进行了去模糊处理，因此第二组的实验结果甚至相对于基准算法SiamFC也有所下降，这说明了本文引入图像质量评估模块的重要性。在算法运行速度方面，由于本文算法引入了图像模糊程度判定，因此相对于基准算法SiamFC，本文算法的速度并没有下降过多。 4　 结 语 1 本文在全卷积孪生网络SiamFC的基础上引入了基于深度学习的图像质量评估模块和图像去模糊模块，通过对图像模糊程度进行评估，在提升跟踪效果的同时，最大化减小了图像去模糊模块对于算法运行速度的影响。在OTB2015和UAV20L数据集上的实验结果表明，本文算法相较于基准算法SiamFC在跟踪准确率和成功率上均有较大提升，而相对于基于相关滤波的KCF，DSST等跟踪算法，本文算法在保证算法实时性的情况下仍取得了较大优势。同时本文算法可以较好地消除运动模糊对跟踪带来的不利影响。 参考文献 WU Y ， LIM J ， YANG M H . Object tracking benchmark ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence ， 2015 ， 37 （ 9 ）： 1834 - 1848 . DOI： 10.1109/TPAMI.2014.2388226 http://dx.doi.org/10.1109/TPAMI.2014.2388226 . Object tracking benchmark SONG Y B ， MA C ， WU X H ， et al . VITAL： Visual tracking via adversarial learning ［C］// 2018 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . New York ： IEEE Press ， 2018 ： 8990 - 8999 . DOI： 10.1109/CVPR.2018.00937 http://dx.doi.org/10.1109/CVPR.2018.00937 . VITAL： Visual tracking via adversarial learning DING J W ， HUANG K Q ， TAN T N . Tracking blurred object with data-driven tracker ［C］// 2012 IEEE Ninth International Conference on Advanced Video and Signal⁃Based Surveillance . New York ： IEEE Press ， 2012 ： 331 - 336 . DOI： 10.1109/AVSS.2012.78 http://dx.doi.org/10.1109/AVSS.2012.78 . Tracking blurred object with data-driven tracker YI W ， LING H B ， YU J Y ， et al . Blurred target tracking by blur-driven tracker ［C］// 2011 International Conference on Computer Vision . New York ： IEEE Press ， 2011 ： 1100 - 1107 . DOI： 10.1109/ICCV.2011.6126357 http://dx.doi.org/10.1109/ICCV.2011.6126357 . Blurred target tracking by blur-driven tracker YUAN L ， SUN J ， QUAN L ， et al . Image deblurring with blurred/noisy image pairs ［C］// ACM SIGGRAPH 2007 Papers on-SIGGRAPH’07 . New York ： ACM Press ， 2007 ： 1 - 11 . DOI： 10.1145/1275808.1276379 http://dx.doi.org/10.1145/1275808.1276379 . Image deblurring with blurred/noisy image pairs JIN H ， FAVARO P ， CIPOLLA R . Visual tracking in the presence of motion blur ［C］// 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition . New York ： IEEE Press ， 2005 ： 18 - 25 . DOI： 10.1109/CVPR.2005.372 http://dx.doi.org/10.1109/CVPR.2005.372 . Visual tracking in the presence of motion blur DAI S Y ， YANG M ， WU Y ， et al . Tracking motion-blurred targets in video ［C］// 2006 International Conference on Image Processing . New York ： IEEE Press ， 2006 ： 2389 - 2392 . DOI： 10.1109/ICIP.2006.312943 http://dx.doi.org/10.1109/ICIP.2006.312943 . Tracking motion-blurred targets in video DING J W ， HUANG Y Z ， LIU W ， et al . Severely blurred object tracking by learning deep image representations ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2016 ， 26 （ 2 ）： 319 - 331 . DOI： 10.1109/TCSVT.2015.2406231 http://dx.doi.org/10.1109/TCSVT.2015.2406231 . Severely blurred object tracking by learning deep image representations KUPYN O ， BUDZAN V ， MYKHAILYCH M ， et al . DeblurGAN： Blind motion deblurring using conditional adversarial networks ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern RecognitionSalt Lake City . New York ： IEEE Press ， 2018 ： 8183 - 8192 . DOI： 10.1109/CVPR.2018.00854 http://dx.doi.org/10.1109/CVPR.2018.00854 . DeblurGAN： Blind motion deblurring using conditional adversarial networks KUPYN O ， MARTYNIUK T ， WU J R ， et al . DeblurGAN-v2： Deblurring （orders-of-magnitude） faster and better ［C］// 2019 Proceedings of the IEEE/CVF International Conference on Computer Vision . New York ： IEEE Press ， 2019 ： 8878 - 8887 . DOI： 10.1109/ICCV.2019.00897 http://dx.doi.org/10.1109/ICCV.2019.00897 . DeblurGAN-v2： Deblurring （orders-of-magnitude） faster and better LIN T Y ， DOLLÁR P ， GIRSHICK R ， et al . Feature pyramid networks for object detection ［C］// 2017 IEEE Proceedings of the Conference on Computer Vision and Pattern Recognition . New York ： IEEE Press ， 2017 ： 2117 - 2125 . DOI: 10.1109/cvpr.2017.106 http://dx.doi.org/10.1109/cvpr.2017.106 . Feature pyramid networks for object detection TAO X ， GAO H Y ， SHEN X Y ， et al . Scale-recurrent network for deep image deblurring ［C］// 2018 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . New York ： IEEE Press ， 2018 ： 8174 - 8182 . DOI： 10.1109/CVPR.2018.00853 http://dx.doi.org/10.1109/CVPR.2018.00853 . Scale-recurrent network for deep image deblurring WANG X T ， CHAN K C K ， YU K ， et al . EDVR： Video restoration with enhanced deformable convolutional networks ［C］// 2019 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops . New York ： IEEE Press ， 2019 ： 1954 - 1963 . DOI： 10.1109/CVPRW.2019.00247 http://dx.doi.org/10.1109/CVPRW.2019.00247 . EDVR： Video restoration with enhanced deformable convolutional networks BERTINETTO L ， VALMADRE J ， HENRIQUES J F ， et al . Fully-convolutional siamese networks for object tracking ［C］// 2016 European Conference on Computer Vision . Berlin ： Springer ， 2016 ： 850 - 865 . DOI： 10.1007/978-3-319-48881-3_56 http://dx.doi.org/10.1007/978-3-319-48881-3_56 . Fully-convolutional siamese networks for object tracking LIU X L ， VAN DE WEIJER J ， BAGDANOV A D . RankIQA： Learning from rankings for no-reference image quality assessment ［C］// 2017 IEEE International Conference on Computer Vision . New York ： IEEE Press ， 2017 ： 1040 - 1049 . DOI： 10.1109/ICCV.2017.118 http://dx.doi.org/10.1109/ICCV.2017.118 . RankIQA： Learning from rankings for no-reference image quality assessment TALEBI H ， MILANFAR P . NIMA： Neural image assessment ［J］. IEEE Transactions on Image Processing ， 2018 ， 27 （ 8 ）： 3998 - 4011 . DOI： 10.1109/TIP.2018.2831899 http://dx.doi.org/10.1109/TIP.2018.2831899 . NIMA： Neural image assessment MUELLER M ， SMITH N ， GHANEM B . A benchmark and simulator for uav tracking ［C］// 2016 European Conference on Computer Vision . Berlin ： Springer ， 2016 ： 445 - 461 . DOI： 10.1007/978-3-319-46448-0_27 http://dx.doi.org/10.1007/978-3-319-46448-0_27 . A benchmark and simulator for uav tracking KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［J］. Advances in neural information processing systems ， 2012 ， 25 （ 1 ）： 1097 - 1105 . DOI： 10.1145/3065386 http://dx.doi.org/10.1145/3065386 . ImageNet classification with deep convolutional neural networks SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［C］// 2014 International Conference on Learning Representations . New York ： IEEE Press ， 2014 ： 1 - 15 . DOI： 10.1109/ICLR.2014.7486599 http://dx.doi.org/10.1109/ICLR.2014.7486599 . Very deep convolutional networks for large-scale image recognition SHI J P ， XU L ， JIA J Y . Discriminative blur detection features ［C］// 2014 IEEE Conference on Computer Vision and Pattern Recognition . New York ： IEEE Press ， 2014 ： 2965 - 2972 . DOI： 10.1109/CVPR.2014.379 http://dx.doi.org/10.1109/CVPR.2014.379 . Discriminative blur detection features BROOKS T ， BARRON J T . Learning to synthesize motion blur ［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New York ： IEEE Press ， 2019 ： 6840 - 6848 . DOI： 10.1109/CVPR.2019.00700 http://dx.doi.org/10.1109/CVPR.2019.00700 . Learning to synthesize motion blur LI F F ， FERGUS R ， PERONA P . Learning generative visual models from few training examples： An incremental bayesian approach tested on 101 object categories ［C］// 2004 IEEE Conference on Computer Vision and Pattern Recognition Workshop . New York ： IEEE Press ， 2004 ： 178 - 178 . DOI： 10.1109/CVPR.2004.383 http://dx.doi.org/10.1109/CVPR.2004.383 . Learning generative visual models from few training examples： An incremental bayesian approach tested on 101 object categories DANELLJAN M ， HÄGER G ， KHAN F S ， et al . Accurate scale estimation for robust visual tracking ［C］// 2014 British Machine Vision Conference . Nottingham ： BMVA Press ， 2014 ： 1 - 11 . DOI： 10.5244/C.28.65 http://dx.doi.org/10.5244/C.28.65 . Accurate scale estimation for robust visual tracking BIBI A ， MUELLER M ， GHANEM B . Target response adaptation for correlation filter tracking ［C］// 2016 European Conference on Computer Vision . Berlin ： Springer ， 2016 ： 419 - 433 . DOI： 10.1007/978-3-319-46466-4_25 http://dx.doi.org/10.1007/978-3-319-46466-4_25 . Target response adaptation for correlation filter tracking LI Y ， ZHU J K . A scale adaptive kernel correlation filter tracker with feature integration ［C］// 2014 European Conference on Computer Vision . Berlin ： Springer ， 2014 ： 254 - 265 . DOI： 10.1007/978-3-319-16181-5_18 http://dx.doi.org/10.1007/978-3-319-16181-5_18 . A scale adaptive kernel correlation filter tracker with feature integration HENRIQUES J F ， CASEIRO R ， MARTINS P ， et al . High-speed tracking with kernelized correlation filters ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2015 ， 37 （ 3 ）： 583 - 596 . DOI： 10.1109/TPAMI.2014.2345390 http://dx.doi.org/10.1109/TPAMI.2014.2345390 . High-speed tracking with kernelized correlation filters DANELLJAN M ， HÄGER G ， KHAN F S ， et al . Learning spatially regularized correlation filters for visual tracking ［C］// 2015 IEEE International Conference on Computer Vision . New York ： IEEE Press ， 2015 ： 4310 - 4318 . DOI： 10.1109/ICCV.2015.490 http://dx.doi.org/10.1109/ICCV.2015.490 . Learning spatially regularized correlation filters for visual tracking 10.14188/j.1671-8836.2021.0042 TP391.41 A 1671-8836（2021）05-0411-11 ZHANG Quanyuan，WANG Yucheng，CHEN Xi， et al .Blurred Target Tracking by Fully-Convolutional Siamese Network ［J］. J Wuhan Univ （ Nat Sci Ed ），2021，67（5）：411-421. DOI： 10.14188/j.1671-8836.2021.0042（Ch http://dx.doi.org/10.14188/j.1671-8836.2021.0042(Ch ）. ZHANG Quanyuan，WANG Yucheng，CHEN Xi，et al.Blurred Target Tracking by Fully-Convolutional Siamese Network ［J］.J Wuhan Univ（Nat Sci Ed），2021，67（5）：411-421. DOI：10.14188/j.1671-8836.2021.0042（Ch）. 章泉源,王昱程,陈曦, 等.基于全卷积孪生网络的模糊目标跟踪[J].武汉大学学报（理学版）,2021,67(5):411-421. DOI:10.14188/j.1671-8836.2021.0042 章泉源,王昱程,陈曦, 等.基于全卷积孪生网络的模糊目标跟踪[J].武汉大学学报（理学版）,2021,67(5):411-421. DOI:10.14188/j.1671-8836.2021.0042 国家重点研发计划（2016YFC0803000） 2020-03-01 2021-10-24 2021-10-12 武汉大学学报（理学版） 5 67