基于循环生成对抗网络的道路场景语义分割

基于循环生成对抗网络的道路场景语义分割 Road Scene Semantic Segmentation with Cycle-Consistent Adversarial Networks 1 first-author 李 智，男，硕士生，主要从事计算机视觉方面的研究。E-mail：lizhi3158@foxmail.com 李 智，男，硕士生，主要从事计算机视觉方面的研究。E-mail：lizhi3158@foxmail.com lizhi3158@foxmail.com 1 1 1 1 2 上海工程技术大学 电子电气工程学院， 上海 201620 上海工程技术大学 电子电气工程学院， 上海 201620 School of Electronic and Electrical Engineering， Shanghai University of Engineering Science， Shanghai 201620， China School of Electronic and Electrical Engineering， Shanghai University of Engineering Science， Shanghai 201620， China 华盛顿大学 电气工程系， 华盛顿 西雅图 98195 华盛顿大学 电气工程系， 华盛顿 西雅图 98195 Department of Electrical Engineering， University of Washington， Seattle 98195， Washington， USA Department of Electrical Engineering， University of Washington， Seattle 98195， Washington， USA 在无人驾驶技术中，道路场景语义分割是一个非常重要的环境感知任务。传统的基于深度学习方法需要大量像素级标注样本，限制了应用范围。本文提出一种基于循环生成对抗网络的道路场景语义分割方法，无需成对数据也可实现图像语义分割，降低对数据集的要求；使用 <math id="M1"><mi mathvariant="normal">L</mi><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207435&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207434&type= 3.72533321 2.37066674 范数和最小二乘损失方法解决训练过程中出现的模式崩溃现象，增加了训练过程的稳定性，并提高了图像分割的质量。为了验证本文方法的有效性，在常用的道路场景数据集进行实验，结果显示该方法的分割精确度有明显提高。 In driverless technology, semantic segmentation of road scenes is a very important environmental perception task. Traditional deep learning methods require a large number of pixel-level annotation samples, which limits the scope of application. In this paper, we proposed a semantic segmentation method for road scenes based on cycle-consistent adversarial network. Image semantic segmentation was realized and the dataset requirements were reduced without paired data. Meanwhile,the collapse of mode during training was solved, and the stability of the training process and the quality of generated images was improved by using L2 norm and least square loss method. In order to validate the effectiveness of the proposed method, experiments were performed on commonly used road scene datasets. The results show that the accuracy of the proposed method is obviously improved. 无人驾驶 道路场景语义分割 深度学习 循环生成对抗网络 driverless semantic segmentation of road scenes deep learning cycle-consistent adversarial network 李智,张娟,方志军, 等.基于循环生成对抗网络的道路场景语义分割[J].武汉大学学报（理学版）,2019,65(3):303-308. DOI:10.14188/j.1671-8836.2019.03.011. 0　 引 言 1 随着无人驾驶汽车技术的快速发展，车道线检测 ［ 1 1 ］ 、行人检测 ［ 2 2 ］ 、交通标志识别 ［ 3 3 ］ 、道路场景语义分割 ［ 4 4 ］ 等技术都得到了关注，这些任务有很大的挑战性。道路场景语义分割是对道路场景图像中不同语义，即场景中物体的类别进行分割，它是图像语义分割 ［ 5 5 ］ 领域在现实中的应用，受到极大的关注。 近几年深度学习（deep learning）获得了重大进展，特别是卷积神经网络在图像语义分割方面取得了一系列成果 ［ 6 6 ~ 9 9 6~9 ］ 。然而由于利用卷积神经网络进行图像语义分割方法 ［ 10 10 ］ 基于有监督算法，需要大量标记样本，标记样本需要达到像素级标注。根据文献［ 11 11 ］，像素级标注图像的耗时相较于图像定位多15倍，这限制了基于卷积神经网络的图像语义分割方法的应用范围。 生成对抗网络 ［ 12 12 ］ （generative adversarial networks，GAN），对于半监督学习的发展具有重要意义，在学习过程中不需要数据标签，可以解决一般网络模型过于依赖数据量及标签的缺点。虽然生成对抗网络对半监督学习有一定的启发意义，但是生成对抗网络并不完美，它在解决已有问题的同时也引入了一些新的问题。比如生成对抗网络生成的样本虽然具有多样性，但是存在模式崩溃 ［ 13 13 ］ （mode collapse）问题，即可能生成多样的，但差异不大的样本。 2017年，Zhu等 ［ 14 14 ］ 提出了循环生成对抗网络（cycle-consistent adversarial networks， CycleGAN）。这种方法相较于传统生成对抗网络，有两点改进：一是将网络的输入改为给定的图片数据，传统生成对抗网络的输入是随机噪声，因此，传统生成对抗网络只能随机生成图片，无法控制输出图片的质量；二是无需成对数据，传统的生成对抗网络需要成对数据，即每一张图片都有一张对应的真实标注图片，而循环生成对抗网络无需成对数据，因此循环生成对抗网络相较于传统生成对抗网络，应用更广泛，对数据量和标签的要求更低。但该方法的训练过程不稳定，根据文献［ 13 13 ］的研究，使用对抗损失函数（adversarial loss）的生成对抗网络在（近似）最优判别模型下，会导致生成模型梯度（近似）为0，即梯度消失。 本文改进了循环生成对抗网络，将循环生成对抗网络中的目标函数对抗损失函数替换为最小二乘损失函数（least squares loss） ［ 15 15 ］ ，增加了训练过程的稳定性，提高了图像分割的质量；并使用L2范数解决了训练过程中出现的模式崩溃问题。 1　 本文方法 1 1.1　循环生成对抗网络 2 原始生成对抗网络的目标是学习噪声向量 <math id="M2"><mi mathvariant="bold-italic">Z</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207437&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207436&type= 2.37066674 2.79399991 与输出图像 <math id="M3"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207439&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207438&type= 2.87866688 2.79399991 之间的映射关系 ［ 12 12 ］ ，即 <math id="M4"><mi>G</mi><mo>:</mo><mi mathvariant="bold-italic">Z</mi><mo>→</mo><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207441&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207440&type= 14.90133286 3.04799986 。而循环生成对抗网络 ［ 14 14 ］ 是学习观察图像 X 与输出图像 Y 之间的映射关系，即 <math id="M5"><mi>G</mi><mo>:</mo><mi>X</mi><mo>→</mo><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207443&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207442&type= 15.15533447 3.04799986 。本文使用的方法相较GAN，无需在训练数据之间建立一对一的映射。 图1 图1 给出了本文方法的整体流程示意。 图1 图1 （a）给出了循环生成对抗网络结构，分别有一对生成模型（generator）和一对判别模型（discriminator），生成模型 G 将源域 X 中的图片映射到目标域 <math id="M6"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207446&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207445&type= 2.87866688 2.79399991 中，即 <math id="M7"><mi>G</mi><mo>:</mo><mi>X</mi><mo>→</mo><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207449&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207447&type= 15.15533447 3.04799986 ；与之相反，生成模型 <math id="M8"><mi>F</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207452&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207451&type= 2.53999996 2.79399991 将目标域 <math id="M9"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207454&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207453&type= 2.87866688 2.79399991 中的图片映射到源域 X 中，即 <math id="M10"><mi>F</mi><mo>:</mo><mi>Y</mi><mo>→</mo><mi>X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207458&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207456&type= 14.90133286 3.04799986 。 图1 图1 （b）给出了循环生成对抗网络正向训练过程，输入图像 <math id="M11"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207460&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207459&type= 2.03200006 2.79399991 经过生成模型 G 生成 <math id="M12"><mover accent="true"><mrow><mi>Y</mi></mrow><mo stretchy="true">̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207462&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207461&type= 2.87866688 3.64066648 ，判别模型 <math id="M13"><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207464&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207463&type= 4.57200003 3.72533321 判别生成模型 <math id="M14"><mi>G</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207467&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207465&type= 2.79399991 2.79399991 生成的图片是真实样本还是生成样本， <math id="M15"><mover accent="true"><mrow><mi>Y</mi></mrow><mo stretchy="true">̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207469&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207468&type= 2.87866688 3.64066648 通过生成模型 F 生成 <math id="M16"><mover accent="true"><mrow><mi>x</mi></mrow><mo stretchy="true">̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207471&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207470&type= 2.03200006 2.79399991 ，本文要求 <math id="M17"><mover accent="true"><mrow><mi>x</mi></mrow><mo stretchy="true">̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207473&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207472&type= 2.03200006 2.79399991 与输入图片 <math id="M18"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207475&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207474&type= 2.03200006 2.79399991 相似，即： <math id="M19"><mover accent="true"><mrow><mi>x</mi></mrow><mo stretchy="true">̂</mo></mover><mo>=</mo><mi>F</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>≈</mo><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207477&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207476&type= 28.44799995 3.55599999 ； 图1 图1 （c）给出了循环生成对抗网络反向训练过程，输入图像 y 经过生成模型 F 生成 <math id="M20"><mover accent="true"><mrow><mi>X</mi></mrow><mo stretchy="true">̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207479&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207478&type= 2.62466669 3.64066648 ，判别模型 <math id="M21"><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207481&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207480&type= 4.40266657 3.72533321 判别生成模型 F 生成的图片是真实样本还是生成样本， <math id="M22"><mover accent="true"><mrow><mi>X</mi></mrow><mo stretchy="true">̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207483&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207482&type= 2.62466669 3.64066648 通过生成模型 G 生成 <math id="M23"><mover accent="true"><mrow><mi>y</mi></mrow><mo stretchy="true">̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207485&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207484&type= 1.86266661 3.72533321 ，本文要求 <math id="M24"><mover accent="true"><mrow><mi>y</mi></mrow><mo stretchy="true">̂</mo></mover></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207487&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207486&type= 1.86266661 3.72533321 与输入图片 y 在最大程度上相似，即： <math id="M25"><mover accent="true"><mrow><mi>y</mi></mrow><mo stretchy="true">̂</mo></mover><mo>=</mo><mi>G</mi><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>≈</mo><mi>y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207489&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207488&type= 28.19400024 3.81000018 。 1.1.1　最小二乘损失 3 本文使用最小二乘损失 ［ 15 15 ］ 改进循环生成对抗网络中出现的训练不稳定问题。对于生成模型 G 以及它对应的判别模型 <math id="M26"><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207494&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207493&type= 4.57200003 3.72533321 ，损失函数定义如下： <math display="block" id="M27"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">N</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub><mo>,</mo><mi>X</mi><mo>,</mo><mi>Y</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi mathvariant="normal">E</mi></mrow><mrow><mi>y</mi><mo>~</mo><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mo stretchy="false">(</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub><msup><mrow><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">)</mo><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">]</mo><mo>+</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207496&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207495&type= 72.64399719 5.84200001 <math display="block" id="M28"><msub><mrow><mi mathvariant="normal">E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced></mrow></msub></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><msup><mrow><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207498&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207497&type= 33.10466385 5.50333357 对于生成模型 F 以及它对应的判别模型 <math id="M29"><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207500&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207499&type= 4.40266657 3.72533321 ，损失函数定义如下： <math display="block" id="M30"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">N</mi></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub><mo>,</mo><mi>Y</mi><mo>,</mo><mi>X</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi mathvariant="normal">E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi mathvariant="normal">p</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced></mrow></msub></mrow></msub><mo stretchy="false">[</mo><mo stretchy="false">(</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub><msup><mrow><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">]</mo><mo>+</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207502&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207501&type= 73.15200043 5.50333357 <math display="block" id="M31"><msub><mrow><mi mathvariant="normal">E</mi></mrow><mrow><mi>y</mi><mo>~</mo><msub><mrow><mi mathvariant="normal">p</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></msub></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><msup><mrow><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207504&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207503&type= 32.59666443 5.84200001 1.1.2　 <math id="M32"><mi mathvariant="normal">L</mi><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207506&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207505&type= 4.31799984 2.79399991 范数 3 为了解决生成对抗网络训练过程中出现的模式崩溃问题，本文引入 <math id="M33"><mi mathvariant="normal">L</mi><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207508&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207507&type= 4.31799984 2.79399991 范数 ［ 16 16 ］ 解决。根据 <math display="block" id="M34"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><mover accent="true"><mrow><mi>x</mi></mrow><mo stretchy="true">̂</mo></mover><mo>=</mo><mi>F</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>≈</mo><mi>x</mi></mtd></mtr><mtr><mtd><mover accent="true"><mrow><mi>y</mi></mrow><mo stretchy="true">̂</mo></mover><mo>=</mo><mi>G</mi><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>≈</mo><mi>y</mi></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207510&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207509&type= 29.71799850 9.90599918 <math id="M35"><mi mathvariant="normal">L</mi><mn mathvariant="normal">2</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207513&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207511&type= 4.31799984 2.79399991 范数损失函数定义为： <math display="block" id="M36"><mi>L</mi><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><mi>F</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi mathvariant="normal">E</mi></mrow><mrow><mi>x</mi><mo>~</mo><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mfenced separators="|"><mrow><mi>x</mi></mrow></mfenced></mrow></msub></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>F</mi><mo stretchy="false">(</mo><mi>G</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>-</mo><mi>x</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">]</mo><mo>+</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207515&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207514&type= 63.07666779 5.33399963 <math display="block" id="M37"><msub><mrow><mi mathvariant="normal">E</mi></mrow><mrow><mi>y</mi><mo>~</mo><msub><mrow><mi>p</mi></mrow><mrow><mi mathvariant="normal">d</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mfenced separators="|"><mrow><mi>y</mi></mrow></mfenced></mrow></msub></mrow></msub><mo stretchy="false">[</mo><msub><mrow><mfenced open="‖" close="‖" separators="|"><mrow><mi>G</mi><mo stretchy="false">(</mo><mi>F</mi><mo stretchy="false">(</mo><mi>y</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>-</mo><mi>y</mi></mrow></mfenced></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207517&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207516&type= 41.31733322 5.92666674 1.1.3　目标函数 3 本文最终的目标函数定义如下： <math display="block" id="M38"><mi>L</mi><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><mi>F</mi><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">N</mi></mrow></msub><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub><mo>,</mo><mi>X</mi><mo>,</mo><mi>Y</mi><mo stretchy="false">)</mo><mo>+</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207519&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207518&type= 62.06066895 4.48733330 <math display="block" id="M39"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">A</mi><mi mathvariant="normal">N</mi></mrow></msub><mo stretchy="false">(</mo><mi>F</mi><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub><mo>,</mo><mi>Y</mi><mo>,</mo><mi>X</mi><mo stretchy="false">)</mo><mo>+</mo><mi>λ</mi><mi>L</mi><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><mi>F</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207521&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207520&type= 47.83666611 4.48733330 其中，生成模型 G，F 与判别模型 <math id="M40"><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207523&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207522&type= 4.40266657 3.72533321 ， <math id="M41"><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207525&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207524&type= 4.57200003 3.72533321 目标如下： <math display="block" id="M42"><msup><mrow><mi>G</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo>,</mo><msup><mrow><mi>F</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msup><mo>=</mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">g</mi><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow><mrow><mi>G</mi><mo>,</mo><mi>F</mi></mrow></munder><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub></mrow></munder><mi>L</mi><mo stretchy="false">(</mo><mi>G</mi><mo>,</mo><mi>F</mi><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>X</mi></mrow></msub><mo>,</mo><msub><mrow><mi>D</mi></mrow><mrow><mi>Y</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207527&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207526&type= 58.58933258 5.58799982 1.2　生成模型 2 生成模型由三个部分组成：编码器、转换器和解码器 ［ 17 17 ］ 。参考文献［ 14 14 ］，输入图像大小固定为256×256×3。图像经过编码器之后，输出尺寸为64×64×256。之后使用6层Resnet ［ 18 18 ］ 模块实现转换器的功能。解码器与编码器的作用完全相反，使用3层反卷积层实现，最终得到一个大小为256×256×3的生成图。生成模型的结构如 图2 图2 所示。 1.3　判别模型 2 判别模型的作用是预测生成模型的输出结果为原始图像还是生成模型的输入图像。判别模型的网络结构只由编码器组成，本文使用5层卷积层实现；最后一层产生1维输出的卷积层确定这些特征是否属于特定类别。判别模型的结构如 图3 图3 所示。 2　 实验结果与分析 1 2.1　实验环境与方式 2 本文实验操作系统为64位Windows 10。算法基于TensorFlow框架，版本为1.8.0，编程语言为Python 3.5。本文所有的实验均在显卡GTX1080Ti下进行。 实验分为3组：1） 本文算法收敛实验；2） 对不同测试图像运用本文算法生成图像；3） 本文算法与其他算法对比，本组的测试样本数量为500。 2.2　数据集 2 实验使用数据集Cityscapes ［ 19 19 ］ 。Cityscapes是图像语义分割领域的基准数据集，包括50个城市的街道图像，共计20 000幅粗略标注图像，5 000幅精细标注图像；为了测试本文方法的有效性，随机选取其中200幅原始图像以及200幅精细标注图像进行训练。 2.3　算法收敛实验 2 图4 图4 所示为生成模型根据街道图像生成的一些街道语义分割图像，测试图像包括非结构化道路、高速公路、十字路口等多种场景的道路。可以看出，随着训练轮数的增加，生成器生成的街道语义分割效果会更好。 2.4　生成结果对比实验 2 本组实验选取了2 475张图像训练，500张图像用于测试，测试图片包含弯道、狭窄小路、双向车道等。开始实验之前先将图像压缩到256×256，之后经过生成器输出生成图片，然后判别器判别生成图片是否为生成的，之后利用生成器与判别器的输出结果计算生成损失与判别损失。随机抽取5组输出，如 图5 图5 所示。实验结果表明对于各种道路场景，生成效果明显。 2.5　与其他算法对比实验 2 为验证本文使用的改进循环生成对抗网络方法的有效性，选择3个常用的性能指标 ［ 5 5 ］ 度量：像素准确率（pixel accuracy， PA）、平均准确率（mean accuracy， MA）与平均IU（mean intersection over union， mean IU）。分别定义如下： <math display="block" id="M43"><mi mathvariant="normal">P</mi><mi mathvariant="normal">A</mi><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>c</mi><mi>l</mi></mrow></msub></mrow></munderover></mstyle><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mi>i</mi></mrow></msub></mrow><mo>/</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>c</mi><mi>l</mi></mrow></msub></mrow></munderover></mstyle><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207541&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207540&type= 28.10933304 9.31333351 <math display="block" id="M44"><mi mathvariant="normal">M</mi><mi mathvariant="normal">A</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>c</mi><mi>l</mi></mrow></msub></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>c</mi><mi>l</mi></mrow></msub></mrow></munderover></mstyle><mrow><mfrac><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mi>i</mi></mrow></msub></mrow><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></mfrac></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207543&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207542&type= 25.23066711 9.31333351 <math display="block" id="M45"><mi mathvariant="normal">m</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">I</mi><mi mathvariant="normal">U</mi><mo>=</mo><mfrac><mrow><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>c</mi><mi>l</mi></mrow></msub></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>c</mi><mi>l</mi></mrow></msub></mrow></munderover></mstyle><mrow><mfrac><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mi>i</mi></mrow></msub></mrow><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>+</mo><msubsup><mo>∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>c</mi><mi>l</mi></mrow></msub></mrow></msubsup><mrow><mo stretchy="false">(</mo><msub><mrow><mi>n</mi></mrow><mrow><mi>j</mi><mi>i</mi></mrow></msub><mo>-</mo><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mrow></mfrac></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207546&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207544&type= 53.93266296 15.32466698 其中， <math id="M46"><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207548&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207547&type= 3.21733332 3.72533321 为分类 i 的像素被预测为属于分类 j 的像素数量， <math id="M47"><msub><mrow><mi>n</mi></mrow><mrow><mi>c</mi><mi>l</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207550&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207549&type= 3.47133350 3.72533321 为类别的数量， <math id="M48"><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>c</mi><mi>l</mi></mrow></msub></mrow></munderover></mstyle><mrow><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mi>j</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207553&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=4207552&type= 15.40933418 9.73666668 为分类 i 的总像素数。 表1 表1 所示为不同方法在数据集上的性能对比，其中与本文做对比的算法的分割精确度均由文献[ 14 14 ]提供。 方法 PA MA meanIU CoGAN [ 20 20 ] 0.45 0.11 0.08 BiGAN [ 21 21 ] 0.41 0.13 0.07 SimGAN [ 22 22 ] 0.47 0.11 0.07 CycleGAN [ 14 14 ] 0.58 0.22 0.16 Ours 0.60 0.22 0.18 CoGAN ［ 20 20 ］ 有两个相互独立的生成对抗网络模型，在训练过程中生成模型和判别模型共享参数。BiGAN ［ 21 21 ］ 的生成器由两个网络模型组成：编码器和解码器。它们同时被训练用于和判别器形成对抗关系。文献［ 22 22 ］提出“模拟+无监督学习”的方法（SimGAN），可以使用合成和未标记的数据训练网络。 在相同数据集以及同数量的训练/测试样本前提下，本文算法的像素准确率、平均准确率、meanIU比CoGAN、BiGAN、SimGAN的提高了30%以上；同时，比CycleGAN的像素准确率和meanIU也有一定的提高，说明使用最小二乘损失对提高生成对抗网络生成图片质量有明显帮助。 从 图6 图6 可看出，本文算法的效果明显比CoGAN、BiGAN、SimGAN的好。 图6 图6 中第一行，CoGAN对车的识别效果很差。 图6 图6 中第二行展示了较为复杂场景下的识别效果，CoGAN，BiGAN，SimGAN以及CycleGAN均出现了识别错误以及图片模糊的情况。本文算法也存在一些问题，如在 图6 图6 第三行中，街道拐角的轮廓并不光滑。但从整体效果来看，本文算法相较于其他算法取得了更好的分割结果。 3　 结 语 1 本文使用循环生成对抗网络将街道图片转换成街道场景语义分割图片。该方法与传统生成对抗网络方法有所不同，但生成结果相较于基准方法有提升。未来工作在于改进循环生成对抗网络的网络结构，加快网络收敛速度，提高图片分割质量。 参考文献 刘富强 ， 张姗姗 ， 朱文红 ， 等 . 一种基于视觉的车道线检测与跟踪算法 ［J］. 同济大学学报（自然科学版） ， 2010 ， 38 （ 2 ）： 223 - 229 . DOI： 10.3969/j.issn.0253-374x.2010.02.013 http://dx.doi.org/10.3969/j.issn.0253-374x.2010.02.013 . 一种基于视觉的车道线检测与跟踪算法 LIU F Q ， ZHANG S S ， ZHU W H ， et al . A vision-based lane detection and tracking algorithm ［J］. Journal of Tongji University （Natural Science） ， 2010 ， 38 （ 2 ）： 223 - 229 . DOI： 10.3969/j.issn.0253-374x.2010.02.013（Ch http://dx.doi.org/10.3969/j.issn.0253-374x.2010.02.013（Ch ）. A vision-based lane detection and tracking algorithm 施培蓓 ， 刘贵全 ， 汪中 . 基于快速增量学习的行人检测方法 ［J］. 小型微型计算机系统 ， 2015 ， 36 （ 8 ）： 1837 - 1841 . 基于快速增量学习的行人检测方法 SHI P B ， LIU G Q ， WANG Z . Fast incremental learning method for pedestrian detection ［J］. Journal of Chinese Computer Systems ， 2015 ， 36 （ 8 ）： 1837 - 1841 （Ch） . Fast incremental learning method for pedestrian detection 徐岩 ， 王权威 ， 韦镇余 . 一种融合加权ELM和AdaBoost的交通标志识别算法 ［J］. 小型微型计算机系统 ， 2017 ， 38 （ 9 ）： 2028 - 2032 . DOI： 10.3969/j.issn.1000-1220.2017.09.021 http://dx.doi.org/10.3969/j.issn.1000-1220.2017.09.021 . 一种融合加权ELM和AdaBoost的交通标志识别算法 XU Y ， WANG Q W ， WEI Z Y . Traffic sign recognition algorithm combining weighted ELM and AdaBoost ［J］. Journal of Chinese Computer Systems ， 2017 ， 38 （ 9 ）： 2028 - 2032 . DOI： 10.3969/j.issn.1000-1220.2017.09.021.（Ch http://dx.doi.org/10.3969/j.issn.1000-1220.2017.09.021.（Ch ）. Traffic sign recognition algorithm combining weighted ELM and AdaBoost 魏云超 ， 赵耀 . 基于DCNN的图像语义分割综述 ［J］. 北京交通大学学报 ， 2016 ， 40 （ 4 ）： 82 - 91 . DOI： 10.11860/j.issn.1673-0291.2016.04.013 http://dx.doi.org/10.11860/j.issn.1673-0291.2016.04.013 . 基于DCNN的图像语义分割综述 WEI Y C ZHAO Y . A review on image semantic segmentation based on DCNN ［J］. Journal of Beijing Jiaotong University ， 2016 ， 40 （ 4 ）： 82 - 91 . DOI： 10.11860/j.issn.1673-0291.2016.04.013（Ch http://dx.doi.org/10.11860/j.issn.1673-0291.2016.04.013（Ch ）. A review on image semantic segmentation based on DCNN 姜枫 ， 顾庆 ， 郝慧珍 ， 等 . 基于内容的图像分割方法综述 ［J］. 软件学报 ， 2017 ， 28 （ 1 ）： 160 - 183 . DOI： 10.13328/j.cnki.j0s.005136 http://dx.doi.org/10.13328/j.cnki.j0s.005136 . 基于内容的图像分割方法综述 JIANG F ， GU Q ， HAO H Z ， et al . Survey on content-based image segmentation methods ［J］. Journal of Software ， 2017 ， 28 （ 1 ）： 160 - 183 . DOI： 10.13328/j.cnki.j0s.005136（Ch http://dx.doi.org/10.13328/j.cnki.j0s.005136（Ch ）. Survey on content-based image segmentation methods LONG J ， SHELHAMER E ， DARRELL T . Fully convolutional networks for semantic segmentation ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Piscataway ： IEEE ， 2015 ： 3431 - 3440 . Fully convolutional networks for semantic segmentation CHEN L C ， PAPANDREOU G ， et al . Deeplab： Semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 4 ）： 834 - 848 . DOI： 10.1109/TPAMI.2017.2699184 http://dx.doi.org/10.1109/TPAMI.2017.2699184 . Deeplab： Semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs ZHENG S ， JAYASUMANA S ， ROMERA-PAREDES B ， et al . Conditional random fields as recurrent neural networks ［C］// Proceedings of the IEEE International Conference on Computer Vision . Piscataway ： IEEE ， 2015 ： 1529 - 1537 . DOI： 10.1109/ICCV.2015.179 http://dx.doi.org/10.1109/ICCV.2015.179 . Conditional random fields as recurrent neural networks CHEN L C ， YANG Y ， WANG J ， et al . Attention to scale： Scale-aware semantic image segmentation ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Piscataway ： IEEE ， 2016 ： 3640 - 3649 . Attention to scale： Scale-aware semantic image segmentation LIN G ， SHEN C ， VAN DEN HENGEL A ， et al . Efficient piecewise training of deep structured models for semantic segmentation ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Piscataway ： IEEE ， 2016 ： 3194 - 3203 . Efficient piecewise training of deep structured models for semantic segmentation LIN T Y ， MAIRE M ， BELONGIE S ， et al . Microsoft coco： Common objects in context ［C］// Proceedings of the European Conference on Computer Vision . Berlin ： Springer ， 2014 ： 740 - 755 . Microsoft coco： Common objects in context GOODFELLOW I ， POUGET-ABADIE J ， MIRZA M ， et al . Generative adversarial nets ［C］// Proceedings of the Advances in Neural Information Processing Systems . Massachusetts ： MIT Press ， 2014 ： 2672 - 2680 . Generative adversarial nets ARJOVSKY M ， CHINTALA S ， BOTTOU L . Wasserstein GAN ［EB/OL］. ［ 2017-01-26 ］. https：//arxiv.org/pdf/1701.07875.pdf https://arxiv.org/pdf/1701.07875.pdf . Wasserstein GAN ZHU J Y ， PARK T ， ISOLA P ， et al . Unpaired Image-to-image Translation Using Cycle-Consistent Adversarial Networks ［EB/OL］. ［ 2017-03-30 ］. https：//arxiv.org/pdf/1703.10593.pdf https://arxiv.org/pdf/1703.10593.pdf . Unpaired Image-to-image Translation Using Cycle-Consistent Adversarial Networks MAO X D ， LI Q ， XIE H R ， et al . Least squares generative adversarial networks ［C］// Proceedings of the IEEE International Conference on Computer Vision . Piscataway ： IEEE ， 2017 ： 2813 - 2821 . Least squares generative adversarial networks PATHAK D ， KRAHENBUHL P ， DONAHUE J ， et al . Context encoders： Feature learning by inpainting ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Piscataway ： IEEE ， 2016 ： 2536 - 2544 . Context encoders： Feature learning by inpainting BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . Segnet： A deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 . DOI： 10.1109/TPAMI.2016.2644615 http://dx.doi.org/10.1109/TPAMI.2016.2644615 . Segnet： A deep convolutional encoder-decoder architecture for image segmentation HE K ， ZHANG X ， REN S ， et al . Identity mappings in deep residual networks ［C］// Proceedings of the European Conference on Computer Vision . Berlin ： Springer ， 2016 ： 630 - 645 . Identity mappings in deep residual networks CORDTS M ， OMRAN M ， RAMOS S ， et al . The cityscapes dataset for semantic urban scene understanding ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Piscataway ： IEEE ， 2016 ： 3213 - 3223 . The cityscapes dataset for semantic urban scene understanding LIU M Y ， TUZEL O . Coupled generative adversarial networks ［C］// Proceedings of the Advances in Neural Information Processing Systems . Massachusetts ： MIT Press ， 2016 ： 469 - 477 . Coupled generative adversarial networks DUMOULIN V ， BELGHAZI I ， POOLE B ， et al . Adversarially Learned Inference ［EB/OL］. ［ 2017-01-26 ］. https：//arxiv.org/pdf/1701.07875.pdf https://arxiv.org/pdf/1701.07875.pdf . Adversarially Learned Inference SHRIVASTAVA A ， PFISTER T ， TUZEL O ， et al . Learning from simulated and unsupervised images through adversarial training ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . Piscataway ： IEEE ， 2017 ： 2107 - 2116 . Learning from simulated and unsupervised images through adversarial training 10.14188/j.1671-8836.2019.03.011 TP 391 A 1671-8836（2019）03-0303-06 LI Zhi,ZHANG Juan,FANG Zhijun, et al .Road Scene Semantic Segmentation with Cycle-Consistent Adversarial Networks [J]. J Wuhan Univ （ Nat Sci Ed ）,2019,65(3):303-308. DOI: 10.14188/j.1671-8836.2019.03.011 http://dx.doi.org/10.14188/j.1671-8836.2019.03.011 (Ch). LI Zhi,ZHANG Juan,FANG Zhijun,et al.Road Scene Semantic Segmentation with Cycle-Consistent Adversarial Networks [J].J Wuhan Univ（Nat Sci Ed）,2019,65(3):303-308. DOI:10.14188/j.1671-8836.2019.03.011(Ch). 李智,张娟,方志军, 等.基于循环生成对抗网络的道路场景语义分割[J].武汉大学学报（理学版）,2019,65(3):303-308. DOI:10.14188/j.1671-8836.2019.03.011 李智,张娟,方志军, 等.基于循环生成对抗网络的道路场景语义分割[J].武汉大学学报（理学版）,2019,65(3):303-308. DOI:10.14188/j.1671-8836.2019.03.011 国家自然科学基金（61702322， 61772328， 61801288） 2018-07-04 2019-06-24 2020-11-28 武汉大学学报（理学版） 3 65