基于马尔可夫决策过程的动态目标防御策略优化方法

基于马尔可夫决策过程的动态目标防御策略优化方法 A Strategy Optimization Model of Moving Target Defense Based on Markov Decision Process 1 2 first-author 熊鑫立，男，博士生，现从事网络空间安全动态防御技术研究。E-mail：xxlyx25@hotmail.com 熊鑫立，男，博士生，现从事网络空间安全动态防御技术研究。E-mail：xxlyx25@hotmail.com xxlyx25@hotmail.com 2 corresp E-mail: yanglin61s@yahoo.com.cn E-mail: yanglin61s@yahoo.com.cn yanglin61s@yahoo.com.cn 1 2 陆军工程大学 指挥控制工程学院，江苏 南京 210007 陆军工程大学 指挥控制工程学院，江苏 南京 210007 College of command and control engineering, Army Engineering University of PLA, Nanjing 210007, Jiangsu, China College of command and control engineering, Army Engineering University of PLA, Nanjing 210007, Jiangsu, China 信息系统安全技术重点实验室 中国人民解放军军事科学院，北京 100141 信息系统安全技术重点实验室 中国人民解放军军事科学院，北京 100141 National Key Laboratory of Science and Technology on Information System Security, Academy of Military Sciences PLA China, Beijing 100141, Beijing, China National Key Laboratory of Science and Technology on Information System Security, Academy of Military Sciences PLA China, Beijing 100141, Beijing, China 动态目标防御技术作为“改变游戏规则”的防御技术，在对抗高级持续威胁中提供了一种主动变换的防御方法。虽然已有部分动态防御技术成功应用，但针对其变化策略的研究和优化还停留在单层次、单参数上，阻碍了多层次融合的动态防御技术应用于实际部署。针对该问题，从系统角度分析了动态目标防御技术中不同参数对系统的影响，建立了系统正常服务与重配置过程模型，在此基础上，提出了基于马尔可夫决策过程的动态目标防御策略优化方法，引入 Q ⁃learning算法生成了优化策略集合，解决了多层次多变化参数集合的动态防御技术的策略优化问题。仿真实验表明，利用本文提出的优化模型和算法，计算出了优化后的动态目标防御重配置策略，该优化策略能够较好地平衡系统的可用性和安全性，指导今后动态目标防御技术实际部署问题。 Moving target defense (MTD) is a game-changing technique providing a proactive method against advanced persistent threats (APT) in cybersecurity. Although partial MTD techniques have been employed in several systems, the research of optimization for strategies is still stalled in single layer and single parameter, which hinders the world-wide application multilayer MTD technology. Focused on the MTD strategy optimization, the basic model of MTD and the influence of diverse parameters is analyzed from system view, while the model for the process of service-reconfiguration is established in this paper. Based on the Markov decision process (MDP), the MTD strategy optimization model is presented, and the Q -learning algorithm is introduced, which solves the strategy selection and state explosion of MTD. Finally, with the assessment model, a case study is given to illustrate the method by calculating the optimal strategy that can balance the system availability and security, which could guide the deployment of MTD in the future. 动态目标防御 策略优化 马尔可夫决策过程 Q ⁃learning moving target defense (MTD) strategy optimization Markov decision process Q -learning 0　 引 言 1 为限制网络空间中攻防不对称性使防御者受困于易攻难守的不利局面，动态目标防御（moving target defense，MTD） [ 1 1 ] 作为“改变游戏规则”的革命性技术之一于2011年被美国国土安全部赛博安全研发中心提出。MTD期望不断改变被保护系统的攻击面，使得攻击者获取的攻击面是随机的、动态的、不可预测的。这种不断变化的思路会增加攻击者的攻击难度及代价，有效限制系统脆弱性的暴露，减少漏洞被利用的机会，提高系统的弹性和安全性 [ 2 2 ] 。随着MTD技术研究不断深入 [ 3 3 , 4 4 ] ，大量的moving target (MT)技术被提出，这些技术从部署层次上主要可以分为三类：① 网络层MT技术，以网络参数变换为基础，如RHM [ 5 5 ] 、PPH [ 6 6 ] 和APOD [ 7 7 ] 等；② 主机层MT技术，以云平台变换和运行时环境参数变换为基础，如TALENET [ 8 8 ] 、云平台变换 [ 9 9 ] 、ISR [ 10 10 ] 和PSD [ 11 11 ] 等；③ 数据存储层MT技术，以存储多样性为基础，如RDD [ 12 12 ] 等。 虽然MT技术日益成熟，部分防御手段已经成功应用到实际系统安全防护中，但是针对MTD策略选择和优化问题仍是需要解决的重点。所以，针对MT技术的效能折中优化是目前研究的热点 [ 13 13 ] 。已有学者将博弈论和马尔可夫模型等技术应用于MTD的策略优化，如Abdelrahman等 [ 14 14 ] 针对无线网络中随机加密的MTD技术，采用随机博弈模型对单控制节点进行建模，研究了存在MT技术防御代价的情况下，纳什均衡的存在性和相关性质，提出了一种求解均衡MTD策略的算法;Sengupta等 [ 15 15 ] 针对Web应用程序的MT技术，采用重复贝叶斯博弈进行建模，研究了在不同Web配置之间切换成本存在时，生成一个有效的切换策略，并结合CVE漏洞库得到了博弈双方的现实奖励值，通过不确定的攻击输入验证了模型的鲁棒性。Lei等采用完全信息马尔可夫博弈模型 [ 16 16 ] 和不完全信息马尔可夫博弈模型 [ 17 17 ] ，提出了MTD最优策略选择算法，用以平衡防御收益和网络服务质量，分析了模型的纳什均衡解，并通过实例对该方法进行了仿真和推导，验证了该方法的可行性和有效性。 我们通过分析发现，上述方法没有很好地考虑多层次多参数组合的MTD技术的策略优化问题，且其采用的博弈论方法并没有证明均衡解与系统最优解之间的关系。所以，研究一种针对多层次MTD技术及其变化策略中多个变化参数的组合的MTD策略优化方法是十分必要的。 本文首先根据MTD技术的基本原理，从系统角度分析了部署MTD系统的服务和重配置过程；然后对现有的MTD策略优化方法进行分析，提出了基于马尔可夫决策过程（Markov decision process，MDP)的MTD策略优化模型；针对多层次多参数组合的MTD策略空间爆炸问题，采用了 Q ⁃learning算法在多项式时间内生成了优化策略；最后，通过仿真实验，对本文提出的策略优化方法的有效性和鲁棒性进行了分析。 1　 MTD系统模型 1 1.1　MTD基本原理 2 在一个部署了MTD技术的信息系统中，MT技术带来了随机性、动态性和不确定性。一个部署了多种MTD技术的系统可以抽象为 图1 图1 。 如 图1 图1 所示，一个MTD系统的变化可表示为其中的节点 S 将状态 <math id="M1"><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415940&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415939&type= 2.62466669 3.72533321 重配置到状态 <math id="M2"><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415942&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415941&type= 6.18066692 3.72533321 ，该过程可以记为 S ( <math display="block" id="M3"><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415944&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415943&type= 6.18066692 3.72533321 )= R ( S ( <math display="block" id="M4"><msub><mrow><mi>n</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415946&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415945&type= 2.62466669 3.72533321 ), <math display="block" id="M5"><mi>τ</mi><mo>,</mo><mi>ω</mi><mo>,</mo><mi>η</mi><mo>,</mo><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415948&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415947&type= 12.95399952 3.64066648 ) 其中， R ( S , <math id="M6"><mi>τ</mi><mo>,</mo><mi>ω</mi><mo>,</mo><mi>η</mi><mo>,</mo><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415950&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415949&type= 12.95399952 3.64066648 )为重配置函数， <math id="M7"><mi>τ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415952&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415951&type= 1.60866666 2.79399991 为重配置周期， <math id="M8"><mi>ω</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415954&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415953&type= 2.53999996 2.79399991 为重配置空间大小， <math id="M9"><mi>η</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415956&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415955&type= 1.86266661 3.64066648 为重配置方法， <math id="M10"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415958&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415957&type= 1.69333339 2.79399991 为重配置所需时间。从系统安全性角度考虑，一个重配置周期越短、空间越大、方法越随机的MTD技术带来的安全性提升也最大；但是从系统可用性角度考虑，一个重配置周期越长、方法越确定、所需时间越短的MTD技术对系统的影响越小。因此，在实际部署MTD技术时，必然要综合考虑系统的安全性和可用性，这就需要在每次对系统进行重配置时，根据系统状态和攻防过程对MTD技术的策略进行优化。 1.2　MTD系统服务与重配置过程 2 当目标系统部署了MTD技术时，其原本连续的系统服务过程被重配置过程打断，被切分成一个个“正常服务-策略选择-重配置”周期，其基本过程如 图2 图2 。 如 图2 图2 所示，MTD系统在一个“正常服务-策略选择-重配置”周期内包含了三个主要过程。其中系统服务占比越大则系统的可用性越好，策略选择越随机、越动态、越不确定则系统安全性越好，策略选择和重配置占比越小其对系统的性能影响也就越小。从系统安全性角度，重配置过程保证了系统的随机性、动态性和不确定性；从系统可用性角度，重配置过程打断了系统正常服务过程，降低了系统的可用性。所以，在策略选择过程中，需要解决MTD技术的安全性和可用性折中问题。因此，MTD系统在进行策略选择时，需要对系统进行建模，从而得到当前的系统状态集合、可选择的策略集合；需要设计合理的回报函数，同时考虑系统的安全性和可用性；需要选择合适的最优策略生成算法，可以在多项式时间内针对多层次MTD技术的不同变化参数集合生成最优策略。 2　 基于MDP的MTD策略优化模型 1 2.1　MDP模型与MTD策略优化建模 2 通过对MTD系统服务与重配置过程的分析，可以将该过程建模为序列决策模型。由于MTD技术带来的系统变化具有无后效性，所以可以利用马尔可夫决策过程来对MTD的策略优化进行建模。MDP是指决策者周期性或连续地观察具有马尔科夫性的随机动态系统，并顺序地做出决策 [ 18 18 ] 。该过程的特点是：系统模型只依赖于当前的系统状态和选取的策略，与历史的状态和策略无关。马尔科夫决策过程可由一个五元组描述 M =〈 T , S , A , P , R 〉 其中， T 为决策时刻集合； S 为系统状态集合； A 为可用的动作集合； P 为状态转移概率，用 P ( <math id="M11"><msup><mrow><mi>s</mi></mrow><mrow><mi>'</mi></mrow></msup><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415963&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415962&type= 9.99066734 4.31799984 表示在状态 s 执行动作 a 到达状态 <math id="M12"><msup><mrow><mi>s</mi></mrow><mrow><mi>'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415965&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415964&type= 1.69333339 3.04799986 的概率； R 为回报函数， R （ s , a )表示在状态 s 执行动作 a 得到的立即回报。 在MTD策略优化模型中，首先根据MTD系统的组成，分析其决策时刻、系统状态、可用动作集合和状态转移概率；然后提出回报函数，从而对系统的安全性和可用性进行折中；最后根据模型参数，给出最优策略的生成方法。 在MTD系统服务与重配置过程中，为了保证系统的安全性和可用性，在每次进行MTD重配置前，都需要对下一步的策略进行选择，则策略优化过程中下一步策略的选择时刻也就对应到了MDP模型中的决策时刻。如果在某次重配置前，攻击者已经完成了目标攻击，后续的重配置将不会提高系统的安全性，本文定义整个决策过程在该时刻结束，记为 <math id="M13"><msub><mrow><mi>T</mi></mrow><mrow><mi>n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415967&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415966&type= 3.72533321 3.72533321 。MTD策略优化模型是一个有限可数阶段模型，其决策时刻 T = <math id="M14"><mfenced open="{" close="}" separators="|"><mrow><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>…</mo><mo>,</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>n</mi></mrow></msub></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415969&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415968&type= 19.47333336 4.91066647 ,0 < <math id="M15"><msub><mrow><mi>T</mi></mrow><mrow><mi>n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415971&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415970&type= 3.72533321 3.72533321 < ∞。 MTD策略优化模型中的系统状态是在每个决策时刻 t 时的MTD技术的参数集合，可表示为 <math display="block" id="M16"><msub><mrow><mi>S</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mi mathvariant="normal"><</mi><msub><mrow><mi>τ</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>,</mo><msub><mrow><mi>ω</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>,</mo><msub><mrow><mi>η</mi></mrow><mrow><mi>t</mi></mrow></msub><mi mathvariant="normal">></mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415973&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415972&type= 25.90799904 4.91066647 其中， <math id="M17"><msub><mrow><mi>τ</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415975&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415974&type= 2.28600001 3.72533321 = <math id="M18"><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi>τ</mi></mrow><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>τ</mi></mrow><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>τ</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415977&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415976&type= 21.59000015 4.48733330 是 L 个层次MTD技术的重配置周期的集合， <math id="M19"><msub><mrow><mi>ω</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415979&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415978&type= 3.30199981 3.72533321 = <math id="M20"><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi>ω</mi></mrow><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>ω</mi></mrow><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>ω</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415981&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415980&type= 23.45266724 4.48733330 是 L 个层次MTD技术的重配置空间的集合， <math id="M21"><msub><mrow><mi>η</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415982&type= 2.62466669 4.57200003 = <math id="M22"><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi>η</mi></mrow><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>η</mi></mrow><mrow><mi>t</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>η</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi>L</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415985&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415984&type= 21.50533485 4.82599974 是 L 个层次MTD技术的重配置方法的集合。 MTD策略决策与优化模型中的动作集合是在每个决策时刻 t 由系统状态 <math id="M23"><msub><mrow><mi>S</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415987&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415986&type= 2.96333337 3.72533321 所决定的可用动作集合。由于系统在动作 A 的使能下从状态 S 改变到 S' ，即 <math id="M24"><mi>S</mi><mover accent="false"><mo stretchy="true">→</mo><mrow><mi>A</mi></mrow></mover><mi>S</mi><mi>'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415989&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415988&type= 15.40933418 3.38666677 ，所以本文动作集合 A 可以表示为 <math display="block" id="M25"><msub><mrow><mi>A</mi></mrow><mrow><mi>l</mi></mrow></msub><mo>=</mo><mi mathvariant="normal"><</mi><msubsup><mrow><mi>τ</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>ω</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>η</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mi mathvariant="normal">></mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415991&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415990&type= 27.94000053 5.16466665 其中， <math id="M26"><msubsup><mrow><mi>τ</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415993&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415992&type= 2.45533323 3.97933340 = <math id="M27"><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi>τ</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi><mn mathvariant="normal">1</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>τ</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi><mn mathvariant="normal">2</mn></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>τ</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi><mi>M</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415995&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415994&type= 23.28333473 4.48733330 （ <math id="M28"><mn mathvariant="normal">0</mn><mo><</mo><mi>M</mi><mo>≤</mo><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415997&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415996&type= 17.52599907 3.30199981 ）是当前决策时刻 t 中 M 个可选MTD技术的重配置周期的集合， <math id="M29"><msubsup><mrow><mi>ω</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415999&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3415998&type= 3.30199981 3.97933340 = <math id="M30"><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi>ω</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi><mn mathvariant="normal">1</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>ω</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi><mn mathvariant="normal">2</mn></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>ω</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi><mi>M</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416001&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416000&type= 25.14599991 4.48733330 ( <math id="M31"><mn mathvariant="normal">0</mn><mo><</mo><mi>M</mi><mo>≤</mo><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416003&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416002&type= 17.52599907 3.30199981 )是当前决策时刻 t 中 M 个可选MTD技术的重配置空间的集合， <math id="M32"><msubsup><mrow><mi>η</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416005&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416004&type= 2.62466669 4.82599974 = <math id="M33"><mfenced open="{" close="}" separators="|"><mrow><msubsup><mrow><mi>η</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi><mn mathvariant="normal">1</mn></mrow></msubsup><mo>,</mo><msubsup><mrow><mi>η</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi><mn mathvariant="normal">2</mn></mrow></msubsup><mo>,</mo><mo>⋯</mo><mo>,</mo><msubsup><mrow><mi>η</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi><mi>M</mi></mrow></msubsup></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416007&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416006&type= 23.19866753 4.82599974 （ <math id="M34"><mn mathvariant="normal">0</mn><mo><</mo><mi>M</mi><mo>≤</mo><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416009&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416008&type= 17.52599907 3.30199981 ）是当前决策时刻 t 中 M 个可选MTD技术的重配置方法的集合。 由于在MTD策略优化模型中，每一个动作在改变系统状态时是确定的，即每个动作会确定地改变MTD技术的配置，所以本文定义 P ( <math id="M35"><msup><mrow><mi>s</mi></mrow><mrow><mi>'</mi></mrow></msup><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416011&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416010&type= 9.99066734 4.31799984 =1, <math id="M36"><mi>s</mi><mo>,</mo><mi>s</mi><mi>'</mi><mo>∈</mo><mi>S</mi><mo>,</mo><mi>a</mi><mo>∈</mo><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416013&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416012&type= 21.08199883 3.72533321 。 在MTD策略优化模型中，由于要同时考虑MTD技术对系统安全性的提升和性能的影响，所以在设计回报函数时需要同时考虑MTD技术的有效性和性能耗费，本文定义回报函数为 R ( <math display="block" id="M37"><msup><mrow><mi>s</mi></mrow><mrow><mi>'</mi></mrow></msup><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416015&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416014&type= 9.99066734 4.31799984 = <math display="block" id="M38"><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416017&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416016&type= 4.91066647 3.72533321 ( <math display="block" id="M39"><msup><mrow><mi>s</mi></mrow><mrow><mi>'</mi></mrow></msup><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416019&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416018&type= 9.99066734 4.31799984 <math display="block" id="M40"><mo>-</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416021&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416020&type= 3.72533321 2.79399991 <math display="block" id="M41"><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416023&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416022&type= 6.43466663 3.72533321 ( <math display="block" id="M42"><msup><mrow><mi>s</mi></mrow><mrow><mi>'</mi></mrow></msup><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416025&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416024&type= 9.99066734 4.31799984 其中: <math id="M43"><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416027&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416026&type= 4.91066647 3.72533321 ( <math id="M44"><msup><mrow><mi>s</mi></mrow><mrow><mi>'</mi></mrow></msup><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416029&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416028&type= 9.99066734 4.31799984 是动作 a 的安全性回报， <math id="M45"><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416031&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416030&type= 6.43466663 3.72533321 ( <math id="M46"><msup><mrow><mi>s</mi></mrow><mrow><mi>'</mi></mrow></msup><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416033&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416032&type= 9.99066734 4.31799984 是动作 a 的性能回报。 由于需要对多层次MTD技术进行策略优化，所以其安全性回报和性能回报也应该是系统整体的评估。根据文献[ 19 19 ]中对MTD技术有效性的研究，通过评估系统攻击面的变化参数来得到安全性回报。因为在系统攻击面变化参数中，有些参数仅与系统状态有关，而与MTD技术和攻击状态无关，所以本文根据当前MTD技术的发展，选取了6个典型的攻击面变化参数，定义了系统攻击面的MTD技术安全性参数 <math display="block" id="M47"><msubsup><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow><mrow><mi mathvariant="normal">*</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416035&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416034&type= 5.07999992 3.47133350 =〈 <math display="block" id="M48"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi></mrow></msub><mo>,</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416037&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416036&type= 5.41866684 3.55599999 <math display="block" id="M49"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416039&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416038&type= 4.65666676 3.21733332 , <math display="block" id="M50"><mi>Ω</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416041&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416040&type= 2.11666679 2.37066674 , <math display="block" id="M51"><msub><mrow><mi>S</mi></mrow><mrow><mi>n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416043&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416042&type= 2.96333337 3.21733332 , <math display="block" id="M52"><msub><mrow><mi>Ψ</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416045&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416044&type= 3.81000018 3.21733332 , <math display="block" id="M53"><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416047&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416046&type= 4.23333359 3.21733332 〉 其中，*表示该攻击面参数属于外攻击面（eas）或内攻击面（ias）, <math id="M54"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">n</mi><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416049&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416048&type= 4.14866638 3.21733332 为攻击面网络位置信息，包含IP地址、端口号和协议信息； <math id="M55"><msub><mrow><mi>L</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">p</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416051&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416050&type= 4.65666676 3.21733332 为攻击面物理位置信息，包含系统中可被利用的漏洞内存地址信息； <math id="M56"><mi>Ω</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416053&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416052&type= 2.45533323 2.79399991 为攻击面中可被利用的“服务”组合； <math id="M57"><msub><mrow><mi>S</mi></mrow><mrow><mi>n</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416055&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416054&type= 2.96333337 3.21733332 为攻击面中可被利用的资源数量； <math id="M58"><msub><mrow><mi>Ψ</mi></mrow><mrow><mi mathvariant="normal">t</mi><mi mathvariant="normal">j</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416057&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416056&type= 3.81000018 3.21733332 为攻击者安装后门的信息； <math id="M59"><msub><mrow><mi>Φ</mi></mrow><mrow><mi mathvariant="normal">c</mi><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416059&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416058&type= 4.23333359 3.21733332 为攻击者所需控制的信息。系统的安全性参数包含了系统攻击面的大小（可被利用的资源数量）、强度（后门与控制信息）、形状（可被利用的资源数量）和位置（网络与物理位置），可以很好地衡量攻防对抗过程中防御的有效性。 本文根据文献[ 20 20 ]采用攻击者知识获取模型来描述攻击者的能力，并引入攻击者抽象的可利用的系统资源即外攻击面和防御者抽象的可重配置的系统资源即内攻击面来获取MTD技术安全性参数。利用Jaccard相似系数来对比外攻击面参数和内攻击面参数，从而计算出动作的安全性回报，具体计算如下式 <math display="block" id="M60"><msub><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416061&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416060&type= 4.91066647 3.72533321 (s <math display="block" id="M61"><msup><mrow/><mrow><mi>'</mi></mrow></msup><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416063&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416062&type= 8.80533314 4.31799984 = <math display="block" id="M62"><mfrac><mrow><msubsup><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>s</mi><mi>'</mi><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi></mrow></mfenced><mo stretchy="false">)</mo><mo>⋂</mo><msubsup><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>s</mi><mi>'</mi><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi></mrow></mfenced><mo stretchy="false">)</mo></mrow><mrow><msubsup><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>s</mi><mi>'</mi><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi></mrow></mfenced><mo stretchy="false">)</mo><mo>⋃</mo><msubsup><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi></mrow></msubsup><mo stretchy="false">(</mo><mi>s</mi><mi>'</mi><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi></mrow></mfenced><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416065&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416064&type= 43.09533310 9.31333351 在计算动作的性能回报时，本文根据文献[ 21 21 ]，针对重配置过程的频率和花费时间，定义了MTD技术重配置中断系数， <math id="M63"><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi></mrow><mrow><mi>l</mi></mrow></msubsup><mo>=</mo><mrow><mrow><msubsup><mrow><mi>T</mi></mrow><mrow><mi>m</mi></mrow><mrow><mi>l</mi></mrow></msubsup></mrow><mo>/</mo><mrow><msup><mrow><mi>τ</mi></mrow><mrow><mi>l</mi></mrow></msup></mrow></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416067&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416066&type= 20.23533440 3.97933340 ，其中 <math id="M64"><msubsup><mrow><mi>T</mi></mrow><mrow><mi>m</mi></mrow><mrow><mi>l</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416069&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416068&type= 4.23333359 3.97933340 为第 l 个MTD技术重配置所需时间。同时，还需考虑每个 <math id="M65"><mi>S</mi><mover accent="false"><mo stretchy="true">→</mo><mrow><mi>A</mi></mrow></mover><mi>S</mi><mi>'</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416071&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416070&type= 15.40933418 3.38666677 时不同层次MTD技术的发生次数，从而采用加权平均概念来计算动作的性能回报，具体计算如下式 <math display="block" id="M66"><mi>R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416073&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416072&type= 2.70933342 2.79399991 cost ( s <math display="block" id="M67"><msup><mrow/><mrow><mi>'</mi></mrow></msup><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi><mo stretchy="false">)</mo></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416075&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416074&type= 8.80533314 4.31799984 = <math display="block" id="M68"><mfrac><mrow><mover><mrow><munder><mrow><mo movablelimits="false">∑</mo></mrow><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder></mrow><mrow><mi>K</mi></mrow></mover><msub><mrow><mi>n</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">(</mo><mi>s</mi><mi>'</mi><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi></mrow></mfenced><mo stretchy="false">)</mo><mo>⋅</mo><msubsup><mrow><mi>R</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">r</mi></mrow><mrow><mi>k</mi></mrow></msubsup></mrow><mrow><mover><mrow><munder><mrow><mo movablelimits="false">∑</mo></mrow><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder></mrow><mrow><mi>K</mi></mrow></mover><msub><mrow><mi>n</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">(</mo><mi>s</mi><mi>'</mi><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi></mrow></mfenced><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416077&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416076&type= 29.12533188 17.86466599 其中， <math id="M69"><msub><mrow><mi>n</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">(</mo><mi>s</mi><mi>'</mi><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi></mrow></mfenced><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416079&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416078&type= 15.83266640 4.14866638 为第 k 个MTD技术在动作 a 下的重配置次数， K 为在动作 a 下进行重配置的MTD技术总数，且 <math id="M70"><mn mathvariant="normal">0</mn><mo><</mo><mi>K</mi><mo><</mo><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416081&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416080&type= 16.84866714 2.79399991 。 在马尔科夫决策过程中仅根据即时回报 R 不能对策略进行全面的评判，还需考虑延迟回报，即为当前状态下采取策略的长期影响，可定义回报的值函数 V ( s )= <math display="block" id="M71"><munder><mrow><mo movablelimits="false">∑</mo></mrow><mrow><mi>s</mi><mi>'</mi></mrow></munder><mi>P</mi><mo stretchy="false">(</mo><mi>s</mi><mi>'</mi><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi></mrow></mfenced><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416083&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416082&type= 20.06599998 6.85800028 [ <math display="block" id="M72"><mi>R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416085&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416084&type= 2.70933342 2.79399991 ( <math display="block" id="M73"><mi>s</mi><mi>'</mi><mfenced open="|" close="" separators="|"><mrow><mi>s</mi><mo>,</mo><mi>a</mi></mrow></mfenced><mo stretchy="false">)</mo><mo>+</mo><mi>γ</mi><mi>V</mi><mo stretchy="false">(</mo><mi>s</mi><mi>'</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416087&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416086&type= 26.24666595 4.14866638 ] 其中 <math id="M74"><mi>γ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416089&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416088&type= 1.94733334 3.64066648 为折扣因子。 2.2　基于 Q ⁃learning的优化策略生成算法 2 通过对MTD策略优化模型的分析，在部署了多层次MTD技术后，如果在每个决策时刻需要对不同MTD技术的重配置周期、空间和方法进行选择，那么系统状态空间就会呈指数级上涨,并且在采用策略迭代或是值迭代算法时，还需对策略回报的期望值进行计算。显然，在MTD策略优化模型下，采用一般的最优策略算法是无法在多项式时间内得到结果的。 所以，本文在计算最优策略时，采用了 Q ⁃learning算法来保证在多项式时间内生成最优策略 [ 21 21 ] 。其基本思想是对每个状态 s 和该状态上可以采用的行动 a 直接估计其回报因子 <math id="M75"><mi>Q</mi><mo stretchy="false">(</mo><mi>s</mi><mo>,</mo><mi>a</mi><mo stretchy="false">)</mo><mo>,</mo><mi>s</mi><mo>∈</mo><mi>S</mi><mo>,</mo><mi>a</mi><mo>∈</mo><mi>A</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416091&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416090&type= 30.56466866 3.55599999 ，并在选择行动时按照以下准则进行, <math display="block" id="M76"><msup><mrow><mi>a</mi></mrow><mrow><mi>n</mi></mrow></msup><mo>=</mo><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">g</mi><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>a</mi><mo>∈</mo><mi>A</mi></mrow></munder><msup><mrow><mover><mrow><mi>Q</mi></mrow><mo stretchy="true">¯</mo></mover></mrow><mrow><mo stretchy="false">(</mo><mi>n</mi><mo>-</mo><mn mathvariant="normal">1</mn><mo stretchy="false">)</mo></mrow></msup><mo stretchy="false">(</mo><mi>s</mi><mo>,</mo><mi>a</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416093&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416092&type= 39.45466614 6.01133347 其中 <math id="M77"><msup><mrow><mover><mrow><mi>Q</mi></mrow><mo stretchy="true">¯</mo></mover></mrow><mrow><mo stretchy="false">(</mo><mi>n</mi><mo stretchy="false">)</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416095&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416094&type= 6.01133347 4.57200003 为回报因子 Q 第 n 次迭代的估计值。该方法既不需要计算数学期望，也不需要估计转移状态的信息，其算法伪代码如算法1所示。 算法1 Q ⁃learning 输入：MDP参数，MTD技术参数，系统环境参数 输出： Q ( s , a ) 1. 初始化 Q ( s , a ) 2. 采用 <math id="M78"><mi>ε</mi></math> -greedy方法选取动作 a （1 <math id="M79"><mo>-</mo><mi>ε</mi></math> 随机选择） 3. 根据动作 a 得到状态 s' 4. 计算 <math id="M80"><msubsup><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi></mrow></msubsup></math> , <math id="M81"><msubsup><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">f</mi></mrow><mrow><mi mathvariant="normal">i</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">s</mi></mrow></msubsup></math> 和回报 r 5. Q ( s , a ) <math id="M82"><mo>←</mo></math> Q ( s , a )+ <math id="M83"><mi>α</mi><mo stretchy="false">[</mo><mi>r</mi><mo>+</mo><mi>γ</mi><munder><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>a</mi><mi>'</mi></mrow></munder><mi>Q</mi><mo stretchy="false">(</mo><mi>s</mi><mi>'</mi><mo>,</mo><mi>a</mi><mi>'</mi><mo stretchy="false">)</mo><mo>-</mo><mi>Q</mi><mo stretchy="false">(</mo><mi>s</mi><mo>,</mo><mi>a</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> 6. <math id="M84"><mi>s</mi><mo>←</mo><mi>s</mi><mi>'</mi></math> 7. 重复步骤2~6直至达到最大迭代次数 由于 Q ⁃learning是一个离线算法，所以其 Q 值表可以在生成具体策略之前利用先验知识进行计算，所以其时间复杂度的高低不会影响策略优化。在 Q ⁃learning算法计算得到 Q 值表后，由于MDP的最优策略选择会倾向于某一个或某几个特定的策略，在一定程度上限制了系统的随机性、动态性和不确定性，所以在实际生成策略时，本文仍按照 ε ⁃greedy算法，在最后生成的最优重配置策略中加入一定的随机动作选择，进一步保证MTD系统的随机性和不确定性，并将该策略称为MDP优化策略。 3　 仿真实验与结果分析 1 在仿真实验中，本文构建如 图3 图3 所示的网络拓扑结构，并在其中部署了相应的MTD技术，对每个MTD技术优化重配置周期和空间这两个参数，具体攻防参数如 表1 表1 和 表2 表2 所示，本文的MDP-MTDSO（Markov decision process based MTD strategies optimization）模型参数如 表3 表3 所示。在仿真实验中，本文主要考虑基于网络杀伤链的渗透攻击，并采用逻辑时间 <math id="M85"><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416099&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=3416098&type= 2.11666679 3.72533321 来代替真实时间，即在每个逻辑时间内，攻击者和防御者都可以完成1个基本动作 [ 22 22 ] 。同时，每次迭代的结束标志是攻击者达到目标。 层次 名称 参数 网络层 IP变换 τ ={50,100,200}( <math id="M86"><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> ); ω ={50,100,200}; η = pure-random; σ =10 <math id="M87"><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> 2 主机层 软件变换 τ ={200,400,600}( <math id="M88"><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> ); ω ={30,60,90}; η =pure-random; σ = 50 <math id="M89"><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> 平台变换 τ ={500,800,1 000}( <math id="M90"><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> ); ω ={3}; η =pure-random; σ = 100 <math id="M91"><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> 名称 参数 说明 探测能力 1/ <math id="M92"><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> 每个逻辑时间探测获取1个网络位置 分析能力 1/ <math id="M93"><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> 根据漏洞利用难度 ν ，每个逻辑时间分析1· ν 个漏洞 开发能力 200 <math id="M94"><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> 每个恶意软件需要200个逻辑时间 控制能力 200 <math id="M95"><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub></math> 完成攻击，需要控制目标500个逻辑时间 名称 参数 说明 <math id="M96"><mi>ε</mi></math> 0.8 贪婪因子 <math id="M97"><mi>α</mi></math> 0.1 学习因子 0.9 折扣因子 Max_itr 3 000 最大迭代次数 本文假设攻击者是理性的，他只会选择对自身最有利的攻击手段。攻击过程可简述为：攻击者以外部用户身份入侵该系统，需要收集Web服务器有关信息，利用该服务器中的漏洞对其进行攻击，获取其权限，并以它为跳板建立一条在外部用户和内部数据服务器之间的可靠连接，最终获取由内防火墙保护的数据服务器内机密数据。 为了分析本文方法的有效性和鲁棒性，针对本文提出的模型，给出MDP优化策略的结果。针对三种不同层次MTD技术，分别给出了优化后的重配置参数随模拟时间的改变情况，如图 4 4 , 5 5 , 6 6 所示。 重配置周期决定了MTD技术何时对系统资源进行变化，周期越长系统资源的确定性越高，周期越短系统资源的动态性越强。如果系统中可被攻击者利用的资源确定性高，攻击者获取攻击知识实施攻击的代价就小，系统的安全性就会降低，而此时系统增加了正常服务的占比，系统的可用性会提高；如果系统资源的动态性高，攻击者获取攻击知识实施攻击和维持控制连接代价就大，系统的安全性会提高，而此时系统降低了正常服务的占比，系统的可用性就会降低，且重配置所需时间越长对系统可用性影响就越大。重配置空间的改变不会导致系统正常服务占比的改变，即不会影响系统的可用性，但会影响系统的安全性，越小的空间意味着攻击者需要付出的代价越小。 如 图4 图4 ~ 图6 图6 所示，在仿真实验中对三种MTD技术同时优化策略中重配置的周期和空间。由于重配置周期不仅影响系统安全性也影响系统可用性，所以在 Q ⁃learning算法生成的优化策略中，其策略倾向于延长重配置周期，以提高系统的可用性。对比优化策略中 图4 图4 （a）、 图5 图5 （a）与 图6 图6 （a）的重配置周期随模拟时间变化，其中平台轮转技术所需重配置时间最长，优化策略直接将其重配置周期选定为最长；而软件变换和IP地址变换技术重配置所需时间适中，优化策略根据系统安全性变化适度延长其重配置周期。同时，重配置空间主要影响系统安全性，所以在 Q ⁃learning算法生成的优化策略中，其策略倾向于根据系统安全性和MTD重配置时间选择某个特定的策略，并根据系统状态和先前策略进行适度调整。如 图4 图4 （a）中，在优化初期由于系统具备较大的动态性，其重配置空间选定较小，但随着模拟进行，其重配置周期选定比较固定且较长，故在模拟时间后期增大重配置空间。相较于策略固定的MTD技术，这些变化体现了本文模型在优化时不断平衡系统可用性与安全性的特点。同时，从优化策略的结束点可以看出，由于从系统安全性和可用性角度进行了优化，所以攻击者完成攻击时，系统处于一个重配置较为稳定的策略中，这也反映了本文优化方法在一定程度上牺牲了系统的安全性，从而提升了系统的可用性。 此外，将纯随机选择策略与 Q ⁃learning算法优化策略相比，如 图4 图4 （b）、 图5 图5 （b）和 图6 图6 （b）所示，纯随机策略受限于策略选择的随机性，重配置周期和空间都随模拟时间进行随机变化。如果随机选择的策略重配置周期过小，则会大大降低系统的可用性，如果随机选择的策略重配置周期过大，则会大大降低系统的安全性，使纯随机策略无法平衡系统的安全性和可用性。而 Q ⁃learning算法选择的策略明显具有对系统安全性和可用性的权衡，注重策略的相对稳定性，但牺牲了部分系统的安全性。 4　 结 语 1 本文通过对现有的MTD策略优化方法进行分析，针对目前研究对多层次多变化参数结合的MTD策略优化问题，根据MTD技术基本原理给出了变化参数对系统的影响，建立了系统正常服务与重配置过程模型；通过引入马尔可夫决策过程，提出了基于MDP的MTD策略优化模型，在设计回报函数时综合考虑系统的安全性和可用性；针对多层次多变化参数场景下系统状态空间爆炸问题，采用 Q ⁃learning算法在多项式时间内生成了优化策略；采用本文提出的策略优化模型，以典型的信息系统拓扑为案例，对其变化策略进行了优化，得到了优化策略，并分析了其结果的有效性和不足。下一步将引入部分可观测马尔可夫决策过程，并考虑攻击者的智能性，从而将博弈论等方法引入策略优化模型，进一步对动态目标防御的策略选择进行研究。 参考文献 NITRD C . IWG ： Cybersecurity game-change research and development recommendations [EB/OL]. [ 2010-05-13 ]. http://www.nitrd.gov/pubs/CSIA_IWG_%20Cybersecurity_%20GameChange_RD_%20Recommendations_20100513.pdf http://www.nitrd.gov/pubs/CSIA_IWG_%20Cybersecurity_%20GameChange_RD_%20Recommendations_20100513.pdf . IWG JAJODIA S , GHOSH A K , SWARUP V , et al . Moving Target Defense [M]. New York : Springer , 2011 : 99 - 108 . Moving Target Defense JAJODIA S , GHOSH A K , SWARUP V , et al . Moving Target Defense Ⅱ : Application of Game Theory and Adversarial Modeling [M]. New York : Springer , 2012 . Moving Target Defense Ⅱ:Application of Game Theory and Adversarial Modeling 蔡桂林 , 王宝生 , 王天佐 , 等 . 移动目标防御技术研究进展 [J]. 计算机研究与发展 , 2016 , 53 ( 5 ): 968 - 987 . DOI: 10.7544/issn1000-1239.2016.20150225 http://dx.doi.org/10.7544/issn1000-1239.2016.20150225 . 移动目标防御技术研究进展 CAI G L , WANG B S , WANG T Z , et al . Research and development of moving target defense [J]. Journal of Computer Research and Development , 2016 , 53 ( 5 ): 968 - 987 . DOI:10.7544/issn1000-1239.2016.20150225 (Ch) . Research and development of moving target defense AL-SHAER E , DUAN Q , JAFARIAN J H . Random host mutation for moving target defense [C]// Proceeding of SecureComm 2012: Security and Privacy in Communication Networks . Berlin ： Springer , 2012 : 310 - 327 . Random host mutation for moving target defense BADISHI G , HERZBERG A , KEIDAR I . Keeping denial-of-service attackers in the dark [J]. IEEE Transactions on Dependable & Secure Computing , 2005 , 4 ( 3 ): 191 - 204 . Keeping denial-of-service attackers in the dark ATIGHETCHI M , PAL P , WEBBER F , et al . Adaptive use of network-centric mechanisms in cyber-defense [C]// IEEE International Symposium on Object-Oriented Real⁃Time Distributed Computing . New York : IEEE Press , 2003 : 183 . Adaptive use of network-centric mechanisms in cyber-defense OKHRAVI H , COMELLA A , ROBINSON E , et al . Creating a cyber moving target for critical infrastructure applications [J]. International Journal of Critical Infrastructure Protection , 2012 , 5 ( 1 ): 30 - 39 . Creating a cyber moving target for critical infrastructure applications PENG W , LI F , HUANG C T , et al . A moving-target defense strategy for cloud-based services with heterogeneous and dynamic attack surfaces [C]// IEEE International Conference on Communications . New York : IEEE Press , 2014 : 804 - 809 . A moving-target defense strategy for cloud-based services with heterogeneous and dynamic attack surfaces KC G S , KEROMYTIS A D , PREVELAKIS V . Countering code-injection attacks with instruction-set randomization [C]// ACM Conference on Computer and Communications Security . New York : ACM , 2003 : 272 - 280 . Countering code-injection attacks with instruction-set randomization PAPPAS V , POLYCHRONAKIS M , KEROMYTIS A D . Practical software diversification using in-place code randomization [C]// Moving Target Defense Ⅱ . New York : Springer , 2013 : 175 - 202 . Practical software diversification using in-place code randomization NGUYEN-TUONG A , EVANS D , KNIGHT J C , et al . Security through redundant data diversity [C]// IEEE International Conference on Dependable Systems and Networks with FTCS and DCC . New York : IEEE Press , 2008 : 187 - 196 . Security through redundant data diversity OKHRAVI H , HOBSON T , BIGELOW D , et al . Finding focus in the blur of moving-target techniques [J]. IEEE Security & Privacy , 2013 , 12 ( 2 ): 1 . Finding focus in the blur of moving-target techniques ABDELRAHMAN E , SAAD W ， NIYATO D . Single controller stochastic games for optimized moving target defense [C]// 2016 IEEE International Conference on Communications . New York : IEEE Press ， 2016 : 1 - 6 . Single controller stochastic games for optimized moving target defense SENGUPTA S , VADLAMUDI S G , KAMBHAMPATI S , et al . A game-theoretic approach to strategy generation for moving target defense in web applications [C]// International Conference on Autonomous Agents and Multiagent Systems (AAMAS) . New York : ACM , 2017 : 178 - 186 . A game-theoretic approach to strategy generation for moving target defense in web applications LEI C , MA D H , ZHANG H Q . Optimal strategy selection for moving target defense based on Markov game [J]. IEEE Access , 2017 , 5 ( 1 ): 156 - 169 . Optimal strategy selection for moving target defense based on Markov game LEI C , ZHANG H Q , WANG L M , et al . Incomplete information Markov game theoretic approach to strategy generation for moving target defense [J]. Computer Communications , 2018 , 116 ( 1 ): 184 - 199 . Incomplete information Markov game theoretic approach to strategy generation for moving target defense TEREFE M B , LEE H , HEO N , et al . Energy-efficient multisite offloading policy using Markov decision process for mobile cloud computing [J]. Pervasive & Mobile Computing , 2016 , 27 ( 3 ): 75 - 89 . Energy-efficient multisite offloading policy using Markov decision process for mobile cloud computing 熊鑫立 , 赵光胜 , 徐伟光 , 等 . 基于系统攻击面的动态目标防御有效性评估方法 [J]. 清华大学学报（自然科学版） , 2019 , 59 ( 4 ): 276 - 283 . 基于系统攻击面的动态目标防御有效性评估方法 XIONG X L , ZHAO G S , XU W G , et al . System attack surface based MTD effectiveness assessment model [J]. Journal of Tsinghua University (Science & Technology) , 2019 , 59 ( 4 ): 276 - 283 (Ch) . System attack surface based MTD effectiveness assessment model HAUSKNECHT M , STONE P . Deep recurrent Q -learning for partially observable MDPS [DB/OL].[ 2019-09-02 ]. https://arxiv.org/pdf/1507.06527v3.pdf https://arxiv.org/pdf/1507.06527v3.pdf . Deep recurrent Q-learning for partially observable MDPS XIONG X L , LI K C , ZHAO G S . The evaluation of performance cost for network based moving target defense [J] Journal of Physics Conference Series , 2019 : 1303 ( 012109 ). The evaluation of performance cost for network based moving target defense XIONG X L , YANG L , ZHAO G S . Effectiveness evaluation model of moving target defense based on system attack surface [J]. IEEE Access , 2019 , 7 ( 1 ): 9998 - 10014 . DOI: 10.1109/ACCESS.2019.2891613 http://dx.doi.org/10.1109/ACCESS.2019.2891613 . Effectiveness evaluation model of moving target defense based on system attack surface 10.14188/j.1671-8836.2019.0510 TP309 A 1671-8836（2020）02-0141-08 XIONG Xinli,YANG Lin,LI Kechao.A Strategy Optimization Model of Moving Target Defense Based on Markov Decision Process [J]. J Wuhan Univ （ Nat Sci Ed ）,2020,66(2):141-148. DOI:10.14188/j.1671-8836.2019.0510(Ch). XIONG Xinli,YANG Lin,LI Kechao.A Strategy Optimization Model of Moving Target Defense Based on Markov Decision Process [J].J Wuhan Univ（Nat Sci Ed）,2020,66(2):141-148. DOI:10.14188/j.1671-8836.2019.0510(Ch). 熊鑫立,杨林,李克超.基于马尔可夫决策过程的动态目标防御策略优化方法[J].武汉大学学报（理学版）,2020,66(2):141-148. DOI:10.14188/j.1671-8836.2019.0510. 熊鑫立,杨林,李克超.基于马尔可夫决策过程的动态目标防御策略优化方法[J].武汉大学学报（理学版）,2020,66(2):141-148. DOI:10.14188/j.1671-8836.2019.0510. 2019-06-30 2020-04-24 2020-09-30 武汉大学学报（理学版） 2 66