1.一种基于深度确定性策略梯度的虚拟网络功能迁移优化算法,其特征在于:该算法具体包括以下步骤:S1:在NFV/SDN架构下,考虑SFC资源需求动态变化,在保证底层物理资源和用户QoS需求的前提下,通过VNF迁移,并确定底层每个通用物理服务器的工作状态,实现网络能耗与SFC端到端时延的联合优化;
S2:针对状态空间和动作空间是连续值集合,采用基于深度确定性策略梯度的VNF智能迁移算法,从而得到近似最优的VNF迁移策略;
S3:在每个离散的时隙上,根据底层通用服务器工作状态、VNF的CPU资源需求以及虚拟链路的带宽资源需求,将VNF迁移至合适的目的服务器上。
2.根据权利要求1所述的一种基于深度确定性策略梯度的虚拟网络功能迁移优化算法,其特征在于:所述NFV/SDN架构包含三层:应用层主要为网络业务请求创建SFC,通过SFC为用户提供服务;虚拟化层主要负责网络状态监控和底层网络负载分析;物理层为SFC提供其实例化的物理资源,物理网络主要是由通用物理服务器组成;
所述VNF迁移为选择待迁移的VNF和迁移目的节点选取;
所述通用物理服务器的工作状态是指底层物理服务器正常工作和休眠两种状态。
3.根据权利要求1所述的一种基于深度确定性策略梯度的虚拟网络功能迁移优化算法,其特征在于:在步骤S1中,所述考虑SFC资源需求动态变化,其中SFC资源需求为VNF的CPU资源需求和虚拟链路带宽资源需求。
4.根据权利要求1所述的一种基于深度确定性策略梯度的虚拟网络功能迁移优化算法,其特征在于:在步骤S1中,所述保证底层物理资源和用户QoS需求,其中所述底层物理资源是指通用物理服务器的CPU资源和链路带宽资源,所述用户QoS需求是指用户时延不能超过最高用户时延要求。
5.根据权利要求1所述的一种基于深度确定性策略梯度的虚拟网络功能迁移优化算法,其特征在于:在步骤S1中,所述的网络能耗为:服务器待机时的能量消耗,服务器CPU负载时的能量消耗以及服务器工作状态切换时的能量消耗;所述的SFC端到端时延是指:SFC上的VNF的处理时延和虚拟链路的传输时延。
6.根据权利要求1所述的一种基于深度确定性策略梯度的虚拟网络功能迁移优化算法,其特征在于:在步骤S2中,所述状态空间为:网络拓扑状态,VNF CPU资源需求和虚拟链路带宽资源需求;所述动作空间是指VNF映射变量。
7.根据权利要求5所述的一种基于深度确定性策略梯度的虚拟网络功能迁移优化算法,其特征在于:所述的服务器工作状态切换时的能量消耗具体为:上一个时隙与当前时隙服务器的状态发生改变时产生的切换能量;所述SFC上的VNF处理时延是与底层物理通用服务器负载成正比,该底层物理通用服务器负载是指映射到该服务器上的VNF CPU资源之和与该服务器总的CPU资源的比值;所述虚拟链路的传输时延是指流通过每条虚拟链路需要的时间。
8.根据权利要求6所述的一种基于深度确定性策略梯度的虚拟网络功能迁移优化算法,其特征在于:所述网络拓扑状态为底层通用服务器的工作状态,即服务器正常工作状态与休眠状态;所述VNF映射变量为一个VNF选择一个服务器进行映射的二进制变量。
9.根据权利要求1所述的一种基于深度确定性策略梯度的虚拟网络功能迁移优化算法,其特征在于:在步骤S3中,在每个离散的时隙上,根据所述网络拓扑状态、VNF资源需求状态以及虚拟链路带宽资源需求状态将VNF迁移至合适的目的主机上,并关闭相应的底层通用服务器,实现网络能耗与SFC端到端时延的联合优化,具体步骤如下:S31:初始化各参数以及系统状态;
S32:在每个调度时隙开始时,收集当前时隙的状态,即各所述的网络拓扑状态信息、VNF CPU资源需求信息以及虚拟带宽资源需求信息;
S33:根据下式分配最优的VNF迁移动作:
其中所述A为:行动空间,即VNF映射二进制变量;
其中所述γ为:折扣因子;
其中所述Qπ(xt+1,at+1)为:下一时隙的行为值函数;
其中所述rt为:时隙t时的即时回报函数,表示为:
其中所述Ptotal(t)为网络总能耗;
其中所述Pmax为网络能耗最大值;
其中所述delayi(t)为第i条SFC的时延;
其中所述Di为第i条SFC的最长时延要求;
其中所述a1与a2为加权值,满足a1+a2=1;
S34:给定所述VNF映射变量,判断当前所述的VNF迁移策略是否满足用户最长时延要求及底层物理资源限制条件;
S35:如果不满足当前所述的VNF迁移策略,则重复上述选择最优行为的步骤;如果当前所述的VNF迁移策略满足约束条件,则将所述VNF迁移策略通知给每个VNF及底层物理通用服务器;
S36:经过数次迭代,判断是否满足收敛条件;如果不满足收敛条件,则观察下一时隙状态xt+1,重复上述步骤;
S37:按照所述VNF迁移策略,SFC上的每个VNF迁移至指定的底层通用服务器,空闲的底层通用服务器休眠,更新所述网络拓扑状态;等待下一个调度时隙。