欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020100563990
申请人: 深圳点链科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种云计算基于强化学习的虚拟机迁移方法,其特征在于,包括以下步骤:S1:采集负载数据,采用引入IOWA算子的组合预测方法预测每个虚拟机的负载;

S2:依据步骤S1中虚拟机的负载预测结果,计算每个服务节点的负载与平均负载之间的差,确定服务节点的负载状态;

S3,初始化数据中心的强化学习模型,即状态集、动作集、状态转移概率、收益和折扣因子;

S4:确定强化学习的每一组状态‑行为对Q(s,a)的值,即在状态s下采用行为a的收益值;

S5:使用贪心算法选择行为a;对于每一个服务节点的状态,根据Q(s,a)的值选择收益最高的行为a;

S6:收集数据中心系统的反馈信息,包括数据中心的功耗、负载方差、平均资源利用率;

S7:根据强化学习的结果进行虚拟机的迁移调度,更新服务节点的状态到s ,并更新状′态行为对Q(s ,a)的值;

S8:循环S1到S7直至目标值达到最优或者迭代次数达到阈值;

所述步骤S1中使用引入的IOWA算子的组合预测方法包括:(1)使用线性回归对负载进行预测,得出预测结果Lt;

(2)使用支持向量回归对负载进行预测,得出预测结果St;

(3)引入IOWA算子,对于上述两个预测结果进行加权组合,得出预测结果Pt=w1*Lt+w2*St,其中w1,w2即为IOWA算子;

所述步骤S2中确定服务节点的负载状态包括:

将CPU,RAM,Disk作为负载衡量的标准,考虑综合负载表示,为单个负载因子赋予权重,如Wcpu,WRAM,Wdisk,Wbandwidth;综合负载Load可以表示为:其中Wcpu+WRAM+Wdisk+Wbandwidth=1,“i”是服务节点的编号;

所述步骤S3中定义强化学习模型包括:

(1)定义强化学习的状态空间S:一组有限的数据中心状态集,包括每个服务节点的负载与平均负载之间的差值 以及数据中心负载分布映射关系,其中是数据中心的平均负载;

(2)定义强化学习中的动作集合A:是一组有限的数据中心动作集,包括3个动作,分别为迁入虚拟机,迁出虚拟机,保持不变;

′ ′

(3)定义系统的回报函数为Rt(s,s),记为从状态s转移到状态s时虚拟机的迁移数量以及数据中心功耗降低百分比;

所述步骤S7更新状态‑行为对Q(s,a)的值的方法包括:根据之前步骤的在状态s采取的行为a以及其对应的收益,更新Q(s,a)′

这时将系统状态由s转换为s,Q(st,at)表示在t时刻状态s下采用行为a的收益值,α表示学习率,γ 为折扣因子,ft+1表示一段时间内数据中心的反馈值,该反馈值表示为其中 表示数据中心t时刻整体负载的平均值, 表示数据中心t时刻的负载方差,k1,k2表示两个数值的权重,当数据中心整体平均利用率过低时可以设定k1>k2,当数据中心负载方差较高,也就是负载不均衡时可以设定k2>k1。

2.根据权利要求1所述的一种云计算基于强化学习的虚拟机迁移方法,其特征在于,所述步骤S1采集的负载数据包括: 分别表示第“t”时刻第“i”个虚拟机对应的资源的负载,采用的负载预测方法为,引入诱导有序加权平均算子(IOWA)的负载组合预测算法,预测结果记为:分别表示第“t+1”时刻第“i”个虚拟机机对应资源的预测负载。

3.根据权利要求1所述的一种云计算基于强化学习的虚拟机迁移方法,其特征在于,所述步骤S3,定义数据中心的强化学习模型,该模型可以用一个五元组:(S,A,Rt(.,.),Pt(.,.),γ)来描述:S是一组有限的数据中心状态集,包括数据中心负载分布映射关系以及每台主机的预测负载状态与数据中心平均负载之间的差值;A是一组有限的数据中心动作′ ′集,即虚拟机的迁移策略;强化学习收益可以用Rt(s,s)来表示,记为从状态s转移到状态s′ ′时功耗降低百分比;Pt(s,s)表示从状态s转移到状态s的概率;γ表示折扣因子。