欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 201810208263X
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述基于负载均衡机制的权重优先Task任务调度方法包括:将task任务进行分类,以task任务读取速度和占用资源量的大小两个条件,将task任务分为四类;在各个worker节点上加入负载均衡模块,使之成为分布式负载均衡模型;并动态监测各worker节点上的资源使用和负载情况,在master节点上根据权值的大小,再通过与task分类情况进行映射至各个worker节点,再进行task任务的调度;

所述基于负载均衡机制的权重优先Task任务调度方法包括以下步骤;

步骤一,将task任务按照读取速度及占用资源量的大小进行分类;

步骤二,结合加权轮转算法的思想,对worker节点进行权值的计算;

步骤三,在原有模型上加入分布式负载均衡框架;

步骤四,将计算出的worker节点上的权值和task分类后的情况进行映射;并且worker权值为0的节点不进行分配,且占用数据量大且读取速度慢类型的task直接进行慢任务备份,并等待权值最大的worker节点进行分配;

所述步骤一具体包括:分为占用数据量小且读取速度快、占用数据量小且读取速度慢、占用数据量大且读取速度快、占用数据量大且读取速度慢四类;

其中判断task任务大小的方法:

判断task任务是否为慢任务的方法:一个进程上Task平均进度增长率‑进程上Task平均任务增长率≤σ慢节点阈。

2.如权利要求1所述的基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述步骤二具体包括:CU代表:CPU的利用率;MU代表:内存利用率;WCL代表:单个worker节点上负载的队列长度;capacity代表:该worker节点的权值;count代表:权值计算过程中的计算次数;

其中,CPU利用率的计算方法:

内存利用率的计算方法:

MU实时可用=M总量‑MBuffer‑Mcache;

其中,M总量表示内存总量;MU实时可用表示目前可以使用的内存容量;MFree表示空闲内存容量;Mcache表示缓存容量;

单个worker节点上负载的队列长度计算方法:其中,WTask表示该worker机上负载task的数量;总Task表示正在运行的task的数量;W权值表示该worker机的权值;总权值表示所有worker机的总权值。

3.如权利要求1所述的基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述步骤四的慢任务备份条件:未在进程上失败过的task;没有备份过的task;Task所占用的资源量大;属于慢任务。