1.一种基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述基于负载均衡机制的权重优先Task任务调度方法包括:将task任务进行分类,以task任务读取速度和占用资源量的大小两个条件,将task任务分为四类;在各个worker节点上加入负载均衡模块,使之成为分布式负载均衡模型;并动态监测各worker节点上的资源使用和负载情况,在master节点上根据权值的大小,再通过与task分类情况进行映射至各个worker节点,再进行task任务的调度。
2.如权利要求1所述的基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述基于负载均衡机制的权重优先Task任务调度方法包括以下步骤;
步骤一,将task任务按照读取速度及占用资源量的大小进行分类;
步骤二,结合加权轮转算法的思想,对worker节点进行权值的计算;
步骤三,在原有模型上加入分布式负载均衡框架;
步骤四,将计算出的worker节点上的权值和task分类后的情况进行映射;并且worker权值为0的节点不进行分配,且占用数据量大且读取速度慢类型的task直接进行慢任务备份,并等待权值最大的worker节点进行分配。
3.如权利要求2所述的基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述步骤一具体包括:分为占用数据量小且读取速度快、占用数据量小且读取速度慢、占用数据量大且读取速度快、占用数据量大且读取速度慢四类;
其中判断task任务大小的方法:
判断task任务是否为慢任务的方法:
一个进程上Task平均进度增长率-所以进程上Task平均任务增长率≤σ×慢节点阈值。
4.如权利要求2所述的基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述步骤二具体包括:CU代表:CPU的利用率;MU代表:内存利用率;WCL代表:单个worker节点上负载的队列长度;capacity代表:该worker节点的权值;count代表:权值计算过程中的计算次数;
其中,CPU利用率的计算方法:
内存利用率的计算方法:
MU实时可用=M总量-MBuffer-Mcache;
其中,M总量表示内存总量;MU实时可用表示目前可以使用的内存容量;MFree表示空闲内存容量;Mcache表示缓存容量;
单个worker节点上负载的队列长度计算方法:
其中,WTask表示该worker机上负载task的数量;总Task表示正在运行的task的数量;W权值表示该worker机的权值;总权值表示所有worker机的总权值。
5.如权利要求2所述的基于负载均衡机制的权重优先Task任务调度方法,其特征在于,所述步骤四的慢任务备份条件:未在进程上失败过的task;没有备份过的task;Task所占用的资源量大;属于慢任务。