欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018113720988
申请人: 百度在线网络技术(北京)有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种HIVE任务执行引擎选择方法,其特征在于,包括:计算任务拓扑图中的关键路径,其中,所述关键路径上的任务是具有依赖关系的任务;

计算所述关键路径上每个任务的可延迟时间,根据所述可延迟时间选择可用新的执行引擎执行的任务;其中,所述可延迟时间是任务的最晚开始执行时间;

对所选择的任务测试新的执行引擎,根据基于所选择的任务的可延迟时间和上次执行时间所获得的测试结果确定所选择的任务的执行引擎。

2.根据权利要求1所述的方法,其特征在于,计算任务拓扑图中的关键路径包括:在任务拓扑图中,根据任务拓扑排序和各任务执行时间计算出执行时间最长的路径作为关键路径。

3.根据权利要求1所述的方法,其特征在于,根据所述可延迟时间选择可用新的执行引擎执行的任务包括:

选择所述可延迟时间大于执行时间的任务作为可用新的执行引擎执行的任务。

4.根据权利要求1所述的方法,其特征在于,对所选择的任务测试新的执行引擎,根据基于所选择的任务的可延迟时间和上次执行时间所获得的测试结果确定所选择的任务的执行引擎包括:

选择执行时间短于上次执行时间的执行引擎,并将所述执行引擎的名称记录在任务属性中。

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:对关键路径上所选择的任务测试新的执行引擎后,如果任务运行时间减少,则重新计算关键路径,重复测试步骤。

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:对根据所述可延迟时间而未选择的任务的执行引擎进行调整。

7.根据权利要求6所述的方法,其特征在于,对根据所述可延迟时间而未选择的任务的执行引擎进行调整包括:

将根据所述可延迟时间而未选择的任务组成拓扑图,同一路径中仅任务变更执行引擎执行时间缩短后继续变更后续任务的执行引擎。

8.一种HIVE任务执行引擎选择系统,其特征在于,包括:关键路径计算模块,关于计算任务拓扑图中的关键路径,其中,所述关键路径上的任务是具有依赖关系的任务;

任务选择模块,用于计算所述关键路径上每个任务的可延迟时间,根据所述可延迟时间选择可用新的执行引擎执行的任务;其中,所述可延迟时间是任务的最晚开始执行时间;

测试模块,用于对所选择的任务测试新的执行引擎,根据基于所选择的任务的可延迟时间和上次执行时间所获得的测试结果确定所选择的任务的执行引擎。

9.根据权利要求8所述的系统,其特征在于,所述关键路径计算模块具体用于:在任务拓扑图中,根据任务拓扑排序和各任务执行时间计算出执行时间最长的路径作为关键路径。

10.根据权利要求8所述的系统,其特征在于,所述任务选择模块具体用于:选择所述可延迟时间大于执行时间的任务作为可用新的执行引擎执行的任务。

11.根据权利要求8所述的系统,其特征在于,所述测试模块具体用于:选择执行时间短于上次执行时间的执行引擎,并将所述执行引擎的名称记录在任务属性中。

12.根据权利要求8所述的系统,其特征在于,所述系统还包括调度模块,用于对关键路径上所选择的任务测试新的执行引擎后,如果任务运行时间减少,则重复测试。

13.根据权利要求8所述的系统,其特征在于,所述系统还包括调整模块,用于对根据所述可延迟时间而未选择的任务的执行引擎进行调整。

14.根据权利要求13所述的系统,其特征在于,所述调整模块具体用于:将根据所述可延迟时间而未选择的任务组成拓扑图,同一路径中仅任务变更执行引擎执行时间缩短后,继续变更后续任务的执行引擎。

15.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~7中任一项所述的方法。

16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1~7中任一项所述的方法。