欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020113141605
申请人: 平安普惠企业管理有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-04-17
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种数据同步方法,其特征在于,包括下述步骤:根据触发的数据同步指令,获取同步配置文件;

基于所述同步配置文件对spark进行设置;

通过所述同步配置文件访问数据源表,并对所述数据源表中的待同步数据进行数据分割;

将分割后的待同步数据分配给所述spark中的各进程;

通过所述各进程对所述分割后的待同步数据进行同步。

2.根据权利要求1所述的数据同步方法,其特征在于,在所述根据触发的数据同步指令,获取同步配置文件之前,还包括:当接收到终端发送的配置指令时,通过所述终端展示同步配置页面;

通过所述终端获取所述同步配置页面中输入的任务配置信息;

根据所述任务配置信息生成同步配置文件。

3.根据权利要求1所述的数据同步方法,其特征在于,所述基于所述同步配置文件对spark进行设置包括:

从所述同步配置文件中提取数据源地址和数据源表名;

根据所述数据源地址访问所述数据源表名对应的数据源表;

获取所述数据源表中待同步数据的数据量;

根据获取到的数据量对spark进行进程设置和内存设置。

4.根据权利要求1所述的数据同步方法,其特征在于,所述通过所述同步配置文件访问数据源表,并对所述数据源表中的待同步数据进行数据分割包括:通过所述同步配置文件访问数据源表;

在所述数据源表中查询待同步数据;

对查询到的待同步数据进行数据分割,其中,数据分割方式包括:伪列分割、结果伪列分割、时间分割或随机字段分割。

5.根据权利要求4所述的数据同步方法,其特征在于,所述在所述数据源表中查询待同步数据包括:

从所述同步配置文件中读取预设的数据分割方式;

当所述数据分割方式为结果伪列分割时,获取预设的创建截止时间和查询条件;

通过所述创建截止时间和所述查询条件,在所述数据源表中查询待同步数据。

6.根据权利要求1所述的数据同步方法,其特征在于,所述将分割后的待同步数据分配给所述spark中的各进程包括:将分割后的待同步数据分配给所述各进程,并通过所述各进程将分配到的待同步数据持久化到所述spark的预设磁盘中。

7.根据权利要求6所述的数据同步方法,其特征在于,所述通过所述各进程对所述分割后的待同步数据进行同步包括:从所述同步配置文件中获取目标存储目录;

通过所述各进程将所述预设磁盘中的待同步数据同步到所述目标存储目录,并删除所述预设磁盘中的待同步数据。

8.一种数据同步装置,其特征在于,包括:文件获取模块,用于根据触发的数据同步指令,获取同步配置文件;

设置模块,用于基于所述同步配置文件对spark进行设置;

源表访问模块,用于通过所述同步配置文件访问数据源表,并对所述数据源表中的待同步数据进行数据分割;

数据分配模块,用于将分割后的待同步数据分配给所述spark中的各进程;

数据同步模块,用于通过所述各进程对所述分割后的待同步数据进行同步。

9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的数据同步方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的数据同步方法。