欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021107247344
申请人: 未鲲(上海)科技服务有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-08-27
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于数据库迁移的数据验证方法,其特征在于,所述基于数据库迁移的数据验证方法包括:响应于数据验证请求,根据所述数据验证请求获取源数据库及目标数据库,其中,从所述源数据库迁移数据至所述目标数据库;

在数据迁移的过程中,每隔预设时间间隔获取所述目标数据库中的表格作为已迁移数据表,并从所述源数据库中获取与所述已迁移数据表对应的表格作为基准数据表;

验证所述已迁移数据表的数量与所述基准数据表的数量是否一致;

当所述已迁移数据表的数量与所述基准数据表的数量一致时,从所述已迁移数据表中获取数值型数据作为第一数据,及从所述基准数据表中获取数值型数据作为第二数据;

根据所述第一数据及所述第二数据验证数据一致性;

当所述数据一致性通过验证时,从所述已迁移数据表中获取字符型数据作为第三数据,及从所述基准数据表中获取字符型数据作为第四数据;

对所述第三数据进行清洗,得到第五数据,及对所述第四数据进行清洗,得到第六数据;

根据所述第五数据及所述第六数据验证字符一致性;

当所述字符一致性通过验证时,确定所述已迁移数据表中的数据通过验证,并继续从所述源数据库迁移数据至所述目标数据库。

2.如权利要求1所述的基于数据库迁移的数据验证方法,其特征在于,所述根据所述数据验证请求获取源数据库及目标数据库包括:解析所述数据验证请求,得到所述数据验证请求所携带的信息;

获取预先配置的第一标签及第二标签,其中,所述第一标签对应于所述源数据库的数据库标识,所述第二标签对应于所述目标数据库的数据库标识;

根据所述第一标签建立第一正则表达式,及根据所述第二标签建立第二正则表达式;

利用所述第一正则表达式遍历所述数据验证请求所携带的信息,并将遍历到的与所述第一正则表达式相匹配的信息确定为所述源数据库的数据库标识,根据所述源数据库的数据库标识确定所述源数据库;

利用所述第二正则表达式遍历所述数据验证请求所携带的信息,并将遍历到的与所述第二正则表达式相匹配的信息确定为所述目标数据库的数据库标识,根据所述目标数据库的数据库标识确定所述目标数据库。

3.如权利要求1所述的基于数据库迁移的数据验证方法,其特征在于,所述根据所述第一数据及所述第二数据验证数据一致性包括:计算所述第一数据的数据总和,及计算所述第二数据的数据总和;

获取所述第一数据中的最大值及所述第一数据中的最小值,以及获取所述第二数据中的最大值及所述第二数据中的最小值;

计算所述第一数据的标准差,及计算所述第二数据的标准差;

当所述第一数据的数据总和与所述第二数据的数据总和一致,且所述第一数据中的最大值与所述第二数据中的最大值一致,且所述第一数据中的最小值与所述第二数据中的最小值一致,及所述第一数据的标准差与所述第二数据的标准差一致时,确定所述数据一致性通过验证;或者当所述第一数据的数据总和与所述第二数据的数据总和不一致,及/或所述第一数据中的最大值与所述第二数据中的最大值不一致,及/或所述第一数据中的最小值与所述第二数据中的最小值不一致,及/或所述第一数据的标准差与所述第二数据的标准差不一致时,确定所述数据一致性未通过验证。

4.如权利要求1所述的基于数据库迁移的数据验证方法,其特征在于,所述根据所述第五数据及所述第六数据验证字符一致性包括:对所述第五数据进行去重处理,得到所述第五数据中的字符类别及字符类别数量,以及对所述第六数据进行去重处理,得到所述第六数据中字符类别及字符类别数量;

获取所述第五数据中每个字符类别的记录及总记录数,以及获取所述第六数据中每个字符类别的记录及总记录数;

根据所述第五数据中每个字符类别的记录计算所述第五数据对应的第一和值;

根据所述第六数据中每个字符类别的记录计算所述第六数据对应的第二和值;

获取所述第五数据中每个字符类别的记录中的最大值及所述第五数据中每个字符类别的记录中的最小值;

获取所述第六数据中每个字符类别的记录中的最大值及所述第六数据中每个字符类别的记录中的最小值;

计算所述第五数据的标准差及计算所述第六数据的标准差;

当所述第五数据中的字符类别与所述第六数据中的字符类别一致,且所述第五数据中的字符类别数量与所述第六数据中的字符类别数量一致,且所述第五数据中每个字符类别的总记录数与所述第六数据中每个字符类别的总记录数一致,且所述第一和值与所述第二和值一致,且所述第五数据中每个字符类别的记录中的最大值与所述第六数据中每个字符类别的记录中的最大值一致,且所述第五数据中每个字符类别的记录中的最小值与所述第六数据中每个字符类别的记录中的最小值一致,且所述第五数据的标准差与所述第六数据的标准差一致时,确定所述字符一致性通过验证;或者当所述第五数据中的字符类别与所述第六数据中的字符类别不一致,及/或所述第五数据中的字符类别数量与所述第六数据中的字符类别数量不一致,及/或所述第五数据中每个字符类别的总记录数与所述第六数据中每个字符类别的总记录数不一致,及/或所述第一和值与所述第二和值不一致,及/或所述第五数据中每个字符类别的记录中的最大值与所述第六数据中每个字符类别的记录中的最大值不一致,及/或所述第五数据中每个字符类别的记录中的最小值与所述第六数据中每个字符类别的记录中的最小值不一致,及/或所述第五数据的标准差与所述第六数据的标准差不一致时,确定所述字符一致性未通过验证。

5.如权利要求4所述的基于数据库迁移的数据验证方法,其特征在于,所述根据所述第五数据中每个字符类别的记录计算所述第五数据对应的第一和值包括:在所述第五数据中,从每个字符类别的记录中获取每次记录的记录值;

计算每个字符类别对应的每次记录的记录值的累加和作为每个字符类别的记录值总和;

利用每个字符类别的记录值总和进行和运算,得到所述第五数据对应的第一和值。

6.如权利要求1所述的基于数据库迁移的数据验证方法,其特征在于,所述方法还包括:当所述已迁移数据表的数量与所述基准数据表的数量不一致,及/或所述数据一致性未通过验证,及/或所述字符一致性未通过验证时,停止从所述源数据库迁移数据至所述目标数据库;

生成告警信息,并将所述告警信息发送至指定终端设备。

7.如权利要求6所述的基于数据库迁移的数据验证方法,其特征在于,所述将所述告警信息发送至指定终端设备包括:当检测到所述告警信息时,确定完成验证;

将所述告警信息传输至Kafka;

连接至邮件通知接口;

当所述邮件通知接口监控到所述Kafka消费了所述告警信息时,通过所述邮件通知接口发送带有所述告警信息的提示邮件至所述指定终端设备。

8.一种基于数据库迁移的数据验证装置,其特征在于,所述基于数据库迁移的数据验证装置包括:获取单元,用于响应于数据验证请求,根据所述数据验证请求获取源数据库及目标数据库,其中,从所述源数据库迁移数据至所述目标数据库;

所述获取单元,还用于在数据迁移的过程中,每隔预设时间间隔获取所述目标数据库中的表格作为已迁移数据表,并从所述源数据库中获取与所述已迁移数据表对应的表格作为基准数据表;

验证单元,用于验证所述已迁移数据表的数量与所述基准数据表的数量是否一致;

所述获取单元,还用于当所述已迁移数据表的数量与所述基准数据表的数量一致时,从所述已迁移数据表中获取数值型数据作为第一数据,及从所述基准数据表中获取数值型数据作为第二数据;

所述验证单元,还用于根据所述第一数据及所述第二数据验证数据一致性;

所述获取单元,还用于当所述数据一致性通过验证时,从所述已迁移数据表中获取字符型数据作为第三数据,及从所述基准数据表中获取字符型数据作为第四数据;

清洗单元,用于对所述第三数据进行清洗,得到第五数据,及对所述第四数据进行清洗,得到第六数据;

所述验证单元,还用于根据所述第五数据及所述第六数据验证字符一致性;

迁移单元,用于当所述字符一致性通过验证时,确定所述已迁移数据表中的数据通过验证,并继续从所述源数据库迁移数据至所述目标数据库。

9.一种计算机设备,其特征在于,所述计算机设备包括:

存储器,存储至少一个指令;及

处理器,执行所述存储器中存储的指令以实现如权利要求1至7中任意一项所述的基于数据库迁移的数据验证方法。

10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被计算机设备中的处理器执行以实现如权利要求1至7中任意一项所述的基于数据库迁移的数据验证方法。