欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018110417353
申请人: 平安普惠企业管理有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-04-17
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种日志数据处理方法,其特征在于,所述方法包括:

数据传输组件根据接收到的数据采集请求确定本次数据采集对应的目标数据源和所述目标数据源中所保存数据的数据类型;

所述数据传输组件根据所述数据类型调用对应的预置脚本对所述目标数据源进行数据采集,对采集到的日志数据进行初始化处理获得初始化日志数据,并将所述初始化日志数据发送至预设消息集群;

所述预设消息集群根据接收到的所述初始化日志数据生成消息队列,在接收到所述数据传输组件发送的消息拉取请求时,将所述消息队列发送至所述数据传输组件;

所述数据传输组件根据所述消息队列确定消费顺序,按所述消费顺序对所述预设消息集群中存放的日志数据进行消费,并将消费后的日志数据发送至数据搜索组件进行保存。

2.如权利要求1所述的方法,其特征在于,所述数据传输组件根据所述数据类型调用对应的预置脚本对所述目标数据源进行数据采集,对采集到的日志数据进行初始化处理获得初始化日志数据,并将所述初始化日志数据发送至预设消息集群的步骤,包括:所述数据传输组件根据所述数据类型调用对应的预置脚本对所述目标数据源进行数据采集;

所述数据传输组件获取预先定义的过滤规则,并根据所述过滤规则对采集到的日志数据进行过滤;

所述数据传输组件将过滤后的日志数据转换成预设格式的初始化日志数据,并将所述初始化日志数据发送至预设消息集群。

3.如权利要求2所述的方法,其特征在于,所述数据传输组件根据所述数据类型调用对应的预置脚本对所述目标数据源进行数据采集的步骤,包括:所述数据传输组件在确定出所述数据类型为数据库数据或应用日志时,调用预设的监听脚本对所述目标数据源进行数据采集。

4.如权利要求1所述的方法,其特征在于,所述数据传输组件根据所述数据类型调用对应的预置脚本对所述目标数据源进行数据采集,对采集到的日志数据进行初始化处理获得初始化日志数据,并将所述初始化日志数据发送至预设消息集群的步骤,包括:所述数据传输组件在确定出所述数据类型为访问日志时,调用预置脚本对所述目标数据源进行数据采集,获取用户访问日志;

所述数据传输组件根据预先配置的安全策略的对所述用户访问日志进行信息过滤获得初始化日志数据,将所述初始化日志数据发送至预设消息集群。

5.如权利要求3或4所述的方法,其特征在于,所述预设消息集群根据接收到的所述初始化日志数据生成消息队列,在接收到所述数据传输组件发送的消息拉取请求时,将所述消息队列发送至所述数据传输组件的步骤,包括:所述预设消息集群接收所述初始化日志数据,确定所述初始化日志数据所属的消息类别;

所述预设消息集群根据确定出的消息类别对所述初始化日志数据进行分类存储,并根据存储结果生成包含有所述消费顺序的消息队列;

所述预设消息集群在接收到所述数据传输组件发送的消息拉取请求时,将所述消息队列发送至所述数据传输组件。

6.如权利要求5所述的方法,其特征在于,所述数据传输组件根据所述消息队列确定消费顺序,按所述消费顺序对所述预设消息集群中存放的日志数据进行消费,并将消费后的日志数据发送至数据搜索组件进行保存的步骤,包括:所述数据传输组件根据所述消息队列确定消费顺序,按所述消费顺序对所述预设消息集群中存放的日志数据进行消费;

所述数据传输组件在获取到数据搜索组件发送的数据获取指令时,确定所述数据搜索组件发送所述数据获取指令的发送时间参数;

所述数据传输组件调用预置插件提取所述初始化日志数据中包含的原始时间参数,根据所述原始时间参数对所述发送时间参数进行参数重定义;

所述数据传输组件在完成所述参数重定义时,将消费后的日志数据发送至所述数据搜索组件进行保存。

7.如权利要求6所述的方法,其特征在于,所述数据传输组件调用预置插件提取所述初始化日志数据中包含的原始时间参数,根据所述原始时间参数对所述发送时间参数进行参数重定义的步骤,包括:所述数据传输组件调用预置插件提取所述初始化日志数据中包含的原始时间参数,对所述原始时间参数进行格式化获得目标格式的日期字段;

所述数据传输组件根据所述日期字段对所述发送时间参数中的日期字段进行替换,以实现对所述发送时间参数的重定义。

8.一种日志数据处理系统,其特征在于,所述系统包括:数据传输组件、数据搜索组件和预设消息集群;

其中,所述数据传输组件,用于根据接收到的数据采集请求确定本次数据采集对应的目标数据源和所述目标数据源中所保存数据的数据类型;

所述数据传输组件,还用于根据所述数据类型调用对应的预置脚本对所述目标数据源进行数据采集,对采集到的日志数据进行初始化处理获得初始化日志数据,并将所述初始化日志数据发送至所述预设消息集群;

所述预设消息集群,用于根据接收到的所述初始化日志数据生成消息队列,在接收到所述数据传输组件发送的消息拉取请求时,将所述消息队列发送至所述数据传输组件;

所述数据传输组件,还用于根据所述消息队列确定消费顺序,按所述消费顺序对所述预设消息集群中存放的日志数据进行消费,并将消费后的日志数据发送至所述数据搜索组件进行保存。

9.一种日志数据处理设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志数据处理程序,所述日志数据处理程序配置为实现如权利要求1至7中任一项所述的日志数据处理方法的步骤。

10.一种存储介质,其特征在于,所述存储介质上存储有日志数据处理程序,所述日志数据处理程序被处理器执行时实现如权利要求1至7任一项所述的日志数据处理方法的步骤。