欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021102995724
申请人: 湖南人文科技学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种舆情大数据处理系统,通过网络爬虫的方式采集数据并对采集的数据进行分析,其特征在于,至少包括处理单元(100),处理单元(100)配置为:基于分类算法对历史数据进行分类训练以获取舆情网络传输结构中的中心节点和边缘节点;

基于多元回归的方式预测中心节点与边缘节点彼此转换的第一概率;

基于第一概率构建关于中心节点与边缘节点彼此转换的第一集合,并基于等概率的方式随机选取第一集合内的至少一个节点作为采集数据的起始节点;

基于起始节点按照其包含的节点的层次深浅进行逐层搜索,并按照起始节点及其包含的节点能够构建闭合回路形成节点路径的方式进行搜索;基于起始节点搜索第一集合内能够构成闭合回路的多个节点路径中彼此重合比例大于第一阈值的至少两个节点路径。

2.根据权利要求1所述的舆情大数据处理系统,其特征在于,处理单元(100)配置为:在采集数据超过第一时间后检测第一集合内的节点是否发生转换;

剔除未发生变化的节点生成第二集合;

随机选取第二集合内的至少一个节点作为采集数据的起始节点。

3.根据权利要求1所述的舆情大数据处理系统,其特征在于,处理单元(100)配置为:预测中心节点与边缘节点彼此转换的多个节点之间连接断开的第二概率;

选择第二概率最大的至少一对节点作为采集数据的起始节点。

4.根据权利要求2所述的舆情大数据处理系统,其特征在于,在第一集合/第二集合内节点的个数小于第二阈值的情况下,处理单元(100)配置为基于等概率的方式随机选取第一集合/第二集合内的所有节点。

5.根据权利要求2所述的舆情大数据处理系统,其特征在于,在第一集合/第二集合内节点的个数大于第二阈值的情况下,处理单元(100)配置为:随机选取至少一个节点进行采集并解析其包含的节点;

每隔第二时间选取新的节点,并优先基于该新的节点进行搜索。

6.根据权利要求5所述的舆情大数据处理系统,其特征在于,处理单元(100)配置为每间隔第三时间对已选取的节点的优先权进行评估,其中,处理单元(100)配置为将处理时间超过第三时间的已选取的节点的处理优先级调至最低,并基于间隔的第二时间的次数的累积增加其优先级。

7.一种舆情大数据处理方法,通过网络爬虫的方式采集数据并对采集的数据进行分析,其特征在于,所述方法包括:基于分类算法对历史数据进行分类训练以获取舆情网络传输结构中的中心节点和边缘节点;

基于多元回归的方式预测中心节点与边缘节点彼此转换的第一概率;

基于第一概率构建关于中心节点与边缘节点彼此转换的第一集合,并基于等概率的方式随机选取第一集合内的至少一个节点作为采集数据的起始节点;

基于起始节点按照其包含的节点的层次深浅进行逐层搜索,并按照起始节点及其包含的节点能够构建闭合回路形成节点路径的方式进行搜索;

基于起始节点搜索第一集合内能够构成闭合回路的多个节点路径中彼此重合比例大于第一阈值的至少两个节点路径。