1.一种基于数据存储的计算资源扩展系统,包括云储存系统,其特征在于,所述云存储系统包括数据面和元数据面,其中所述数据面用于存储用户数据,所述元数据面用于存储数据对应的元信息,所述用户数据包括数据量和访问量,用户的所述数据量和访问量的增加会导致元数据面存储的条目数和查询量增加,所述元数据面的扩展性会直接影响到整个云储存系统的扩展性;
所述元数据面包括元数据存储底座、链接元数据存储底座的数据目录单元一、链接元数据存储底座的数据目录单元二;
所述数据目录单元一存储商品信息,同时支持商品信息目录形成及商品信息文件形成;
所述数据目录单元二存储商品文件的位置信息列表,并额外增加每个商品文件的传输路径,为每个商品文件可以转换计算系统提供路径,每个商店拥有独立的计算系统;
将一个商店设置为一个存储节点,每个存储节点需要具备足够的计算能力和存储能力,以支持计算任务的处理和数据的存储,存储节点的设计应考虑到计算和存储的平衡,以及节点之间的通信和协同处理,设置每个存储节点为A
2.根据权利要求1所述的一种基于数据存储的计算资源扩展系统,其特征在于,在每个所述存储节点内设置有任务调度算法,即设置每个存储节点内的计算能力为C,此处的计算能力为预期可计算能力,将C按照0-100%的运算负载划分,0为存储节点计算能力最强,100%为存储节点计算能力最弱,在0-100%的运算划分过程中设置不同的负载标准:
0-60%:商店的计算能力优异,符合任务调度算法完全启动的标准;
60%-90%:商店的计算能力满负载,符合任务调度算法部分启动的标准;
90%-100%:商店的计算能力超负载,不符合任务调度算法启动的标准;
每个商店的计算能力为固定数值,最高为100%,当A
3.根据权利要求2所述的一种基于数据存储的计算资源扩展系统,其特征在于,每个文件分为若干个文件块,每个文件块存储在一个表层文件夹中,若干个表层文件夹构成一个底层文件夹,文件部分即表层文件夹,通过所选择的存储节点的可计算能力选择表层文件夹数量。
4.根据权利要求3所述的一种基于数据存储的计算资源扩展系统,其特征在于,由于商品信息处理分布在多个存储节点上进行,并且商品信息之间可能存在数据依赖关系,因此在任务调度算法中设置数据一致性维护,数据一致性维护能够确保商品信息在不同节点上的执行结果一致,并保证数据的正确性和可靠性,当计算结果通过传输路径返回,此计算结果独立存储备份,此计算结果独立存储备份可以被获取使用,在自身存储节点的计算能力低于60%时,对此计算结果进行验算,计算结果传输过程中可能出现数据遗失等情况,若是验算结果正确,则继续使用计算结果,若是验算结果不正确,则通过自身存储节点重新计算结果,并系统通知出来。
5.根据权利要求4所述的一种基于数据存储的计算资源扩展系统,其特征在于,所述用户数据的数据量包括用户进入商店时录入的身份信息和数据面计算得出的用户信息,每个用户的身份信息包括用户进入商店的频率和购买商品记录,数据面计算得出的用户信息包括用户平均进入商店的频率、距离上一次进入商店的时间和预计购买商品;
预计购买商品基于购买商品记录计算得出,将用户购买过的商品进行第一次标记,通过前七次的购买记录形成用户的购买习惯数据库,并将用户多次购买的商品进行第二次标记,并将第一次标记删除,第一次标记为用户购买习惯形成标记,标记出来的商品非完全用户喜欢使用商品,第二次标记商品为用户重复购买的商品,在用户登录商店app时,将第二次标记商品展示在首页,以供用户直接获取购买渠道,同时在首页或者第二页推荐第二次标记商品相关商品,确保首页的商品信息利用率最大化,为了保证计算能力稳定性。
6.根据权利要求5所述的一种基于数据存储的计算资源扩展系统,其特征在于,使用标记删除的方式降低占用计算能力范围的数据占比,要被删除的标记最终会被分为多个小标记,被注销用户的信息也需要被删除,要被删除的用户信息被分为多个信息块,小标记和信息块存储在垃圾数据区内,采用逐一删除的方式缩短连续垃圾数据区的长度,我们将数据删除的压力分散开,将垃圾数据区拆成多个小片,同时增强单个存储节点处理垃圾数据的能力,缓解其对查询的性能影响,利用两次划分缩小垃圾数据的长度,确保每次删除的速度快,且便于中间穿插其它数据计算任务。
7.根据权利要求6所述的一种基于数据存储的计算资源扩展系统,其特征在于,在垃圾数据删除过程中,若是存储节点的计算能力不超过60%,则暂停垃圾数据删除任务,穿插进入其它计算任务,最大化便利于用户,若是存储节点的计算能力超过60%,则开始垃圾数据删除任务,确保计算能力不受垃圾数据影响,显著提高系统的性能。
8.根据权利要求7所述的一种基于数据存储的计算资源扩展系统,其特征在于,用户进入商店,第二次标记商品会通过短信形式推送至用户移动端,使得第二次标记商品始终被用户优先选择。