1.基于MapReduce框架的编码分布式计算方法,其特征是,包括步骤如下:步骤1、将给定的输入文件进行无重复的平均划分,得到 个输入文件子集;
步骤2、从0~K'‑1个整数中随机选择 个整数作为每个输入文件子集的标记;
步骤3、将每个节点的编号分别对节点因子K'进行取模运算,得到每个节点的标记;
步骤4、基于每个输入文件子集的标记和每个节点的标记,将带有与节点标记相同标记的输入文件子集分配到对应的节点上进行存储;
步骤5、每个节点利用Map函数计算其所存储的每个输入文件子集的中间值;
步骤6、每个节点将自己所存储的所有输入文件子集的中间值编码为信号传输给其他的节点;
步骤7、给每个节点分配要计算的输出函数集;其中编号为k的节点所分配的输出函数集Wk为:
步骤8、每个节点从其他节点所传输的中间值中,随机选择该节点每个未存储输入文件子集的中间值;并结合该节点自己存储输入文件子集的中间值,得到所有输入文件子集的中间值;并利用所有输入文件子集的中间值计算该节点所分配的输出函数集,完成分布式计算;
其中,K为节点总数,K'为节点因子,r为每个输入文件被计算的次数,t为每个节点上所分配的输出函数的个数,s为每个输出函数被计算的次数,[·]表示取整函数,k∈{0,
1,...,K‑1}。
2.根据权利要求1所述的基于MapReduce框架的编码分布式计算方法,其特征是,每个节点上所分配的输出函数的个数t为:其中,gcd(K,s)表示K和s两者之间的最大公因数,K为节点总数,s为每个输出函数被计算的次数。