欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2014103057444
申请人: 百度在线网络技术(北京)有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-04-30
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种从非HADOOP分布式文件系统(HDFS)读取用于HADOOP计算的输入数据的方法,其特征在于,所述方法包括:定义用于从所述非HDFS读取数据的数据读取类,所述数据读取类继承RecordReader类;

实现在HADOOP分布式计算模型中的InputFormat类中的getRecordReader方法和getSplits方法,其中,在实现的getRecordReader方法中,创建定义的数据读取类的实例或对象并返回所述实例或对象,并且在实现的getSplits方法中,将从调用的getRecordReader方法返回的RecordReader实例或对象确认为定义的数据读取类的实例或对象。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:配置HADOOP应用从所述非HDFS上指定的位置读取所述输入数据。

3.根据权利要求2所述的方法,其特征在于,所述非HDFS为网络文件系统(NFS)。

4.一种将HADOOP计算的输出数据写入非HDFS的方法,其特征在于,所述方法包括:定义用于将所述输出数据写入所述非HDFS的数据写入类,所述数据写入类继承RecordWriter类;

实现在HADOOP分布式计算模型中的OutputFormat类中的getRecordWriter方法,其中,在实现的getRecordWriter方法中,创建定义的数据写入类的实例或对象并返回所述实例或对象。

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:配置HADOOP应用将所述输出输入写入所述非HDFS上指定的位置。

6.根据权利要求5所述的方法,其特征在于,所述非HDFS为NFS。

7.一种从非HDFS读取用于HADOOP计算的输入数据的系统,其特征在于,所述系统包括:读取类定义模块,用于定义用于从所述非HDFS读取数据的数据读取类,所述数据读取类继承RecordReader类;

读取方法实现模块,用于实现在HADOOP分布式计算模型中的InputFormat类中的getRecordReader方法和getSplits方法,其中,在实现的getRecordReader方法中,读取方法实现模块创建读取类定义模块定义的数据读取类的实例或对象并返回所述实例或对象,并且在实现的getSplits方法中,读取方法实现模块将从调用的getRecordReader方法返回的RecordReader实例或对象确认为定义的数据读取类的实例或对象。

8.根据权利要求7所述的系统,其特征在于,所述系统还包括:应用配置模块,用于配置HADOOP应用从所述非HDFS上指定的位置读取所述输入数据。

9.根据权利要求8所述的系统,其特征在于,所述非HDFS为NFS。

10.一种将HADOOP计算的输出数据写入非HDFS的系统,其特征在于,所述系统包括:写入类定义模块,用于定义用于将所述输出数据写入所述非HDFS的数据写入类,所述数据写入类继承RecordWriter类;

写入方法实现模块,用于实现在HADOOP分布式计算模型中的OutputFormat类中的getRecordWriter方法,其中,在实现的getRecordWriter方法中,写入方法实现模块创建定义的数据写入类的实例或对象并返回所述实例或对象。

11.根据权利要求10所述的系统,其特征在于,所述系统还包括:应用配置模块,用于配置HADOOP应用将所述输出输入写入所述非HDFS上指定的位置。

12.根据权利要求11所述的系统,其特征在于,所述非HDFS为NFS。