欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020101376370
申请人: 西南交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于纠删编码的多源数据传输系统,其特征在于,包括控制器、数据存储者和数据请求者;

(a)控制器:控制器作为资源文件的服务前端,接收数据请求者的数据传输请求,记录数据请求者的IP地址和发送该请求所用的UDP端口信息;然后向数据请求者回应所请求数据文件的大小、编码参数,或者返回资源不可用;

(b)数据存储者:作为数据文件的实际持有者,同一个数据对象在会在多个存储者上存储多份,分散在集群中的不同节点上;该不同节点采用相同的纠删编码方案和参数对存储的数据进行编码,从而保证数据请求者从不同存储节点上获得编码后的码字能够解码获得原数据;

数据存储者从控制器处获得任务信息后,采用UDP向数据请求者发送编码后的数据,并根据接收节点的反馈,调整发送的速率,并判断任务是否已经完成;

(c)数据请求者:当需要获取某个数据时,数据请求者采用UDP协议向控制器发起请求,并在相同的端口上侦听控制器的反馈,以及数据存储节点所推送的编码后的数据;对于收到的每个码字,数据请求者立即向发送者发送反馈信息,表明所收到码字的编号,以及至少还需要该数据存储节点发送多少数据才能进行解码;

多源数据传输采用以下步骤:

步骤1:多个数据源节点采用相同的纠删编码将待传输的数据分成多段并进行编码,获得数量远大于原始数据量的码字:

设当前网络中有A个在线的数据存储者拥有资源URI;收到针对该资源的传输请求后,控制器从中挑选出S=min(A,R)个存储者,作为该任务的数据分发节点;R的取值是一个可配置的参数,不同的数据资源的R独立取值,默认取3;

如果S=0,控制器则向资源请求者返回资源不可用信息;否则返回所请求文件的大小、编码信息;

控制器将请求者的IP地址、UDP端口号,所请求的资源描述符URI,以及被挑中的存储者的编号,告知该S个存储者,从而启动传输过程;

对于一个给定的资源数据URI,纠删编码将资源文件划分为M份再编码获得M+K个码字,并依次编号1,2,3,…,M+K,其中任意的M+L个码字能够解码获得源文件;

步骤2:数据存储者采用UDP向数据请求者发送不同的码字避免重复传输;

对于资源文件URI,被选中的S个数据存储者依次编号i=1,2,…,S;为避免重复传输,第i个数据存储者将传输编号为i+j*R的码字,其中j=0,1,2,…;且floor((M+K)/R)>=M+L,其中floor为向下取整函数;

每个码字封装在一个UDP报文中,该报文同时包含该码字的编号、数据存储者的标识、在该存储者上的发送序号;

步骤3:数据请求者利用纠删编码,根据收到的足够多的码字解码获得原始数据:数据请求者通过和码字一起发送的存储者的标识信息,统计当前正在工作的发送者数目S,为确保解码成功,每个发送者需至少传输ceil((M+K‑V)/S)个码字;其中,ceil为下向上取整函数,V当为前已经收到的码字数目。

2.根据权利要求1所述的基于纠删编码的多源数据传输系统,其特征在于,控制器作为数据存储者的管理方,数据存储者上线后需要先向控制器注册,汇报所持有数据的情况;

运行过程中数据存储者定期向控制器发送心跳信息报告存活状态,上报当前传输任务的运行状态和完成进度信息。

3.根据权利要求1所述的基于纠删编码的多源数据传输系统,其特征在于,所述数据请求者在给定时间内没有收到控制器的确认反馈,则重试,直到收到或者重试次数超过设定次数;

若收到数据资源不可用,则结束;否则在发送请求所用的UDP端口上侦听数据存储者推送的编码后的数据,并周期性的向控制器发送文件的接收进度,以表明其在线;

对于暂停或者故障后再次请求数据的场景,数据请求者的请求消息中,除了包含所需文件的资源描述还包含已经收到的码字的情况。

4.一种基于权利要求1所述的基于纠删编码的多源数据传输系统的传输方法,其特征在于,包括以下步骤:

步骤1:多个数据源节点采用相同的纠删编码将待传输的数据分成多段并进行编码,获得数量远大于原始数据量的码字:

设当前网络中有A个在线的数据存储者拥有资源URI;收到针对该资源的传输请求后,控制器从中挑选出S=min(A,R)个存储者,作为该任务的数据分发节点;R的取值是一个可配置的参数,不同的数据资源的R独立取值,默认取3;

如果S=0,控制器则向资源请求者返回资源不可用信息;否则返回所请求文件的大小、编码信息;

控制器将请求者的IP地址、UDP端口号,所请求的资源描述符URI,以及被挑中的存储者的编号,告知该S个存储者,从而启动传输过程;

对于一个给定的资源数据URI,纠删编码将资源文件划分为M份再编码获得M+K个码字,并依次编号1,2,3,…,M+K,其中任意的M+L个码字能够解码获得源文件;

步骤2:数据存储者采用UDP向数据请求者发送不同的码字避免重复传输;

对于资源文件URI,被选中的S个数据存储者依次编号i=1,2,…,S;为避免重复传输,第i个数据存储者将传输编号为i+j*R的码字,其中j=0,1,2,…;且floor((M+K)/R)>=M+L,其中floor为向下取整函数;

每个码字封装在一个UDP报文中,该报文同时包含该码字的编号、数据存储者的标识、在该存储者上的发送序号;

步骤3:数据请求者利用纠删编码,根据收到的足够多的码字解码获得原始数据:数据请求者通过和码字一起发送的存储者的标识信息,统计当前正在工作的发送者数目S,为确保解码成功,每个发送者需至少传输ceil((M+K‑V)/S)个码字;其中,ceil为下向上取整函数,V当为前已经收到的码字数目。

5.根据权利要求4所述的基于纠删编码的多源数据传输系统的传输方法,其特征在于,所述步骤1中,纠删编码采用RaptorQ编码方案时,K为正无穷大,L值默认取2,在运行过程中数据请求者按需增大L的取值。

6.根据权利要求4所述的基于纠删编码的多源数据传输系统的传输方法,其特征在于,在任务传输过程中,控制器将收到数据请求者的周期性汇报,若一段时间内没有收到汇报,控制器认为该请求者已经不在,将通知相关存储节点暂停数据的发送。

7.根据权利要求4所述的基于纠删编码的多源数据传输系统的传输方法,其特征在于,所述步骤3中,若收到的码字所对应的IP报文被标记了CE,则将该信息反馈给发送者。