欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018103433135
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度确定性策略梯度方法移动边缘计算分流决策方法,其特征在于,所述方法包括以下步骤:

1)在一个由多个用户组成,并且每个用户都有多个独立的任务的移动通信系统中,xnm为用户n的任务m的分流决策,如果xnm为1则表示用户n的任务m将被分流至基站或云端处理,xnm为0则表示在本地处理;当用户n的任务m被分流时,其上行传输速率 和下行传输速率受传输总带宽CU和CD的限制;当用户n的任务m在本地处理时,本地移动设备所产生的能量损耗为 如果在云端处理时,所产生的能量损耗为 系统总损耗最小化表示为:约束条件为:

式中:

其中,各参数定义如下:

N:用户人数;

M:每个用户的任务数;

xnm:用户n的任务m的分流决策,为1时表示在云端处理,为0时在本地处理;

用户n的任务m在本地处理时的能量损耗;

用户n的任务m被分流时,传输过程中能量损耗;

用户n的任务m在云端处理时的能量损耗;

ρ:在云端处理时,能量损耗的转化权重;

ωn:用户n延时损耗的转化权重;

用户n的任务m在本地处理时的延时损耗;

用户n的任务在云端处理时的总延时损耗;

2)为了保证服务质量,当任务在云端处理时,数据从本地上传到云端所消耗的时间以及处理时间都将被考虑在内,每个用户n的任务由发送数据DOnm和接收数据DInm组成,当任务分流至云端时,期间所消耗的时间与本地和基站间的传输速率RAC相关;在云端处理时,时间消耗由发送数据大小和云端处理速度fC决定;由于数据传输和处理时间会有重叠,而重叠部分难以估算,所以总的时间损耗考虑为所有时间消耗的总和式中:

其中,各参数定义如下:

DInm:用户n的任务m的接收数据大小;

DOnm:用户n的任务m的发送数据大小;

用户n的上传速度;

用户n的下行速度;

RAC:基站与云端的传输速率;

ATnm:每处理单位的数据需要的处理循环次数;

fC:云端处理器的处理速度;

3)通过深度确定性策略梯度方法来寻找一个最优的分流决策,即所有用户的分流决策xnm,该深度确定性策略梯度方法由执行单元,评分单元和环境所组成,所有用户的分流决策xnm都被编进了执行单元所需的状态xt,执行单元在当前状态下采取动作a对分流决策xnm进行更改并进入下一个状态xt+1,同时得到环境返回的奖励r(xt,a),评分单元结合状态xt,动作a以及环境返回的奖励r(xt,a)给执行单元打分,即表明执行单元在状态xt下采取动作a是好是坏,执行单元的目标就是让评分单元所打的分越高越好,而评分单元的目标是让自己每次打出的分都接近真实,这可以通过奖励r(xt,a)来调节;在执行单元,评分单元和环境不断交互更新下,分流决策xnm将不断被优化直到被更新到最优,评分单元的更新方式为:S(xt,a)=r(xt,a)+γS′(xt+1,a′)    (3)其中,各参数定义如下:

xt:在时刻t,系统所处状态;

xt+1:在时刻t+1,系统所处状态;

a:在当前状态执行单元所采取的动作;

a′:在下一状态执行单元所采取的动作;

S(xt,a):执行单元中的评估网络在状态xt下采取动作a所得到的分值;

S′(xt+1,a′):执行单元中的目标网络在状态xt+1下采取动作a′所得到的分值;

r(xt,a):在状态xt下采取动作a所得到的奖励;

γ:奖励衰减比重;

4)所有用户的分流决策xnm作为深度确定性策略梯度方法的状态xt,动作a则是对状态xt的更改,更改后系统的总损耗会与一个设定的标准值进行比较,如果比这个标准值大则使当前奖励r(xt,a)设为正值,反之设为负值,同时系统进入下一状态xt+1。

2.如权利要求1所述的一种基于深度确定性策略梯度方法移动边缘计算分流决策方法,其特征在于,所述步骤4)中,深度确定性策略梯度方法的迭代过程为:步骤4.1:初始化深度确定性策略梯度方法中的执行单元,评分单元和记忆库,当前系统状态为xt,t初始化为1,迭代次数k初始化为1;

步骤4.2:当k小于或等于给定迭代次数K时,在状态xt下,执行单元预测出一个动作a;

步骤4.3:动作a对状态xt进行更改,使其变成下一状态xt+1并得到环境所反馈的奖励r(xt,a);

步骤4.4:按照格式(xt,a,r(xt,a),xt+1)把历史经验保存在记忆库中;

步骤4.5:评分单元接收动作a,状态xt和奖励r(xt,a),给执行单元打出分数S(xt,a);

步骤4.6:执行单元通过更新自身参数不断去最大化分数S(xt,a),尽可能地让自己在下次能做出高分动作;

步骤4.7:评分单元抽取记忆库中的历史经验,不断学习,更新参数使得自己所打的分尽可能准确,同时k=k+1,回到步骤5.2;

步骤4.8:当k大于给定迭代次数K时,学习过程结束,得到最佳分流决策xnm。