1.多层联邦深度强化学习的车辆边缘协作缓存方法,其特征在于,包括以下步骤:步骤1:构建车辆边缘协作缓存模型;
步骤2:将所述车辆边缘协作缓存模型加载到多个车载单元和路侧单元中;
步骤3:针对每一个车载单元,利用训练参数对车辆边缘协作缓存模型进行训练,得到模型参数;
步骤4:将各车载单元中的模型参数上传至与各车载单元相关联的路测单元中进行二级聚合处理,得到各路侧单元覆盖范围内的局部聚合参数;
步骤5:将各路侧单元覆盖范围内的局部聚合参数上传至全局聚合器进行一级聚合处理,得到全局聚合参数;
步骤6:将全局聚合参数反馈至各路侧单元,利用全局聚合参数更新各路侧单元中的车辆边缘协作缓存模型;
步骤7:通过各路侧单元将全局聚合参数反馈至各车载单元,利用全局聚合参数更新各车载单元中的车辆边缘协作缓存模型;
步骤8:按照步骤3至步骤7所述的方法循环,直到车辆边缘协作缓存模型收敛;
步骤9:利用路侧单元中收敛的车辆缘协作缓存模型制定全局最优缓存策略。
2.根据权利要求1所述的多层联邦深度强化学习的车辆边缘协作缓存方法,其特征在于,所述二级聚合的方法为:利用二级聚合模型对各车载单元上传的模型参数进行处理。
3.根据权利要求1或2所述的多层联邦深度强化学习的车辆边缘协作缓存方法,其特征在于,所述一级聚合的方法为:针对所有路侧单元上传的局部聚合参数,利用全局聚合器中的一级聚合模型进行处理。
4.多层联邦深度强化学习的车辆边缘协作缓存系统,其特征在于,包括:车载服务器:用于存储、训练和更新车辆边缘协作缓存模型,并与路侧单元进行数据传输;
路侧服务器,用于存储和更新车辆边缘协作缓存模型,与各车载单元进行数据和全局聚合器进行数据传输;
全局聚合器,用于对由路侧服务器发送的局部聚合参数进行一级聚合处理,得到全局聚合参数;
所述车载服务器包括:
第一模型存储模块,用于存储车辆边缘缓存模型;
参数处理模块,用于初始化模型训练参数,以及存储由路侧单元发送的全局聚合参数;
模型训练模块,用于根据初始化模型训练参数对车辆边缘协作缓存模型进行训练,得到模型参数;
车载通信模块,用于和路侧服务器之间进行数据传输;
第一模型更新模块,用于根据全局聚合参数,更新车辆边缘协作缓存模型;
所述路侧服务器包括:
路侧通信模块,用于分别和各车载单元和全局聚合器进行数据传输;
第二模型存储模块,用于存储车辆边缘缓存模型;
二级聚合模块,用于对各车载单元上传的模型参数进行二级聚合,得到各路侧单元覆盖范围内的局部聚合参数;
第二模型更新模块,用于根据全局聚合参数,更新车辆边缘协作缓存模型;
缓存策略制定模块,用于根据收敛的车辆边缘协作缓存模型,制定全局最优的缓存决策;
所述全局聚合器包括:
一级聚合模块,用于对各路侧单元上传的模型参数进行一级聚合,得到全局聚合参数;
聚合器通信模块,用于将全局聚合参数发送给各路侧单元。