1.一种边缘计算中融合图神经网络和强化学习的容器集群在线部署方法,其特征在于,包括以下步骤:S1,由图卷积网络提取容器之间存在的拓扑关联关系;演员网络根据评论家模块的输出更新优化模型参数;其中优化模型为:max(总收费‑总能耗开支)(1.1)其中,N表示物理节点集合;
Gc表示每单位计算资源收益;
ηk,c表示物理节点k上的计算资源利用率;
I表示服务请求集合;
Vi表示服务请求i的容器集合;
表示二进制标志位, 时表示请求i的容器j部署在物理节点k上;
表示请求i的容器j对于计算资源的需求量;
Gm表示每单位内存资源收益;
表示请求i的容器j对于内存资源的需求量;
Gs表示每单位存储资源收益;
表示请求i的容器j对于存储资源的需求量;
其中,N表示物理节点集合;
表示物理节点k的最大能耗值;
表示物理节点k的空闲能耗值;
I表示服务请求集合;
Vi表示服务请求i的容器集合;
表示二进制标志位, 时表示请求i的容器j部署在物理节点k上;
表示请求i的容器j对于计算资源的需求量;
表示物理节点k的计算资源总量;
uk表示二进制标志位,uk=1时表示物理节点k处于激活状态;
C表示单位能耗支出系数;
或者,min(总能耗开支)其中,N表示物理节点集合;
表示物理节点k的最大能耗值;
表示物理节点k的空闲能耗值;
I表示服务请求集合;
Vi表示服务请求i的容器集合;
表示二进制标志位, 时表示请求i的容器j部署在物理节点k上;
表示请求i的容器j对于计算资源的需求量;
表示物理节点k的计算资源总量;
uk表示二进制标志位,uk=1时表示物理节点k处于激活状态;
C表示单位能耗支出系数;
S2,在图卷积网络的辅助下序列到序列网络推断出部署策略。
2.根据权利要求1所述的边缘计算中融合图神经网络和强化学习的容器集群在线部署方法,其特征在于,在步骤S1中图卷积网络的分层传播为:(l+1)
其中,H 表示第l+1层的特征;
σ()表示激活函数;
表示矩阵 的度矩阵;
表示对 矩阵进行(‑1/2)次幂运算;
A表示图G中节点之间的关系矩阵;
表示具有附加自连接的无向图G的邻接矩阵;
(l)
H 表示第l层的特征;
(l)
W 表示第l层的训练参数矩阵。
3.根据权利要求1所述的边缘计算中融合图神经网络和强化学习的容器集群在线部署方法,其特征在于,在步骤S2中部署策略为:π(p|c,θ)=Pr{At=p|St=c,θt=θ}其中,π(p|c,θ)表示对于给定输入c的输出部署策略p的概率;
θ表示模型的训练参数;
Pr表示输出部署策略p的概率;
At表示t时刻的动作;
St表示t时刻的状态;
θt表示t时刻的训练参数。
4.根据权利要求1所述的边缘计算中融合图神经网络和强化学习的容器集群在线部署方法,其特征在于,在步骤S1之后还包括步骤S3,评论家网络对执行演员动作后所获得的回报进行评估。
5.根据权利要求1所述的边缘计算中融合图神经网络和强化学习的容器集群在线部署方法,其特征在于,优化模型的约束条件为:其中,ηk,c表示物理节点k上的计算资源利用率;
I表示服务请求集合;
N表示物理节点集合;
表示二进制标志位, 时表示请求i的容器j部署在物理节点k上; 表示请求i的容器j对于计算资源的需求量;
表示物理节点k的计算资源总量;
其中,N表示物理节点集合;
表示二进制标志位, 时表示请求i的容器j部署在物理节点k上;I表示服务请求集合;
Vi表示服务请求i的容器集合;
其中,I表示服务请求集合;
Vi表示服务请求i的容器集合;
表示请求i的容器m和容器n的带宽需求;
表示二进制标志位, 时表示请求i的容器m部署在物理节点ku上; 表示二进制标志位, 时表示请求i的容器n部署在物理节点kv上;Bku·kv表示物理节点ku和kv之间的带宽资源总量;
其中,I表示服务请求集合;
N表示物理节点集合;
表示二进制标志位, 时表示请求i的容器j部署在物理节点k上;
表示请求i的容器j对于计算资源的需求量;
表示物理节点k的计算资源总量;
表示请求i的容器j对于内存资源的需求量;
表示物理节点k的内存资源总量;
表示请求i的容器j对于存储资源的需求量;
表示物理节点k的存储资源总量。
6.根据权利要求1所述的边缘计算中融合图神经网络和强化学习的容器集群在线部署方法,其特征在于,模型更新为:其中,θk+1表示下一时刻的模型参数;
θk表示当前时刻的模型参数;
α表示学习率;
表示使用蒙特卡洛采样近似的拉格朗日梯度。
7.根据权利要求6所述的边缘计算中融合图神经网络和强化学习的容器集群在线部署方法,其特征在于,模型更新还包括:其中, 表示基准评估器给出的评估值b(c,p)和奖励值Q(c,p)的均方误差;
m表示采样数量;
Q(c,pi)表示在给定输入容器集群c算法做出决策pi下得到的奖励;
b(c,pi)表示在给定输入容器集群c和决策pi下基准评估器b给出的评估值。