1.一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，其特征在于，包括以下步骤：根据全双工异构蜂窝网络场景建立系统能效模型；所述系统能效模型包括：UL DL

η＝ωη +(1‑ω)η

UL DL

其中，η为系统能效，ω为效率权重因子，η 为上行信道的总能效，η 为下行信道的总能效；

UL

上行信道的总能效η 为异构蜂窝网络中所有用户能效之和与用户终端功耗之比，计算方式如下：其中，K表示FBS数量，ζi表示基站fi(i≥0)的状态，当基站工作时为1，休眠时为0； 表示当前基站fi(i≥0)所服务的用户集合； 表示用户u到基站fi(i≥0)之间的距离，PUE表示用户终端的功耗，W表示系统带宽， 表示用户u到基站fi(i≥0)的信干噪比，PCU表示用户终端的固定消耗，ξ表示功率消耗系数，Pu表示用户终端u的传输功率， 表示用户u到基站fi(i≥0)之间的路损， 表示用户u受到来自基站fi(i≥0)服务的其他用户的干扰，N0表示高斯白噪声信道的功率谱密度；

DL

下行信道的总能效η 为异构蜂窝网络中所有用户能效之和与基站总功耗之比，计算方式如下：其中，K表示FBS的数量，ζi表示基站fi(i≥0)的状态，当基站工作时为1，休眠时为0；

表示当前基站fi(i≥0)所服务的用户集合； 表示用户u到基站fi(i≥0)之间的距离，W表示系统带宽， 表示基站到用户的下行信道的信干噪比； 表示基站fi(i≥0)的功率max放大器的最大传输功率，且 Pi 表示FBS fi的功率放大器的最大传输功率，φi表示直流到射频的转换因子； 表示用户u到基站fi(i≥0)之间的路损， 表示基站fi(i≥0)受到其他基站与用户u通信时的干扰，N0表示高斯白噪声信道的功率谱密度；P0表示MBS的动态功耗，且 ρ0表示MBS的负载因子， 表示宏基站MBS的功率放大器的最大传输功率，φ0表示MBS的直流到射频的转换因子；Pi表示FBS  fi的功耗，PS表示FBS处于休眠状态时的功耗，PA表示FBS处于工作max

状态时的功耗，Pconst表示FBS处于工作状态时的固定功耗，Pi 表示FBS fi的功率放大器的最大传输功率，φi表示FBS的直流到射频的转换因子，ρi表示当前FBS fi的负载因子，且ni表示当前FBS fi正在服务的用户数， 表示FBS fi的最大用户容量，ξ()表示基站的状态，当基站工作时为1，休眠时为0；nj表示当前FBS fj正在服务的用户数；

根据系统能效模型以及用户重关联规则构建Sarsa学习中的四个要素，包括：状态空间，动作空间，收益函数，Q值函数；

其中，所述用户重关联规则包括：当FBS进入休眠状态时，将与FBS关联的用户优先分配给附近的FBSs，若附近的FBSs关联的用户数均超过了FBS的最大负载数，则将剩余用户与MBS关联，若MBS关联的用户数超过了MBS的最大负载数，则不进行关联；

根据Sarsa学习中的四个要素开始Sarsa学习过程：从状态空间的初始状态s开始，通过贪婪算法选择动作a，系统根据动作a转移到下一个状态s'，并获得收益、更新Q值；通过不断的学习以及状态转移，得到每个状态‑动作对的Q值累积回报值，直到到达终止状态，得到最优Q值；

根据最优Q值为状态空间中的每个状态选取Q值最大对应的动作作为该状态的最优休眠决策，根据最优休眠策略进行基站休眠；

基站休眠后，根据用户重关联规则对已休眠基站上一时隙中所关联的用户进行重新关联。

2.根据权利要求1所述的一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，其特征在于，状态空间中包含所有基站所服务的用户数量，反映基站的状态情况，在t时隙的状态空间S(t)的计算方式为：其中，n0(t)为t时隙MBS服务的用户数， 表示MBS能服务的最大用户数，表示t时隙FBS fi(i≥1)服务的用户数， 且表示FBS fi(i≥1)能服务的最大用户数。

3.根据权利要求1所述的一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，其特征在于，动作空间中包含异构蜂窝网络中所有基站的动作转移操作，动作转移操作主要包括3种：从工作状态进入休眠状态、从休眠状态进入工作状态、保持原状态不变，系统动作空间A(t)的计算方式包括：其中，动作 为在时隙t控制基站FBS fi(i≥1)的开关，当 时，FBS fi(i≥1)进入休眠状态，当 时，FBS fi(i≥1)进入工作状态，当 时，FBS fi(i≥1)保持状态不变，K表示FBS的数量。

4.根据权利要求1所述的一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，其特征在于，当前状态的Q值是从初始状态开始转移到当前状态过程中系统所获得的累积收益值，Q值函数的计算方式如下：Qt+1(s,a)＝(1‑αt)Qt(s,a)+αt{R(s,a)+γ*Qt(s',a')}其中，Qt+1(s,a)表示下一个时隙t+1的状态s对应动作a的Q值，αt表示时隙t的学习率，Qt(s,a)表示当前时隙t状态s对应动作a的Q值，γ为折扣率，R(s,a)表示状态s对应动作a的收益，Qt(s',a')表示当前时隙t状态s'对应动作a'的Q值。

5.根据权利要求1所述的一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，其特征在于，所述Sarsa学习过程包括：输入状态空间S、动作空间A和收益函数R；

初始化Q值Q(s,a)，初始化状态s；

在初始化状态s下，采用ε贪婪算法选择行为a，若采用ε贪婪算法无法选择行为a时，根据Q值最大选择行为a；

系统程序记录行为a和回报值R和下一状态s'；

在状态s'根据ε贪婪算法选择行为a'，否则根据Q值最大选择行为a'；

根据Q值函数计算公式更新Q值中的Q(s,a)值；

令s＝s',重复上述步骤，直到当前状态s为预先设定的终止状态，Sarsa学习结束，得到最优Q值。