欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019103426812
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-06-03
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于混沌学习算法竞争窗口值智能选择方法,其特征在于:该方法包括以下步骤:S1:设置智能体即LAA小基站的动作集合A∈[wmin,wmax],其中wmin和wmax分别为最小和最大的竞争窗口值;S2:初始化Q函数Q(s,a)为零矩阵,并预定义Γ、η、wmin、wmax、α、γ、ψ、参数阈值,其中Γ和η是预定义的阈值,α是学习率,γ是折扣因子,ψ是权重因子,是共存系统

要求的最小吞吐量,和表示偏离1的最差的公平性因子;S3:设置吞吐量和公平性阈值:其表达式如下所示:其中Γ、η和n分别是预定义的阈值,和分别为预先定义的上公平性阈值和下公平性阈值,Φn是离散的时间集合,Rt是即时的总吞吐量,t为离散时间;S4:设置智能体状态集合S={s1,s2,s3,s4,s5,s6}:LAA小基站的状态集合定义为系统吞吐量和公平性的组合,即st={Rt ,Ft},Rt表示t时刻系统在未授权频段上所获得的总吞吐量,Ft表示平均意义上的公平性函数,将公平函数定义如下:其中Rt(s,l)

和(Rt(s,w))分别表示LAA和WiFi用户吞吐量,nl和nw分别是LAA用户和WiFi用户数量;进而根据预定义的吞吐量和公平性阈值,将LAA小基站的状态集合分成六种状态:S1:低吞吐量低公平性S2:低吞吐量低公平性S3:低吞吐量高公平性、S4:高吞吐

量低公平性S5:高吞吐量低公平性S6:高吞吐量高公平性;

S5:智能体以概率(1‑ε)选择最大Q值所对应的动作,而以概率ε根据混沌序列选择某个动作:为了平衡动作选择过程中的探索与利用,LAA小基站利用ε‑混沌贪婪选择策略选取一个动作,即以概率(1‑ε)选择最大Q值所对应的动作,而以概率ε根据混沌序列选择某个动作,其表达式定义为:其中Q(a)表示智能体执行行为a后所获得的Q值,z表示混沌序列值,混沌系统中Logistic映射方程表示为:z k + 1=μz k (1‑z k) ,其中0≤μ≤4称为控制参数,当μ∈[3.5699456…,4]时,logistic映射工作于混沌态,取μ=4,k表示迭代次数,z称为混沌变量,混沌域为(0,1);S6:在执行所选择的动作之后,智能体计算该动作所对应的奖励值,并更新动作Q值函数,然后进入到下一个状态:LAA小基站执行所选择的动作之后,计算该动作所对应的奖励值,奖励值函数定义为:其中ψ表示权重因子且0<ψ<1,表示共存系统吞吐量最低要求阈值,Ft°表示共存系统公平性函数的最小要求阈值,和表示偏离1的最差的公平性因子,Rt表示t时刻系统

在未授权频段上所获得的总吞吐量,Ft表示平均意义上的公平性函数;然后根据Q值计算公

式:更新动作Q值函数,并进入到

下一个状态,其中Υ表示折扣因子且0≤Υ<1,r(st,at)表示LAA小基站在状态st选择动作at时所获得的奖励值,学习速率和折扣因子协同调节Q矩阵的更新,进而影响Q算法的学习性能,α取值0.5,Υ取值0.8;S7:重复步骤S5‑S6,直至s到达目标状态即高吞吐量和高公平性状态;S8:重复步骤S3‑S7,直至动作Q值函数达到稳定状态。