欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023118592737
申请人: 宋亮
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2025-03-07
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.抗稀疏的云网络成对互动评比电商推送方法,其特征在于,互动云网络评比利用一种层叠减噪自编码器的云网络模型,提取项目内容的深层特征,集成到隐式反馈的成对互动评比模型中,并且允许两者之间进行双向交互,对辅助数据提取特征提高对隐式反馈矩阵互动评比模型的预测能力,对隐式反馈矩阵的互动评比模型又反过来指导辅助数据的特征学习;

P1-互动云网络评比模型:是一种云网络和互动筛选的混合式成对评比模型,结合项目内容的深层特征学习和用户稀疏的隐含偏好,具体地,互动云网络评比模型采用一种云网络模型,CKF层叠减噪自编码器,学习项目内容的深层特征,在辅助数据稀疏时,CKF学习有效特征并将学习到的项目内容的深层特征集成到隐式反馈的互动评比模型中,来捕获商品和用户之间的相似度和隐含关系;模型紧密地耦合用于内容数据的深度表征学习和用于隐式反馈矩阵的互动评比,通过双向交互,从辅助数据学习特征,平衡辅助数据和隐式反馈矩阵的影响;

P2-互动云网络评比算法:将层叠减噪自编码器CKF作为互动云网络评比的内容特征提取部分,通过一层减噪自编码器学习到隐藏层,隐藏层的值又作为下层减噪自编码器的输入,多个减噪自编码器减噪自编码器层叠获得最顶层的输出即是层叠减噪自编码器提取的项目内容数据特征,互动筛选模型结合项目内容数据特征,并以成对偏好评比为直接优化目标,采用坐标上升通过交替优化云网络的权重、偏差参数、反馈矩阵的潜在用户因子、潜在项目因子,来优化目标函数,具体地,给定潜在用户矩阵和潜在项目矩阵参数的当前估算,CKF云网络通过反向传播干净输入和重构输入计算重构误差,计算项目内容矩阵和反馈矩阵分解出的项目矩阵之间的误差,更新权重、偏差参数,然后给定权重、偏差参数的当前估算,将提取的项目内容特征融入到用户项目反馈矩阵的互动评比模型,基于牛顿迭代法更新用户特征矩阵,项目特征矩阵,训练重复以上过程,直到样本数据更新完毕,或模型参数全部收敛;

互动云网络:协同进行内容数据的深层表征学习和评级反馈矩阵的互动筛选;

互动云网络是一个联合概率框架,具有两个无缝集成组件:一个感知云组件和一个职责特定组件;

互动云网络的概率图形模型:枢纽因子Q={J},感知云组件在概率图形模型中表示为链结构的多个非线性处理层的云网络模型的概率公式,结点和边在感知云组件中较简单,在特定职责的组件描述更复杂的分布和变量间的关系;

考虑电商推荐采用隐式反馈作为训练和测试数据,项目J的整个集合由J*S矩阵Xc表示,其中第j行是基于大小S的词汇集合的项目j的词袋向量Xc,j,用户I定义为I*J二进制评级矩阵R=[Rij]I*J,给定R中部分评级和内容数据Xc,问题是预测R中其它评级;

矩阵Xc对层叠减噪自编码器CKF起干净输入的作用,噪音压制矩阵J*S由X0表示,CKF的层1的输出由X1表示,其是J*K1矩阵,X1的行j由X1,j*表示,W1和b1分别是层1的权重矩阵和偏差向量,W1,*n表示W1的列n,L层数,采用W+表示所有层的权重矩阵和偏差的集合;

生成互动云网络:采用层叠减噪自编码器CKF作为一个感知云组件,生成互动云网络的过程定义:(1)对于层叠减噪自编码器网络的每一层1:

(a)对于权重矩阵W1的每一列n,绘制:

(b)绘制偏差向量:

(c)对于X1的每一行j,绘制:

(2)对于每个项目j:

(a)绘制一个干净的输入:

(b)绘制潜在项目偏移矢量:

然后将潜在项目向量设置为:

(3)为每个用户绘制一个潜在用户向量:

(4)为每个用户-项目对(ij)绘制评级Rij:

λw,λn,λu,λs和λv是超参数,Cij是置信参数,如果为Rij=1,Cij=a,否则Cij=b,中间层XL/2用作评级和内容数据之间的关联项,该中间层,连同潜在偏移量△j,是使互动云网络同时学习有效特征表示并捕获商品之间相似度关系的关键,为了计算效率,将λs取值到无穷大;

最大后验估算:使后验概率最大化等同于最大化U,V,{X1},Xc,{W1},{b1}的联合对数似然性,编码器函数fe(·,W+)取得损坏项目j的内容向量X0,j*作为输入并计算项目的编码,以及函数fr(·,W+)以X0,j*作为输入,计算项目j的编码,然后计算重构的内容向量;

对于ui和vj,给定当前W+计算L相对于ui和vj的梯度并将它们设置为零,导致以下更新规则:ui←(VCiVT+λuIK)-1VCiRi

其中是对角矩阵,Ri=(Ri1,...,RiJ)T是包含用户i的所有评级的列向量,Cij反映可信度由a和b控制;

给定U和V,学习到采用反向传播学习算法的每层的权重W1和偏差b1,似然函数相对于W和b的似然梯度如下:通过交替更新U,V,W1和b1,找到L的局部最优;

成对评比推荐:构建个性化评比矩阵分解模型,令H表示用户的集合,M表示项目的集合,通过将矩阵与0值相乘来生成负数据:定义:

通过采用项目对来训练数据,直接优化项目对进行评比,将缺失的值与负向项目联合纳入到评比模型中,从集合F尝试重建每个用户的喜好>h,如果用户h已查看项目m,即(h,m)∈S,然后假设用户优先于该项目而非其它所有未观察到的项目;

基于个性化评比矩阵分解的MF学习模型:从用户对产品的隐式反馈着手,建立模型,模型目标是为每个用户项目对(h,x)都计算到一个实数个性化评比矩阵分解模型优化准则是对三元组(h,x,y)∈DF,首先将模型中的预测值进行分解,定义为:预测的问题视作对矩阵进行估算F:H×M,通过矩阵分解对矩阵F降维,将F分解为两个低秩矩阵H,M的乘积:H:|H|×k,M:|M|×k:其中k是特征矩阵的维度,H第h行的行向量是用户喜好的特征向量,M第x行的行向量是项目x的特征向量,公式写成:该模型的参数表示为Φ=(H,M),H,M就是隐变量,H即是对应对用户的未观测偏好,M是项目的未观测特征,对这两种特征建立模型;

估算用户是否喜欢一个项目超过另一个项目,优化以下目标函数:

其中,σ是Sigmoid函数,α是复杂度控制正则化参数。

2.根据权利要求1所述抗稀疏的云网络成对互动评比电商推送方法,其特征在于,基于CKF云网络的成对互动评比推荐算法:令H表示用户集合,M表示项目集合,H和M的大小分别为n和m,隐式矩阵R中的元素rhx=1表示用户h对项目x已经表示正向偏好,rhx=0表示用户h在项目x中不感兴趣,或尚未观察到项目m,对于给定的用户h,成对算法假设用户h相对于项目y更偏好于项目x当且仅当x∈M+和y∈M/M+,其中M+={x:rhx=1};

项目的辅助数据在多场景中收集,给定一个矩阵Vc,表示关于所有项目的辅助数据,第j行表示基于总词汇大小S的项目j的单词向量,令hh,mx分别表示具有低维度K的用户h和项目m的潜在因子,目标是从项目内容数据中提取项目特征矩阵,融合到对隐式反馈矩阵的成对互动评比模型中,学习两个潜在因子,用户潜在因子和项目潜在因子用于预测用户对项目的评分,为用户推荐个性化评比列表。

3.根据权利要求1所述抗稀疏的云网络成对互动评比电商推送方法,其特征在于,互动内容数据提取:减噪自编码器从损坏的输入学习压缩表示,通过前馈神经网络恢复干净的输入;

单个减噪自编码器的训练由两个部分组成,一个过程是编码器Encoder部分,对v0做一个函数f的加权和映射变换得到h0,还要进行权重衰减和部分丢弃,得到后面的解码器输入,以得到解码过程来计算重构误差,对vc同样做一个函数f的变换得到hr,再进行权重衰减和部分丢弃;另一个过程是解码器Decoder,将hr作为输入,对hr做一个函数g的变换得到vr,再进行部分丢弃,最后通过得到重构误差vr-vc,再利用反向传播算法,更新权重和偏差;

在训练过程中,h0的维数小于v0,减噪自编码器通过编码器Enoder从输入中获取到隐藏层,再用解码器Decoder将隐藏层解码,得到重构的输入,并构造重构误差,并通过随机梯度下降算法,更新参数;

层叠减噪自编码器CKF通过将在上一层上的减噪自编码器减噪自编码器的输出作为当前层的输入来叠加减噪自编码器减噪自编码器以形成云网络,并且最高级输出表示被用作项目内容特征;

层叠减噪自编码器CKF网络是最小化正则化优化问题如下:

其中Wl和bl是第l层的权重矩阵和偏差向量,n是层的总数,λw是正则化参数,矩阵vc是层叠减噪自编码器CKF的干净输入,噪音压制矩阵由v0表示,vc和v0都是J*S矩阵,CKF的第1层的输出用v,表示,其是J*Kl矩阵,vl的行x由表示,Wl和bl分别是第1层的权重矩阵和偏差向量,Wl,*n表示Wl的第n列,l是层数,采用W+表示所有层的权重矩阵和偏差的集合。

4.根据权利要求1所述抗稀疏的云网络成对互动评比电商推送方法,其特征在于,互动云网络评比:利用基于内容的项目特征和成对偏好融合用于互动筛选,在互动云网络评比模型中有两个生成过程,首先,初始的层叠减噪自编码器CKF,从关于项目的辅助数据中提取特征表示,然后将其集成到成对评比模型中的项目潜在因子中;第二,成对评比模型捕获偏好差Ohxy=rhx-rhy,其将用户h的偏好委托给项目x和y,成对方法预测rhx-rhy,并将其直接用于模型的优化;

给定λh,λm,λn,λw的H,M,vl,vc,W+和o,由矩阵分解的MF学习模型得到损失函数如下,对它进行最小化:设置置信参数chxy=1,在损失函数中,观测到的偏好差实际值是ohxy=rhx-rhy,潜在用户矩阵h的第h行hh和潜在项目矩阵m的x行,y行构造偏好差估算值是hhmx-hhmy,成对互动评比部分预测rhx-rhy的损失函数ohxy-(hhmx-hhmy),等价于编码器函数fe(·,W+)得损坏项目x的内容向量v0,j*作为输入并计算项目的编码,以及VL,j*等价于解码器函数fr(·,W+)以v0,j*作为输入,计算项目x的编码,然后计算重构的项目向量。

5.根据权利要求1所述抗稀疏的云网络成对互动评比电商推送方法,其特征在于,云网络偏差参数学习:采用坐标上升通过交替优化潜在因子hh,mx,my和权重矩阵,偏差向量W+来优化损失函数,给定W+的当前估算,基于以下随机牛顿迭代法更新hh,mx和my:其中α是学习速率或说步长,更新时,样本数据获取自用户h的观察项目x和未被观察的项目y;

给定H和M,通过反向传播算法更新每一层的矩阵Wl和偏差向量bl,相对于Wl和bl,L的梯度如下:预测:在学习最优参数U,V,W+之后,从其期望预测Rhx:

E[Rhx|H,M,W+,…]≈hhmx    式22

然后基于这些预测值为每个用户生成推荐项目的评比列表。

6.根据权利要求1所述抗稀疏的云网络成对互动评比电商推送方法,其特征在于,互动云网络评比算法实现:分为两个部分,层叠减噪自编码器CKF部分,作为互动云网络评比的内容特征提取部分,通过叠加减噪自编码器减噪自编码器来提取特征,具体是每一层减噪自编码器减噪自编码器学习到隐藏层h0,隐藏层的输出又作为下一层减噪自编码器的输入,CKF编码器最顶层的输出即是层叠减噪自编码器所提取的特征,结合内容特征的成对互动评比部分,互动筛选模型结合内容特征以成对偏好评比为直接优化目标,结合CKF云网络提取的项目内容特征,基于牛顿迭代法更新三个潜在因子,具体算法过程如下:第1部分,层叠减噪自编码器CKF部分:给定潜在用户矩阵H和潜在项目矩阵M,CKF云网络挖掘项目特征部分,具体包括:

1)初始化潜在项目矩阵和项目内容数据矩阵,读取项目内容数据矩阵,潜在项目矩阵初始化为项目内容数据矩阵;

2)对项目内容数据矩阵的干净输入进行服从二项分布的随机擦除;

3)对上一层的隐藏层输出进行加权和激活,前馈计算编码器,解码器每一层的状态值和激活值;

4)计算最后一层的输出,并计算CKF最后一层的重构误差;

5)分别计算解码器和编码器部分的重构误差,由最后一层的重构误差,用反向传播算法,计算解码器和编码器每一个隐藏层的误差,然后更新参数目标函数L相对于每一层参数Wl和bl的梯度;

6)用项目内容数据矩阵和反馈矩阵分解出的项目矩阵重构误差更新参数,重复以上过程,直至样本全部更新完或者参数已收敛,将项目内容特征矩阵保存到finnalgamma中间文件中;

第2部分,结合内容特征的成对互动评比部分:

1)权重矩阵,偏差向量w结合内容特征的成对互动评比部分,具体是从finnalgamma中间文件读取项目内容特征,初始化潜在用户矩阵,潜在项目矩阵;

2)选取一个用户i,选取其正向反馈项目j,负向反馈项目k,两两构造偏序对,计算成对偏好损失,基于牛顿迭代法,坐标上升交替更新参数U,V,直至样本全部更新完或者参数已收敛,将项目内容特征矩阵保存到finnalu,finnalv中间文件中;

重复以上两个过程,交替更新潜在因子hh,mx和权重矩阵,偏差向量W+直到所有参数收敛,或者样本数据全部更新完毕,计算用户对项目的评级矩阵,并计算得到用户对项目的偏好评比列表。