欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020104797348
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于Attention多特征融合的图像压缩感知重建方法,其特征在于,包括:

步骤1、采集图像数据并将其基于神经网络测量后输出测量数据;

步骤2、采用反卷积神经网络对测量信号进行初始重建后输出初始重建图像;

步骤3、利用三通道网络对步骤2的重建图像进行处理后输出多尺度特征信息;

步骤4、Attention机制对输出的不同特征进行加权处理后得到最终重建图像数据。

2.根据权利要求1所述的一种基于Attention多特征融合的图像压缩感知重建方法,其特征在于,所述步骤1具体包括:步骤2.1、选取一张大小为n×n的图像,将图像转化为灰度图;

步骤2.2、利用全卷积神经网络进行测量;采用m个B×B×1的卷积核对输入数据同时进行测量,其中 为测量速率,B为设置采样层卷积核的大小,并不设偏置,不设Pad补零,卷积步长设置为B;

步骤2.3、经过卷积层测量后,得到 的测量数据。

3.根据权利要求1所述的一种基于Attention多特征融合的图像压缩感知重建方法,其特征在于,步骤2.2具体包括:利用卷积神经网络测量是模仿传统的测量方式:yi=ΦB×xi,将测量矩阵ΦB的每一行都视为一个卷积核;测量矩阵ΦB中存在 行( 为测量率),以获得m个测量点;将卷积核的大小设置成B×B,步长也设置成B,相当于不重叠采样;因此每一个卷积核输出一个测量值。

4.根据权利要求1所述的一种基于Attention多特征融合的图像压缩感知重建方法,其特征在于,所述步骤2具体包括:步骤3.1、利用反卷积神经网络对采样信号进行初始重建;

步骤3.2、经过步骤3.1的卷积操作后,得到n×n的初始重建图像。

5.根据权利要求4所述的一种基于Attention多特征融合的图像压缩感知重建方法,其特征在于,步骤3.1中,具体包括:对于反卷积过程,采用卷积过程转置后的卷积核,相当于是卷积的逆过程;经过卷积测量后,图像的分辨率会变低,部分信息会缺失;反卷积就是为了恢复原图像,重要的是得到与原图像的大小一致;由于反卷积的输出张量(图像)大小为:

0=(N-1)×S+K-2P,其中N是输入图像大小,O是输出图像大小,S是步长,K是卷积核的大小,P是边缘填充;在经过全卷积测量后, 没有Pad操作;为了得到与原图相同大小,因此在这里S=32,K=32,没有Pad操作,因此P=0;这样经过反卷积后就会得到与原图像大小相同的初始重建图像。

6.根据权利要求1所述的一种基于Attention多特征融合的图像压缩感知重建方法,其特征在于,步骤3中,使用不同扩张速率的扩张卷积组成三个并行通道并且每个通道加入残差块,构成残差网得到,多个不同尺度的特征信息;三个并行通道具体包括左中右三个通道,且每个通道都有四个残差块,每个残差块都有三层,但是每个通道的扩张卷积的速率不一样,具体是:最左边道扩张速率为1,即为普通3×3的卷积核;每个残差块第一层为64个大小为3×3的卷积核;第二层为32个大小为3×3的卷积核;第三层为1个大小为3×3的卷积核;该部分所有卷积层的步长都为1且激活函数为ReLU;为了保持输出数据的维度与输入数据维度相同进行Pad操作且无Pool操作,此时Pad为1;

中间通道同样是四个残差块,每个残差块有三个卷积层;每个卷积核的扩张速率都为

2,在3×3卷积核上进行扩张即得到5×5的卷积核;第一层为64个的卷积核;第二层为32个卷积核;第三层为1卷积核;该部分所有卷积层的步长都为1且激活函数为ReLU;为了保持输出数据的维度与输入数据维度相同进行Pad操作且无Pool操作,此时Pad为2;

右边通道与其它通道的卷积层数和卷积核的个数一样,但是扩张卷积的速率为3,即得到7×7的卷积核;因此,为了保持输出数据的维度与输入数据维度相同,此时Pad补零数为

3;每次进行卷积后,都用ReLU作为激活函数。

7.根据权利要求1所述的一种基于Attention多特征融合的图像压缩感知重建方法,其特征在于,步骤4具体包括:在多通道提取多尺度的特征信息后,直接将每个通道特征信息进行融合,这些信息在各个通道间被均等对待,这阻碍了CNN的表示能力;实际上每个通道信息,在图像重建时起到作用的比例不一样;然而,每个通道缩放比例不是认为设置,是通过网络训练学习得到的;多个卷积通道提取特征后输出为X=x1,…,xc,…,xC,其中有C个大小为n×n的特征图;通过一个全局池化操作得到通道统计 第c个表示为然后我们还引入一个门控制机制,学习信道之间的非线性相互作用;

在这里,我们选择利用简单的sigmoid函数作为门机制:s=f(WAR(WBz))这里f(·)和R为sigmoid和ReLU激活函数,WA和WB为卷积后的权重;最后,获得最终的频道统计信息s,用于重新缩放输入X,最终 S为通道的比例因子的,也就是每个信道间的特征信息通过Attention机制被自适应重新缩放。