1.一种基于2D CAM的大脑核磁共振异常图像的可视化方法,其特征在于:所述可视化方法如下:
1)采集患者的大脑核磁共振异常图像作为训练样本;
2)利用训练样本对2D CAM进行训练,确定训练后的网络参数即系数矩阵W和偏倚向量b值;
21)构建2D CAM模型,并随机初始化网络参数
构建2D CAM模型,该2D CAM模型包括输入层、卷积层、池化层、全局平均池化层、全连接层及输出层,并对2D CAM模型初始化,即初始化所有隐藏层与输出层所对应的系数矩阵W和偏倚向量b值,使系数矩阵W和偏倚向量b值为一个初始的随机值;
22)2D CAM网络第一次正向迭代;
23)2D CAM网络第一次反向迭代;
l
24)循环步骤22)和步骤23)进行多次迭代,不断更新神经网络的参数,直至所有权重w,偏置bl的变化值都小于停止迭代阈值ε时停止迭代,即确定了最终各隐藏层与输出层的权重wl和偏置bl;
步骤3)根据不同的磁共振图像创建可视化热度图
31)提取训练后2D CAM模型中步骤229)全连接层的所有权重w';
33)提取训练后2D CAM模型中步骤228)全连接层连接至一个个单一神经元的所有权重w”,即为w″1、w″2、...、w″j;
33)将步骤228)全局平均池化后特征图中乘以其步骤31)和步骤32)中相应的权重w'w”;
34)将得到多张热力图进行热力图归一化,按第一维度展开成所需的患者原大脑核磁共振异常图像的大小,将切片特征图相加,然后按进行图像二维显示,实现了基于2D CAM的大脑核磁共振异常图像的可视化。
2.根据权利要求1所述基于2D CAM的大脑核磁共振异常图像的可视化方法,其特征在于:所述步骤22)中,具体过程如下:
221)大脑核磁共振异常图像作为输入层
以三维的大脑核磁共振异常图像沿第一维度切片的m张二维图像作为2D CAM模型的输入层,输入层采用的是分辨率大小为H×L的2D MRI图像,H代表的是2D MRI图像的高度,L代表的是2D MRI图像的宽度;将每张二维的核磁共振图像的像素点进行顺序排列,用来作为输入层神经元的值,假设神经网络的输入层神经元输入为向量x,向量x中的每个元素xi的值即对应着输入层对应的每个神经元i,神经元的输出值ai,1也是输入向量x本身;
222)卷积层Conv 1a层采用N个大小F0为H0×L0的二维卷积核对步骤1)的异常核磁共振图像进行二维卷积,获取Conv 1a层二维卷积后特征图,其中H0远小于H、L0远小于L卷积层Conv1a层的二维卷积核的个数为N个、尺寸大小F0为H0×L0,步长stride记为SC1,特征图填充圈数为padding-F1,2D MRI图像作为2D CAM网络的输入层,采用N个二维卷积核对步骤221)中2D MRI图像进行二维卷积,有多少个卷积核得到多少个特征图像,因此得到了数量为m×N的Conv1a层二维卷积后特征图,分辨率大小为Hc1×Lc1,即:Hc1=(H-F0+2×Padding-F1)/SC1+1,Lc1=(L-F0+2×Padding-F1)/SC1+1由于整个神经网络也是全连接网络,每个隐藏层的每个神经元都有连接到上一层神经l元的权重 和偏置b ,其中 代表从l-1层的第i个神经元到l层第j个神经元之间的连接权重,也可记为Wl,bl代表从l-1层到l层的偏置;因此Conv 1a层在采用N个二维卷积核对步骤221)中2D MRI图像进行二维卷积时,得到该卷积层的神经元连接到输入层神经元的的权重为Wl(W2),一个偏置为bl(b2),Conv 1a层的输出为ai,2=σ(zi,2)=σ(W2ai,1+b2),其中σ为激励函数Relu,ai,l代表第l层的第i个神经元输出值;
223)池化层的Pool 1层对Conv 1a层二维卷积后特征图进行池化池化层的Pool 1层采用池化核尺寸大小为p0,步长Stride记为SP1,特征图填充圈数为padding-P1,对Conv1a层所得到的每一张二维卷积后特征图进行降维采样得到Pool 1层池化后特征图,即m×N张分辨率大小Hp1×Lp1的图像:Hp1=(Hc1-p0+2×Padding-P1)/SP1+1,Lp1=(Lc1-p0+2×Padding-P1)/SP1+1Pool 1层在池化Conv1a层二维卷积后所得到的特征图过程中,没有涉及参数W及b,而是按照池化区域大小和最大池化标准将输入张量a缩小的过程,即所得到的输出张量为ai,3=pool(ai,2);
224)卷积层Conv 2a层对Pool 1层池化后特征图进行二次二维卷积卷积层Conv 2a层的二维卷积核的个数为2N个、尺寸大小F0为H0×L0,步长stride记为SC2,特征图填充圈数为padding-F2,对Pool 1层每一张池化后特征图进行二次二维卷积得到m×2N个Conv 2a层二维卷积后特征图,分辨率大小为Hc2×Lc2,即:Hc2=(Hc1-F0+2×Padding-F2)/SC2+1,Lc2=(Lc1-F0+2×Padding-F2)/SC2+1Conv 2a层采用2N个二维卷积核对Pool 1后每一张池化后特征图卷积时,得到的该卷积层的神经元连接到Pool 1层神经元的权重Wl(W2),以及一个偏置bl(b2),Conv 2a层的输出为ai,4=σ(zi,4)=σ(W4*ai,3+b4);
225)池化层的Pool 2层对Conv2a层二维卷积后特征图进行池化池化层的Pool 2层采用池化核尺寸大小为p0,步长stride记为SP2,特征图填充圈数为padding-P2,对Conv 2a层所得到的每一张二维卷积后特征图进行降维采样得到Pool 2层池化后特征图,即m×2N张分辨率大小Hp2×Lp2的图像:Hp2=(Hc2-p0+2×Padding-P2)/SP2+1,Lp2=(Lc2-p0+2×Padding-P2)/SP2+1在Pool 2层池化Conv 2a层二维卷积后所得到的特征图过程中,没有W、b参数,而是按照池化区域大小和最大池化标准将输入张量a缩小的过程,即所得到的输出张量为ai,5=pool(ai,4);
226)至少重复一次步骤224)和重复一次步骤225)且循环多次直至完成提前设定的卷积、池化层数后,停止卷积和池化;
227)对步骤226)中最后一层池化后特征图进行全局平均池化操作
对最后一层池化后的特征图进行全局平均池化,计算每一张二维特征图所有像素点的均值,输出每一张池化后特征图的数据值,每个数据值也分别相对应着一个神经元;
228)采用全连接层将步骤227)每一张特征图全局平均池化后所对应的全部神经元全连接至一个个的单一神经元;
229)采用全连接层连接至步骤228)所有单一神经元,所有单一神经元对应的数据值形成一个特征向量,将特征向量输送至分类输出层并输出多个类别。
3.根据权利要求1所述基于2D CAM的大脑核磁共振异常图像的可视化方法,其特征在于:所述步骤23)中,具体过程如下:神经网络反向传播过程中,在计算每个神经元的误差项δ时,首先需要计算该层每个神经元与其相连的下一层神经元的之间的误差项δ,即当前层的误差用下一层的误差来表示;
反向传播计算误差项必须先从输出层开始,全连接层其误差为δi,l=(Wl+1)T*δi,l+1⊙σ'(zi,l),然后依次反向计算每个隐藏层的误差,全局平均池化层根据全连接层其误差反向计算误差δi,l=upsample(δi,l+1)⊙σ'(zi,l),下一个池化层反向也是根据全局平均池化层的误差计算,卷积层根据上一个池化层的误差计算δi,l=δi,l+1*rot180(Wl+1)⊙σ'(zi,l),反向池化—卷积—...—池化—卷积误差计算,直至与输入层相连的Conv1a层;
当所有神经元的反向传播误差项计算完毕后,就更新从l=2层到输出层的L层的所有的权重wl和偏置bl项:更新每一卷积层网络参数时都有:更新到全连接层网络参数时有: α为学习速率,
是一个常数。
4.根据权利要求1所述基于2D CAM的大脑核磁共振异常图像的可视化方法,其特征在于:所述步骤31)中,具体过程如下:对任一个类别C,每一个特征图k的数据值都有一个对应的权重,记为 b对分类基本没影响,置为0,则一个类别C对应一套全连接层权重为 多个类别对应多套全连接层权重,提取出训练后2D CAM模型中步骤229)的所有类别的全连接层所有权重w'。
5.根据权利要求1所述基于2D CAM的大脑核磁共振异常图像的可视化方法,其特征在于:所述步骤33)中,具体过程如下:输出层分类的结果可以看成是全局平均池化后特征图与相应权重的乘积即:
其中, 代表对C这个类别,每一个特征图k的数据值所对应的权重;Tk代表特征图k对应的层;
权重就代表了每个特征图对于海马这个类别结果的贡献程度, 的值相对
较大对结果影响大,值相对较小对结果影响小;
所以多个类别所对应的所有权重 与全局平均池化后对应的特征图相乘,最后就得到多个类别热力图。