1.基于图卷积神经网络的多模态医学图像分类方法,其特征在于,包括以下步骤:获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像;对核磁共振图像进行全局图像提取获得全局特征;
对核磁共振图像进行分割处理,采用组间比较选择具有统计学差异的区域得到P值图,根据P值图获得标记图;基于弱监督学习和位置信息嵌入对标记图进行注意力学习,得到标记图中的包含有位置信息的第一模态特征;具体步骤为:对标记图进行特征的弱监督学习获得标记图的特征;
对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征;
通过添加局部特征函数对标记图关键区域特征进一步提取具有典型的特征,获得初步第一模态特征;
池化获得的初步第一模态特征得到最终的第一模态特征;
将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征;具体步骤为:对高斯约束的受限玻尔兹曼机进行预训练得到优化后的模型参数,将正电子发射计算机断层显像图像输入预训练后的受限玻尔兹曼机得到初步第二模态特征;
使用统计显著性检验来选择区域,选择体素强度作为对象进行分块,正电子发射计算机断层显像图像根据区域分块添加位置信息;
添加位置信息后与初步第二模态特征进行拼接获得最终的包含有位置信息的第二模态特征;
利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络,将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征;
将全局特征和局部特征拼接,输出最后的分类结果。
2.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,对核磁共振图像进行全局图像提取获得全局特征的具体步骤为:先使用深度学习网络提取初步全局图像特征,后利用软注意力机制来获取图像特征中所需具有标志性的特征信息得到全局特征。
3.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,对标记图进行特征的弱监督学习获得标记图的特征的具体步骤为:对初步全局图像特征进行注意规则化获得注意力图,利用注意力图代表某一对象区域,使用惩罚函数计算标注图中区域特征的方差从而获得标记图的特征。
4.如权利要求3所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征的具体步骤为:通过定位注意力图来预测对象边界框,定义阈值并分割出前景,找到前景像素的边界框,得到注意力图中关键权重的位置标注,将位置标注作为位置信息嵌入标记图的特征得到标记图关键区域特征。
5.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征的具体步骤为:使用典型相关分析计算不同模态特征间的相似性,以此来确定特征与特征间的联系,之后将第一模态特征和第二模态特征相结合输入进图卷积神经网络,利用位置信息根据特征与特征间的联系将不同模态特征相连接实现图粗化;然后采用傅里叶变换思想设计汇集算子实现图池化,从而获得最终的局部特征。
6.如权利要求5所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,图粗化和图池化的具体过程为:根据第一模态特征和第二模态特征,及第一模态特征和第二模态特征的位置信息将特征表示转换为节点表示,后采用相关性联系将节点表示转换成图表示,完成图粗化过程;在池化过程中使用基于图傅里叶变换的池化算子,充分利用特征信息联系进行汇集,完成图池化过程。
7.如权利要求1所述的基于图卷积神经网络的多模态医学图像分类方法,其特征在于,先对全局特征进行最大池化,后对局部特征进行平均池化,再将全局特征和局部特征拼接获得分类结果。
8.基于图卷积神经网络的多模态医学图像分类系统,其特征在于,包括:
全局特征模块,被配置为获取待分类图像的核磁共振图像和正电子发射计算机断层显像图像;对核磁共振图像进行全局图像提取获得全局特征;
第一模态特征模块,被配置为对核磁共振图像进行分割处理,采用组间比较选择具有统计学差异的区域得到P值图,根据P值图获得标记图;基于弱监督学习和位置信息嵌入对标记图进行注意力学习,得到标记图中的包含有位置信息的第一模态特征;具体步骤为:对标记图进行特征的弱监督学习获得标记图的特征;
对标记图的特征进行位置信息的嵌入操作得到标记图关键区域特征;
通过添加局部特征函数对标记图关键区域特征进一步提取具有典型的特征,获得初步第一模态特征;
池化获得的初步第一模态特征得到最终的第一模态特征;
第二模态特征模块,被配置为将正电子发射计算机断层显像图像输入经过高斯约束的受限玻尔兹曼机得到包含有位置信息的第二模态特征;具体步骤为:对高斯约束的受限玻尔兹曼机进行预训练得到优化后的模型参数,将正电子发射计算机断层显像图像输入预训练后的受限玻尔兹曼机得到初步第二模态特征;
使用统计显著性检验来选择区域,选择体素强度作为对象进行分块,正电子发射计算机断层显像图像根据区域分块添加位置信息;
添加位置信息后与初步第二模态特征进行拼接获得最终的包含有位置信息的第二模态特征;
局部特征模块,被配置为利用第一模态特征和第二模态特征所携带的互补信息来构建图卷积神经网络,将第一模态特征和第二模态特征相结合输入进图卷积神经网络得到最终的局部特征;
特征拼接模块,被配置为将全局特征和局部特征拼接,输出最后的分类结果。