1.一种基于多光谱的眼底图像配准方法,其特征在于,包括:(1)采集在不同光谱下的眼底图像,确定模板眼底图像和待配准眼底图像;
(2)基于特征平衡层和金字塔结构构建回归网络模型,获得模板眼底图像和待配准眼底图像之间的空间变换矩阵;
(3)采取弱监督的方法训练回归网络,以眼底图像的分割图作为标签,获得模板眼底图像和待配准眼底图像的血管标签图,使用高斯滤波器处理血管标签图,利用处理后的血管标签图纠正模板眼底图像和待配准眼底图像的空间变换,使回归网络模型输出近似平滑的结果;
(4)利用训练完成的回归网络模型,完成多光谱眼底图像配准。
2.如权利要求1所述的一种基于多光谱的眼底图像配准方法,其特征在于,所述步骤(2)中,基于U-net网络构建回归网络模型,生成在不同尺度下的空间变换矩阵,调整U-net网络的结构,增加特征平衡层和金字塔结构。
3.如权利要求1所述的一种基于多光谱的眼底图像配准方法,其特征在于,所述步骤(2)中还包括:(2.1)所述回归网络模型由多层卷积层,池化层和反卷积层构建,在编码和解码操作之间加入间隙填充层,平衡低级特征和高级特征,卷积运算后,将低层特征与高层特征进行融合,增强低层特征与高层特征的互补性;
(2.2)增加金字塔结构,把原始眼底图像缩减为不同比例的图像,输入到回归网络模型中,相应的眼底血管图在相同规模的输出层指导网络训练,在不同尺度的眼底图像上进行配准。
4.如权利要求3所述的一种基于多光谱的眼底图像配准方法,其特征在于,所述(2.2)具体为,(2.2.1)对细节较少的粗尺度图像进行配准,并将配准结果作为精细图像配准的初始值;
(2.2.2)运用插值算法把在粗尺度得到的形变场插值到精细尺度的形变场,在精细的尺度上细化空间变换矩阵,逐步得到最精细的空间变换矩阵。
5.如权利要求1所述的一种基于多光谱的眼底图像配准方法,其特征在于,所述步骤(3)中,使用高斯滤波器处理血管标签图,
其中,(x,y)为点坐标,σ是标准差。
6.如权利要求1所述的一种基于多光谱的眼底图像配准方法,其特征在于,所述步骤(3)中,对于配准过程中的损失函数,对给定的两幅图像{IT,IS},Is待配准眼底图像,IT为模板眼底图像,L=LM+LR (2)
其中,L表示总的损失,LM表示血管标签图的相似性,LR表示形变场的平滑约束;
使用形变后的待配准眼底图像的标签图和模板眼底图像对应的标签图的空间对应关系来表示图像之间的对应关系,LM(LT,LS,φ)=M(LT,LS(φ))=M(LT,L'S) (3)其中,LM表示模板眼底图像的标签与待配准眼底图像的标签的相似度损失,LT为模板眼底图像的标签,LS为形变前的待配准眼底图像标签,L'S为形变后的待配准眼底图像标签,L'S=Ls(φ),M为相似度度量的方法,φ表示模板眼底图像与待配准眼底图像之间的一个形变场。
7.如权利要求1所述的一种基于多光谱的眼底图像配准方法,其特征在于,所述步骤(3)中,采用由粗到精的迭代算法,将粗尺度作为细尺度的初始值,细尺度上的损失函数为:LFINE=LM(LT,LS,φ)+λ1LR(φ)+λ2LF(φ,φ'coarse) (4)其中,LFINE为细尺度上的损失,LM表示血管标签图的相似性,LT为模板眼底图像的标签,LS为形变前的待配准眼底图像标签,φ是形变场,λ1,λ2为调整后两项的权重,LR表示形变场的平滑约束,LF为粗尺度和细尺度之间的损失,φ'coarse为使用线性插值产生的尺寸较大的新的形变场;
其中,
φ'coarse=Interpolation(φcoarse) (6)LF为粗尺度和细尺度之间的欧几里得损失,N为血管标签图上的像素个数,φfine为细尺度上网络预测的形变场,φcoarse为粗尺度上网络预测的形变场,φ'coarse为使用线性插值产生的尺寸较大的新的形变场。
8.如权利要求1所述的一种基于多光谱的眼底图像配准方法,其特征在于,所述步骤(3)中,优化回归网络模型,使用Adam算法进行优化,使用随机梯度下降算法训练回归网络模型。
9.一种基于多光谱的眼底图像配准系统,其特征在于,包括:图像采集模块,采集在不同光谱下的眼底图像,确定模板眼底图像和待配准眼底图像;
网络构建模块,基于特征平衡层和金字塔结构构建回归网络模型,获得模板眼底图像和待配准眼底图像之间的空间变换矩阵;
训练模块,采取弱监督的方法训练回归网络,以眼底图像的分割图作为标签,获得模板眼底图像和待配准眼底图像的血管标签图,使用高斯滤波器处理血管标签图,利用处理后的血管标签图纠正模板眼底图像和待配准眼底图像的空间变换,使回归网络模型输出近似平滑的结果;
配准模块,利用训练完成的回归网络模型,完成多光谱眼底图像配准。