1.一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法,其特征在于,其步骤如下:步骤一:利用热像仪和光学相机同时采集若干个训练样本的热光谱人脸图像和可见光谱人脸图像,建立数据集;
步骤二:对数据集全局训练:应用主分量分析分别对热光谱图像和可见光谱图像处理获得热光谱特征投影矩阵和可见光特征投影矩阵,将热光谱人脸图像和可见光谱人脸图像分别转化为特征空间中的热光谱训练数据和可见光谱训练数据,利用核稀疏典型相关分析将热光谱训练数据和可见光谱训练数据投影到相关空间,得到热光谱相关空间投影矩阵和可见光谱相关空间投影矩阵;
步骤三:热红外测试图像的全局重建:将热光谱测试样本图像利用步骤二得到热光谱特征投影矩阵由图像空间投影到特征空间、利用热光谱相关空间投影矩阵由特征空间投影到相关空间,应用局部线性嵌入估计重建可见光谱数据,利用可见光谱相关空间投影矩阵和可见光特征投影矩阵将可见光谱数据投影到图像空间,获得重建的全局可见光谱图像;
步骤四:对数据集局部细化训练:利用滑动窗口分别检索重建的全局可见光谱图像、热光谱人脸图像和可见光谱人脸图像中的图像块,计算重建的全局可见光谱图像分别与热光谱人脸图像和可见光谱人脸图像的残差向量,利用核稀疏典型相关分析将残差向量投影到相关空间,获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵及相关空间热光谱训练残差图像块和相关空间可见光谱训练残差图像块;
步骤五:局部细化的重建:将重建的全局可见光谱图像和热光谱测试样本图像进行残差计算获得热光谱残差图像,利用热光谱图像块相关空间投影矩阵将热光谱残差图像的图像块投影到相关空间,应用局部线性嵌入估计重建可见光谱残差图像块、并利用可见光谱图像块相关空间投影矩阵投影到图像空间得到重建的可见光谱残差图像块;
步骤六:利用可见光谱残差图像块的重叠像素的平均值和重建的全局可见光谱图像相加得到可见光谱人脸重建图像。
2.根据权利要求1所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法,其特征在于,对数据集全局训练的方法的步骤为:(1)将数据集中热光谱图像 和可见光谱图像 分别进行中心化:其中, Ximg为热光谱图像空间,n=1,2,…,N,N为数据集中训练样本的总数量; Yimg为可见光谱图像空间;中心化热光谱数据 为中心化热光谱数据空间;中心化可见光谱数据
为中心化可见光谱数据空间;μX为数据集中所有热光谱图像的均值向量,μY为数据集中所有可见光谱图像的均值向量;
(2)执行主分量分析,将中心化热光谱数据空间 和中心化可见光谱数据空间 分别投影到特征空间:其中,PX为对热光谱图像 应用主分量分析获得的特征投影矩阵,PY为对可见光谱图像 应用主分量分析获得的特征投影矩阵, 为热光谱特征空间,热光谱特征训练数据 为可见光谱特征空间,可见光谱特征训练数据
(3)热光谱训练特征数据和可见光谱特征训练数据进行中心化:其中,中心化热光谱特征训练数据 为热光谱特征空间
Xeig的中心化数据空间;中心化可见光谱特征训练数据 为可见光谱特征空间Yeig的中心化数据空间;vX为热光谱特征空间Xeig的均值向量,vY为可见光谱特征空间Yeig的均值向量;
(4)执行核稀疏典型相关分析获取热光谱训练数据相关空间投影矩阵QX和可见光谱训练数据相关空间投影矩阵QY,将中心化热光谱特征训练数据空间 和中心化可见光谱特征训练数据空间投影到相关空间:其中,Xcoh为相干空间中的热光谱训练数据,Ycoh为相干空间中的可见光谱训练数据。
3.根据权利要求2所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法,其特征在于,利用核稀疏典型相关分析获取热光谱训练数据相关空间投影矩阵QX和可见光谱训练数据相关空间投影矩阵QY的方法为:应用核稀疏典型相关分析优化准则使中心化后的热光谱训练数据和可见光谱训练数据相关性最大化:同时,使核稀疏重构误差最小化:
以式(7)作为最优化目标函数,以式(8)和(9)作为约束条件,求解满足式(7)、(8)和(9)表示的约束最优化问题,得到热光谱训练数据相关空间投影矩阵QX和可见光谱训练数据相关空间投影矩阵QY;
其中, 和 分别为热光谱训练数据和可见光谱训练数据的核内积矩阵,T表示矩阵的转置; 分别为中心化热光谱特征训练数据 和中心化可见光谱特征训练数据 相对应的核稀疏表示系数向量。
4.根据权利要求2所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法,其特征在于,所述热红外测试图像的全局重建的方法为:(1)将数据集中测试样本的热光谱图像ximg由图像空间投影到特征空间为:xeig=PX(ximg-μX) (21)
其中,xeig为测试样本的特征图像;
(2)将测试样本由特征空间投影到相关空间:
xcoh=QX(xeig-vX) (22)
coh
其中,x 为测试样本相关空间中的热光谱数据;
(3)在相关空间中应用局部线性嵌入获得全局重建权重向量,利用全局重建权重向量估计重建的可见光谱数据:其中,ycoh为测试样本在相关空间中重建的可见光谱数据, 为coh
相关空间中重建的可见光谱数据y 的K个可见光谱邻域像素,K为自然数,k=1,2,...,K;
(4)将相关空间中重建的可见光谱数据ycoh投影回图像空间:其中,yeig为测试样本的可见光谱特征图像, 为可见光谱训练数据相关空间投影矩阵QY的伪逆矩阵, 为测试样本重建的全局可见光谱人脸图像。
5.根据权利要求4所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法,其特征在于,所述获得全局重建权重向量的方法为:求解最小化误差函数ε1:
其中,w=(w1,w2,...,wK)T是全局重建权重向量,引入元素为gj,k的局部格拉姆矩阵G,得:其中,j,k=1,2,...,K;
重建误差通过使用拉格朗日乘子法,令 来实现最小化,计算全局重建权重向量w为:其中, 为矩阵G-1的元素,矩阵G-1为局部格拉姆矩阵G的逆矩阵;像素为测试样本相关空间中的热光谱数据xcoh的K个热光谱邻域像素。
6.根据权利要求5所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法,其特征在于,所述热光谱邻域像素Ax为选取相关空间中与热光谱数据xcoh最相近的K个同类样本像素点组成的集合;可见光谱邻域像素Ay与热光谱邻域像素Ax对应匹配,热光谱邻域像素Ax和可见光谱邻域像素Ay均通过最近邻算法KNN获得。
7.根据权利要求4所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法,其特征在于,所述对数据集局部细化训练的方法为:(1)计算重建的全局可见光谱人脸图像与可见光谱图像和热光谱图像的图像块的重建误差:其中, 表示对重建的全局可见光谱人脸图像 用滑动窗口进行检索后得到的图像块, 为全局重建的可见光谱训练数据; 表示对可见光谱图像 用滑动窗口进行检索后得到的图像块, 为可见光谱实际训练数据, 表示对热光谱图像 用滑动窗口进行检索后得到的图像块,热光谱实际训练数据为 l=1,2,...,L作为局部图像块的索引值;
为可见光谱图像块重建误差, 为可见光谱数据残差向
量; 为热光谱图像块重建误差, 为热光谱数据残差向量;
(2)利用重建误差,将训练图像块中心化:
其中, 为热光谱训练图像块l的均值向量, 为可见光谱训练图像块l的均值向量;
为热光谱图像块中心化重建误差, 为热光谱残差向量中心化数据; 为可见光谱图像块中心化重建误差, 为可见光谱残差向量中心化数据;
(3)执行核稀疏典型相关分析获取热光谱图像块相关空间投影矩阵 和可见光谱图像块相关空间投影矩阵 将热光谱残差向量中心化数据和可见光谱残差向量中心化数据直接投影到相关空间上:其中, 为相关空间中的热光谱训练残差图像块, 为相关空间中的可见光谱训练残差图像块。
8.根据权利要求7所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法,其特征在于,所述获取热光谱图像块相关空间投影矩阵 和可见光谱图像块相关空间投影矩阵 的方法为:应用核稀疏典型相关分析优化准则使热光谱残差向量中心化数据和可见光谱残差向量中心化数据两组数据相关性最大化:同时,使核稀疏重构误差最小化:
以式(16)作为最优化目标函数,以式(17)和(18)作为约束条件,求解满足式(16)、(17)和(18)表示的约束最优化问题,获取热光谱图像块相关空间投影矩阵 和可见光谱图像块相关空间投影矩阵其中, 和 为核内积矩阵, 分别为热光谱图像块中心化重建误差 和可见光谱图像块中心化重建误差 相对应的核稀疏表示系数向量。
9.根据权利要求7所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法,其特征在于,所述局部细化的重建方法为:(1)根据测试样本的热光谱人脸图像ximg和测试样本重建的全局可见光谱人脸图像获取测试样本的热光谱残差图像(2)利用滑动窗口在测试样本的热光谱残差图像 中获取热光谱残差图像块为将热光谱残差图像块投影到相关空间:其中, 为测试样本在相关空间的热光谱残差图像块, 为热光谱实际训练数据中热光谱训练图像块l的均值向量;
(3)在相关空间中应用局部线性嵌入获取测试样本图像块重建权重向量重建的可见光谱残差图像块:
其中, 为测试样本在相关空间的可见光谱残差图像块,为测试样本在相关空间的可见光谱残差图像块 的K个可见光谱邻域像素;
(4)将相关空间重建的可见光谱残差图像块投影到图像空间:其中, 为测试样本重建到图像空间的可见光谱残差图像块, 为可见光谱实际训练数据中可见光谱训练图像块l的均值向量, 为可见光谱图像块相关空间投影矩阵 伪逆矩阵。
10.根据权利要求7所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法,其特征在于,利用测试样本在局部细化步骤重建的可见光谱残差图像块 和全局重建步骤重建的可见光谱人脸图像 得到最终的可见光谱重建图像为:其中, 是可见光谱残差图像块 重叠像素的平均值,即 由滑动窗口相同位置的残差图像像素值叠加求和后再求平均值,yimg为最终可见光谱人脸重建图像;
应用局部线性嵌入获取相干空间重建的可见光残差图像块,转化为求解最小化误差函数ε2:其中, 为测试样本图像块重建权重向量,通过求解最小化误差函数ε2得到; 为测试样本在相关空间的热光谱残差图像块 的K个热光谱邻域像素,即选取相关空间中与热光谱残差图像块 最相近的K个同类样本像素点。