1.一种家居图像多目标识别方法,其特征在于,包括:获取家居图像数据集作为训练集;
将在目标领域图像数据集上训练好的卷积神经网络模型作为预训练模型,采用迁移学习的方法,保留预训练模型的卷积层和池化层,并将预训练模型中卷积层和池化层学习到的特征权重作为训练集训练的初始特征权重,通过保留的卷积层和池化层提取训练集的图像特征,构建第一特征图和池化特征图;其中,所述第一特征图是由保留的预训练模型的最后一层卷积层输出,所述池化特征图是由保留的预训练模型的最后一层池化层输出;
对池化特征图进行三次卷积操作,得到第二特征图,包括:将卷积神经网络模型的全连接层替换成三层全卷积层;
利用得到的三层全卷积层,对池化特征图进行三次卷积操作,得到第二特征图;
对第一特征图和第二特征图依次作全局均值池化、归一化、反池化、反卷积操作,将反卷积操作后的两组特征图进行融合;
其中,全局均值池化操作包括:将第一特征图的所有像素值相加再除以第一特征图的大小,得到第一特征图的像素平均值;还将第二特征图的所有像素值相加再除以第二特征图的大小,得到第二特征图的像素平均值;
归一化步骤包括:进行归一化操作将不同特征图的分布统一到一个预设的区间内,使用L2归一化函数进行归一化操作,其中,L2归一化函数表示为:其中,输入d维特征图向量x=[x1,x2,…,xd],对x进行归一化得到 上标T表示转置;
反池化步骤包括:将归一化输出的特征图恢复到全局均值池化前的尺寸,将全局均值池化层得到的平均值填入特征图的每个位置;
反卷积操作包括:将反池化层输出的图像恢复到输入特征迁移模块时的尺寸,即原图尺寸,具体的:对特征迁移步骤输出的经全局均值池化、归一化、反池化处理得到的特征图进行16倍上采样,对全卷积步骤输出的经全局均值池化、归一化、反池化处理得到的特征图进行32倍上采样;
融合步骤包括:将反卷积处理后得到的两组特征图,按位相加得到最后的融合结果;
利用softmax分类器对融合后的特征图进行分类识别。
2.根据权利要求1所述的家居图像多目标识别方法,其特征在于,所述利用softmax分类器对融合后的特征图进行分类识别包括:使用softmax分类器对融合特征图的每一个像素点计算分类损失,将每个像素点在所有第二特征图中该像素位置的概率最高的类别作为该像素点的类别。
3.一种家居图像多目标识别装置,其特征在于,包括:获取模块和用于家居图像识别的多目标识别卷积神经网络模型;所述多目标识别卷积神经网络模型包括:特征迁移模块、全卷积模块、特征融合模块、分类模块;其中,获取模块,用于获取家居图像数据集作为训练集;
特征迁移模块,用于将在目标领域图像数据集上训练好的卷积神经网络模型作为预训练模型,采用迁移学习的方法,保留预训练模型的卷积层和池化层,并将预训练模型中卷积层和池化层学习到的特征权重作为训练集训练的初始特征权重,通过保留的卷积层和池化层提取训练集的图像特征,构建第一特征图和池化特征图;其中,所述第一特征图是由保留的预训练模型的最后一层卷积层输出,所述池化特征图是由保留的预训练模型的最后一层池化层输出;
全卷积模块,用于对池化特征图进行三次卷积操作,得到第二特征图;
所述全卷积模块包括:
替换单元,用于将卷积神经网络模型的全连接层替换成三层全卷积层;
操作单元,用于利用得到的三层全卷积层,对池化特征图进行三次卷积操作,得到第二特征图;
特征融合模块,用于对第一特征图和第二特征图依次作全局均值池化、归一化、反池化、反卷积操作,将反卷积操作后的两组特征图进行融合;
特征融合模块包括全局均值池化层、与全局均值池化层相连的归一化层、与归一化层相连的反池化层、与反池化层相连的反卷积层、与反卷积层相连的融合层五个网络层;其中,
全局均值池化层,用于对接收到的特征图内部取平均值,具体的:全局均值化层是将第一特征图的所有像素值相加再除以第一特征图的大小,得到第一特征图的像素平均值;还用于将第二特征图的所有像素值相加再除以第二特征图的大小,得到第二特征图的像素平均值;
归一化层,用于进行归一化操作将不同特征图的分布统一到一个预设的区间内,使用L2归一化函数进行归一化操作,其中,L2归一化函数表示为:其中,输入d维特征图向量x=[x1,x2,…,xd],对x进行归一化得到 上标T表示转置;
反池化层,用于将归一化层输出的特征图恢复到全局均值池化前的尺寸,将全局均值池化层得到的平均值填入特征图的每个位置;
反卷积层,用于将反池化层输出的图像恢复到输入特征迁移模块时的尺寸,即原图尺寸,具体的:对特征迁移模块输出的经全局均值池化、归一化、反池化处理得到的特征图进行16倍上采样,对全卷积模块输出的经全局均值池化、归一化、反池化处理得到的特征图进行32倍上采样;
融合层,用于将特征迁移模块输出的和全卷积模块输出的依次经全局均值池化、归一化、反池化、反卷积处理后得到的两组特征图,按位相加得到最后的融合结果;
分类模块,用于利用softmax分类器对融合后的特征图进行分类识别。
4.根据权利要求3所述的家居图像多目标识别装置,其特征在于,所述分类模块,用于使用softmax分类器对融合特征图的每一个像素点计算分类损失,将每个像素点在所有第二特征图中该像素位置的概率最高的类别作为该像素点的类别。