1.一种图协同单目实例三维重建方法,其特征在于,包括步骤:S1、构建一个由多个二维图像序列组成的图像数据集,作为训练集;
S2、以图像序列中的每个序列第一帧作为输入条件,计算图像中目标物体实例的神经表征,神经表征在所有序列之间共享,并由其他帧进行递归学习优化;
S3、在神经表征基础上,构建神经表征映射场进行序列间映射场泛化;
S4、提取给定序列第一帧目标物体实例的像素语义特征量,预测输入帧中的像素点密度和颜色;
S5、根据序列间泛化映射场预测的像素点密度和颜色,计算像素的图协同因子,合成和更新深度视图;
S6、根据像素的图协同因子构建图协同群组;
S7、在更新的深度视图基础上,采用图协同群组方法实现单目二维图像到三维的重建;
其中,步骤S6具体包括:
步骤S601、根据图协同因子构建图协同群组:由于一个三维点 与图协同因子中的多个二维像素特征点 相关联,进行聚合操作来更新三维特征描述算子通过对相应的二维描述算子进行平均初始化;图协同映射操作时,保留中最大信息量的二维特征,以便根据当前帧 实现下一帧 的二维到三维映射;
步骤S602、构造图协同单目架构实现实例的三维重建,对每个单独的 进行操作,对于每个 权重矩阵表示为 图协同算子定义为:其中 计算注意力系数,用于计量描述算子在聚合操作中的重要性;
步骤603、使用注意协同算子和交叉协同算子来处理和转换聚合的三维描述算子和查询的二维描述算子;一组由图协同算子、注意协同算子和交叉协同算子构成了一个图协同群组表示为:表示图协同算子、 表示注意协同算子, 表示交叉协同算子;
步骤S7具体包括:
步骤701、设图协同网络架构是由N个堆叠的图协同群组组成,根据 和的相关性,图协同网络会自适应地关注图协同因子 中不同的二维像素特征点从而为二维到三维映射保留更多的区分性信息,通过将聚合注意力层与自我注意力层和交叉注意力层交织在一起,使得 互相交换信息;
步骤702、匹配选择和位姿计算,计算相机位姿匹配置信度得分 如下:代表了二维到三维映射的预测,其中函数sigmod(x)=1/(1+exp(‑x)),物体在相机坐标中的姿态通过透视点算法计算得到;
步骤703、在相机位姿匹配置信度得分 基础上合成和更新的深度视图,结合图协同群组 表构建:其中 表示叉积运算,实现基于位姿匹配置信度的自动匹配图协同群组因子。
2.根据权利要求1所述的一种图协同单目实例三维重建方法,其特征在于,步骤S1中,该训练集由 个二维图像序列组成的,每个图像序列包含m幅RGB图像及其对应的相机位姿,表示为:其中, v=1,2,…,m, 代表第u个图像序列的第v帧图像, 表示该图像摄制过程中对应的相机位姿。
3.根据权利要求2所述的一种图协同单目实例三维重建方法,其特征在于,步骤S2中,训练集 个图像序列中的每个序列第一帧 作为输入条件,计算图像中目标物体实例的神经表征,神经表征在 个序列之间共享,并由其他帧进行递归学习优化,其他帧表示形式为:其中, v'=2,3,…,m。
4.根据权利要求1所述的一种图协同单目实例三维重建方法,其特征在于,步骤S3中,构建神经表征映射场 其中ξ表示像素点密度,Hue代表RGB颜色。
5.根据权利要求1所述的一种图协同单目实例三维重建方法,其特征在于,步骤S4具体包括:S401、在序列间映射场泛化基础上,给定序列的第一帧 使用残差网络ResNeXt提取目标物体实例的像素语义特征量S402、接着选择其他帧中的每行抽取一帧
其中 v'=2,3,…,m,共抽取 帧,对抽取的每帧均匀选择 个像素,结合相机位姿 沿着穿过这些像素的视野可达区域进行视线采样 个点;
S403、将每个采样三维点 投影到的图像条件神经辐射场球体上,形成图像特征向量 其中,代表特征向量提取器,输入到神经表征映射场 得到形式为其中 代表辐射场观察方向;
S404、预测输入帧中的像素点密度ξ和RGB颜色Hue。
6.根据权利要求1所述的一种图协同单目实例三维重建方法,其特征在于,步骤S5具体包括:S501、根据序列间泛化映射场预测的像素点密度和颜色,计算像素的图协同因子其中 对应 个采样点,αt∈(0,1)是对应采样点的超参数,ξt表示第i个采样点像素点密度,函数sigmod(x)=1/(1+exp(‑x)),dt是上述 个采样点的第t个点到采样位置的距离,S502、在源图像 和它的前一帧 之间选择连续帧以最优联合信息熵,构建重建投影损失函数 表示为:其中 表示每帧中均匀选择的 个像素, 表示其中第 个像素在该帧色彩度量上的分布概率,||·||表示2‑范数, 表示根据相机位姿信息进行2d投影算子;
S503、将步骤S502中所述损失函数用于训练并计算得到图协同因子,进而合成和更新深度视图。