欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022115878206
申请人: 内江师范学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种适用于连续帧序列单应性变换的网络模型训练方法,其特征在于,包括如下步骤:步骤1.构建第一数据集,该数据集由目标视频中每帧有效图像随机进行单应性变换后形成的图像对作为数据组成,其中每个数据的标签是该图像对两个图像之间的单应性变换矩阵;

步骤2.搭建深度卷积神经网络模型,以第一数据集训练深度卷积神经网络模型,获得可实现内容相同的两帧图像单应性变换矩阵求解的网络模型;所谓内容相同,是指两帧图像的拍摄时间和拍摄对象相同,但拍摄角度不同;

步骤3.构建第二数据集,第二数据集包括多组帧序列,每组帧序列是目标视频中,某一时间段内持续固定方向运动的相机拍摄的连续多帧图像;

步骤4.以步骤2训练完成的深度卷积神经网络模型作为循环单元,形成双向循环神经网络模型;对第二数据集中的每一组帧序列,重复步骤4‑1至4‑4;

步骤4‑1.利用帧序列中的所有正向图像对计算帧序列首帧向尾帧进行单应性变换时的正向序列误差lossR;

以第二数据集中帧序列的相邻两帧图像组成的正向图像对作为双向循环神经网络模型的输入,即单次循环中依次输入(P‑1,P),(P‑2,P‑1)…(i,j)…(0,1)图像对进行计算,其中(i,j)表示帧序列的第i帧和第j帧图像组成的图像对,j=i+1;P表示帧序列的帧总数;每次循环中输出该次循环中输入的正向图像对之间的正向图像对单应性变换矩阵hij;下标i,j表示该次循环使用的图像对的图像编号;循环结束时更换图像对输入继续训练;

所有正向图像对都输入模型完成训练后,得到利用帧序列中的所有正向图像对进行帧序列首帧向尾帧进行单应性变换的正向序列误差lossR;步骤4‑2.利用帧序列中的所有反向图像对计算帧序列尾帧向首帧进行单应性变换时的反向序列误差lossL;

以第二数据集中帧序列的相邻两帧图像组成的反向图像对作为双向循环神经网络模型的输入,即单次循环中依次输入(1,0),(2,1)…(j,i)…(P,P‑1)图像对进行计算,其中(j,i)表示帧序列的第j帧和第i帧图像组成的图像对;j=i+1,P表示帧序列的帧总数;

每次循环中输出该次循环中输入的反向图像对之间的反向图像对单应性变换矩阵hji;

下标i,j表示该次循环使用的图像对的图像编号;循环结束时更换图像对输入继续训练;

所有反向图像对都输入模型完成训练后,得到利用帧序列中的所有反向图像对进行帧序列尾帧向首帧进行单应性变换的反向序列误差lossL;步骤4‑3.利用帧序列中每个图像对从两个不同方向进行单应性变换时的互逆性,计算整体互逆性误差lossM;

具体为:

利用公式ei=hij*hji计算单个图像对从正反两个不同方向获得的正向图像对单应性变换矩阵和反向图像对单应性变换矩阵的乘积ei,并结合同等形状的单位矩阵E,利用L2损失函数计算获得单次循环互逆性误差loss(i);

利用L2损失函数计算获得单次循环互逆性误差loss(i)的具体方式为:

E[k]和ei[k]分别表示矩阵E和ei的第k个元素,k元素标号从0开始;累加各次循环的互逆性误差,得到整体互逆性误差lossM=loss(0)+loss(1)+...loss(i)+…loss(P‑1),P表示帧序列的帧总数;

步骤4‑4.以公式lossALL=α*(lossR+lossL)+β*lossM计算双向循环神经网络模型针对当前输入的帧序列的总体误差lossALL,α和β分别为第一和第二调和系数;

步骤5.重复输入各个帧序列的图像对进行训练,直到总体误差lossALL符合训练要求或达到预定训练轮次。

2.如权利要求1所述网络模型训练方法,其特征在于,所述步骤2中对深度卷积神经网络模型训练的训练目标是:通过模型预测得出输入的图像对之间的单应性变换矩阵,计算其与该图像对标签的单应性变换矩阵的偏差,并重复输入第一数据集中的多组图像对进行单应性矩阵预测,直到对所有输入图像对计算的偏差均小于设定值,认为达到训练目标;否则继续训练。

3.如权利要求1所述网络模型训练方法,其特征在于,所述步骤4‑1中利用帧序列中的所有正向图像对计算帧序列首帧向尾帧进行单应性变换时的正向序列误差lossR的过程具体为:设定当前输入的正向图像对(i,j)中编号为i的图像中位置分别为(0,0),(a,0),(0,b),(a,b)的4点为图像对单应性变换的基准点,其中a和b分别表示图像i的长度和宽度信息;

循环单元预测出当前正向图像对中4个基准点之间的位置偏差{δ0,δ1,δ2,δ3,δ4,δ5,δ6,δ7},其中δ0和δ1分别表示第1个基准点在x和y方向上的偏差,δ2和δ3分别表示第2个基准点在x和y方向上的偏差,δ4和δ5分别表示第3个基准点在x和y方向上的偏差,δ6和δ7分别表示第4个基准点在x和y方向上的偏差;并计算依赖于该偏差的基准点正向图像对单应性变换矩阵利用帧序列首帧和尾帧向目标视角下图像进行变换所需的单应性矩阵标签Hb和He,结合公式He*Hbe=Hb计算帧序列首帧向尾帧进行单应性变换的正向序列直接单应性矩阵Hbe;

循环单元预测出当前正向图像对的两帧图像之间的单应性变换矩阵相对Hbe的正向图像对偏差矩阵△Hij,该正向图像对偏差矩阵为3阶矩阵,前8个元素由模型预测输出,第9个元素由常数1组成;

利用 获得循环单元对当前输入的正向图像对计算后

的正向图像对单应性矩阵hij;

根据:h(P‑1)P*h(P‑2)(P‑1)*hij…*h12*h01=hr,‑‑公式2计算hr;

其中hr表示按照i向j(i

最后利用hr与Hbe,并结合L2损失函数计算获得正向序列误差lossR;所述步骤4‑2中利用帧序列中的所有反向图像对计算帧序列尾帧向首帧进行单应性变换时的反向序列误差lossL的过程具体为:设定当前输入的反向图像对(j,i)中编号为j的图像中位置分别为(0,0),(a,0),(0,b),(a,b)的4点为图像对单应性变换的基准点,其中a和b分别表示图像j的长度和宽度信息;

循环单元预测出当前反向图像对中4个基准点之间的位置偏差{δ0,δ1,δ2,δ3,δ4,δ5,δ6,δ7},其中δ0和δ1分别表示第1个基准点在x和y方向上的偏差,δ2和δ3分别表示第2个基准点在x和y方向上的偏差,δ4和δ5分别表示第3个基准点在x和y方向上的偏差,δ6和δ7分别表示第4个基准点在x和y方向上的偏差;并计算依赖于该偏差的基准点反向图像对单应性变换矩阵利用帧序列首帧和尾帧向目标视角下图像进行变换所需的单应性矩阵标签Hb和He,结合公式Hb*Heb=He计算帧序列尾帧向首帧进行单应性变换的反向序列直接单应性矩阵Heb;

循环单元预测出当前反向图像对的两帧图像之间的单应性变换矩阵相对Heb的反向图像对偏差矩阵△Hji,该反向图像对偏差矩阵为3阶矩阵,前8个元素由模型预测输出,第9个元素由常数1组成;

利用 获得循环单元对当前输入的反向图像对计算后

的反向图像对单应性矩阵hij;

根据:h10*h21*…*h(P‑1)(P‑2)*hP(P‑1)=hl,‑‑公式4计算hl;

其中hl表示按照j向i(i

最后利用hl与Heb,并结合L2损失函数计算获得反向序列误差lossL。

4.如权利要求3所述网络模型训练方法,其特征在于,利用L2损失函数计算正向序列误差lossR时,具体方式为:Hbe[k]和hr[k]分别表示矩阵Hbe和hr的第k个元素,k元素标号从0开始;

利用L2损失函数计算反向序列误差lossL时,具体方式为:

Heb[k]和hl[k]分别表示矩阵Heb和hl的第k个元素,k元素标号从0开始。

5.如权利要求3所述网络模型训练方法,其特征在于,所述步骤4‑1中,计算基准点正向图像对单应性变换矩阵 的方法为:基准点正向图像对单应性变换矩阵 的9个元素 分别为:

所述步骤4‑2中计算基准点反向图像对单应性变换矩阵 的方法为:

基准点反向图像对单应性变换矩阵 的9个元素 分别为

a和b分别为输入网络模型的图像长和宽。

6.一种适用于连续帧序列单应性变换的网络模型,其特征在于,采用如权利要求1‑5任意一项所述训练方法训练获得。