1.一种基于场景关键帧的情景特征提取方法,其特征在于,包括:S10:获取待检测视频,并对待检测视频进行预处理,得到若干场景视频;
S20:提取所述场景视频的首帧图像作为场景关键帧;
S30:将所述场景关键帧进行图像分割,得到图像背景区域和实体区域;
S40:提取所述图像背景区域和实体区域的特征,得到场景特征和实体特征;
S50:将所述场景特征和实体特征进行特征融合得到情景特征;
S60:对所述实体特征符号化,得到实体字符串;
S70:将所述图像背景区域和实体区域结合所述实体字符串,采用后门调整进行因果干预,得到情景文字描述;
S80:构建视频资料数据库,用于存储若干场景视频以及相应的情景特征、实体字符串和情景文字描述;
所述对所述实体特征符号化,得到实体字符串,具体包括:对实体特征进行符号化,得到若干符号表示;
将所述符号表示拼接,得到实体字符串;
所述采用后门调整进行因果干预,具体包括:
提取所述场景视频的场景关键帧的图像背景区域和实体区域并结合实体字符串;
使用混淆矩阵并采用后门调整进行因果干预,得到对情景视频相应的情景文字描述;
所述使用混淆矩阵并采用后门调整进行因果干预,具体包括:利用贝叶斯公式发现所述场景关键帧提取出的图像背景区域和实体区域之间的关联;
采用后门调整剪断混淆因子对因果对象的混淆;
所述后门调整,计算公式为:
;
其中,A和C是指因果对象,B是指混淆因子, 是指剪断混淆因子B与因果对象A之间的混淆。
2.如权利要求1所述的一种基于场景关键帧的情景特征提取方法,其特征在于,所述对待检测视频进行预处理,是指根据场景变化对待检测视频进行分段,得到若干段场景视频;
所述根据场景变化对待检测视频进行分段,是指将待检测视频逐帧输入场景分段模块,通过场景分段模块判断是否存在场景变化,若存在场景变化则将视频进行分段。
3.如权利要求2所述的一种基于场景关键帧的情景特征提取方法,其特征在于,所述场景分段模块,具体包括:S11:获取待检测视频、当前帧图像、场景阈值和相邻阈值;
S12:计算当前帧图像和场景关键帧的图像相似度,得到场景相似度;
S13:判断场景相似度是否大于或等于场景阈值,若是,则不存在场景变化,转S14,反之则转S16;
S14:计算当前帧图像和相邻帧图像的图像相似度,得到相邻图像相似度;
S15:将所述相邻图像相似度、相邻阈值输入相似度比较模块得到计算后的相邻阈值,若计算后的相邻阈值大于或等于相邻阈值,则不存在场景变化;反之则转S16;
S16:对待检测视频进行分段,当前帧图像为场景视频的首帧图像;
所述相邻阈值,起始值设置为70%,每次经过相似度比较模块后,将相邻阈值更新为计算后的相邻阈值;
所述场景相似度,相邻图像相似度,是指利用图像之间的余弦距离计算得到的图像相似度。
4.如权利要求3所述的一种基于场景关键帧的情景特征提取方法,其特征在于,所述相似度比较模块,计算公式为:;
其中,为计算后的相邻阈值,为相邻阈值, 为当前帧图像对应的向量; 为相邻帧图像对应的向量;和 为各自的权重,且 和 的取值通过构建视频分段模型,多次训练所述视频分段模型使得准确度大于或等于所设阈值。
5.如权利要求1所述的一种基于场景关键帧的情景特征提取方法,其特征在于,所述将所述场景关键帧进行图像分割,是指将场景关键帧输入图像分割模块,得到场景关键帧的图像背景区域和实体区域。
6.如权利要求5所述的一种基于场景关键帧的情景特征提取方法,其特征在于,所述图像分割模块,具体包括:采用HRNet作为特征提取骨干网络,保留特征提取过程中的高分辨率信息;
融合OCR算法对所述场景关键帧进行初步的粗略分割,得到场景关键帧的图像背景区域和实体区域。
7.如权利要求1所述的一种基于场景关键帧的情景特征提取方法,其特征在于,所述情景特征,是指场景特征和实体特征进行特征融合得到的特征融合结果。
8.如权利要求1所述的一种基于场景关键帧的情景特征提取方法,其特征在于,所述视频资料数据库,是指以知识图谱的形式存储若干场景视频以及相应的情景特征、实体字符串和情景文字描述;其中所述场景视频作为实体,所述相应的情景特征、实体字符串和情景文字描述作为实体的属性。