欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018111971341
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于视频监控图像处理的人数统计系统,其特征是,包括:存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成以下步骤:构建人脸检测器模型:人脸检测器模型包括:包含第一卷积神经网络、第二卷积神经网络和第三卷积神经网络;三个卷积神经网络进行并联,三个并联的卷积神经网络的输出端均连接到一个输出层上;

训练三个卷积神经网络:对三个卷积神经网络分别采用对应尺寸的人脸图像进行训练;

人脸检测:选取一帧待检测场景的图像,对所选取的图像按照设定尺寸进行放大处理和缩小处理;得到三张图像:经放大处理后的图像、经缩小处理后的图像和原始图像;将三张图像均输入到一个区域候选网络RPN后得到所有候选检测框,所有候选检测框分别送给所述的人脸检测器模型,输出每个检测框是人脸的概率,如果概率超过设定阈值则判定为人脸,并标记当前检测框,最终返回三张图像的检测结果,每一张输出图像均带有所有的人脸检测框;

带有人脸检测框的三张图像通过输出层映射到原始图像上,从而每一个人脸包括至少一个检测框;采用非极大值抑制算法对每一个人脸的所有检测框进行筛选,保留最优的人脸检测框,获得最终的人脸检测结果。

2.如权利要求1所述的基于视频监控图像处理的人数统计系统,其特征是,对第M帧图像采用人脸检测器模型进行人脸检测,得到一个人脸列表,所述人脸列表包括:第M帧图像的所有人脸位置、所有人脸尺寸和所有人脸计数总和。

3.如权利要求1所述的基于视频监控图像处理的人数统计系统,其特征是,将第M+N帧图像的人脸与第M帧图像的人脸进行匹配,N表示计数更新区间;以第M帧图像为参考图像,以第M+N帧图像为待匹配图像;判断第M+N帧图像的人脸与第M帧图像的人脸是否一一匹配,如果一一匹配,则认为人脸计数不变;否则,认为人脸数量有更新,更新人脸列表。

4.如权利要求3所述的基于视频监控图像处理的人数统计系统,其特征是,人脸进行匹配的步骤:采用回归树ERT算法分别对第M帧图像和第M+N图像的人脸进行人脸对齐;

采用预训练的Facenet神经网络对人脸对齐后的第M帧图像和第M+N图像所有人脸图像进行特征提取,将所有人脸图像均映射到128维向量空间,得到人脸的特征向量;

将第M帧的人脸图像的人脸特征向量和第M+N帧人脸图像的人脸特征向量均输入到SVM分类器中,输出第M帧图像和第M+N帧图像的人脸匹配的结果。

5.如权利要求4所述的基于视频监控图像处理的人数统计系统,其特征是,将第M帧的人脸图像的人脸特征向量和第M+N帧人脸图像的人脸特征向量均输入到SVM分类器中,输出第M帧图像和第M+N帧图像的人脸匹配的结果:训练SVM分类器;

设首帧中得到的人脸列表为L={S1…SM},其中,Sj为第j个人脸,M是人脸个数;

在第M+N帧得到的人脸列表为L’={S’1…S’N},其中,N是人脸个数;

假设当前待匹配人脸为Sj=(x,y,w,h),其中,(x,y)代表人脸位置坐标,(w,h)代表人脸尺寸宽和高;那么在第M+N帧中只在(x+Δw,y+Δh)的范围内做匹配,Δw和Δh分别表示横向和纵向的扩展的范围尺寸。

6.如权利要求5所述的基于视频监控图像处理的人数统计系统,其特征是,如果视频背景是运动的,则加大匹配范围参数(Δw,Δh)。

7.如权利要求5所述的基于视频监控图像处理的人数统计系统,其特征是,用于训练SVM分类器所用样本的构造:当前待匹配人脸Sj的正样本:来自实时采集的第M帧图像,按照Sj的位置和大小在第M+1和M+2帧截取同样位置和大小的矩形区域也作为正样本;通过添加高斯噪声、几何形变、翻转或剪切对三个帧的正样本进行调整,得到20个正样本;

当前待匹配人脸Sj的负样本为:随机抽取的第M帧图像中除Sj的其他20张人脸图片;

每N帧进行一次人脸列表和计数的更新,最终完成整个视频的人数统计。

8.如权利要求1所述的基于视频监控图像处理的人数统计系统,其特征是,对三个卷积神经网络分别采用对应尺寸的人脸图像进行训练的具体步骤为:视频监控采集若干个待检测场景的整幅图像,基于人脸识别候选窗口将人脸从整幅图像中分割出来;根据人脸识别候选窗口的尺寸,将分割出来的人脸图像分类为:大尺寸人脸图像、中尺寸人脸图像和小尺寸人脸图像;

利用大尺寸人脸图像对第一卷积神经网络进行训练,得到训练好的第一卷积神经网络;

利用中尺寸人脸图像对第二卷积神经网络进行训练,得到训练好的第二卷积神经网络;

利用小尺寸人脸图像对第三卷积神经网络进行训练,得到训练好的第三卷积神经网络。

9.如权利要求8所述的基于视频监控图像处理的人数统计系统,其特征是,卷积神经网络的训练正负样本集构建步骤:以杰卡德相似系数Jaccard相似度定义正负样本,

正样本定义为与训练图像中的人脸框Jaccard相似度大于0.7图像区域;

负样本定义为与训练图像中的人脸框Jaccard相似度小于0.3图像区域。

10.如权利要求9所述的基于视频监控图像处理的人数统计系统,其特征是,对所有正样本按照尺寸的不同分为大、中、小三组,分别用于训练独立同结构的卷积神经网络CNN。