1.一种基于深度学习的电梯轿厢内乘客异常行为检测系统,其特征在于:包括给定多个不同电梯的地址以及对应电梯内摄像头地址的WEB模块;
接收所述WEB模块分别传送多个不同电梯的地址以及对应电梯内摄像头地址的多各个结构相同的电梯乘客行为获取及检测模块;所述电梯乘客行为获取及检测模块对电梯的轿厢内视频进行获取并对获取的视频进行乘客的异常行为和正常行为的区分,得到乘客的行为区分结果;
接收多个所述电梯乘客行为获取及检测模块传送的乘客的行为区分结果,并对多个电梯乘客行为的区分结果进行显示并报警的WEB模块;
其中,所述电梯乘客行为获取及检测模块包括:采用深度学习中的卷积神经网络对乘客的异常行为和正常行为进行分析,得到乘客乘坐电梯时正常行为和异常行为的区分结果的行为分析子模块;
所述行为分析子模块是由2D卷积子网络和3D卷积子网络经过特征拼接结合而成的深度学习模型,该模型的输入是RGB图像帧;
所述2D卷积子网络采用部分GhostNet为主干网络,由四个Ghost‑Bottleneck块拼接而成,其中Ghost‑Bottleneck块又由两个GhostModule模块和一个深度可分离卷积模块堆叠而成,而GhostModule又分为主卷积运算和简单转换运算,先由主卷积生成特征图,然后使用简单转换运算对主卷积生成的特征图进行变换,最后把两部分的特征图拼接到一起,输入到下一个GhostModule;在第4个Ghost Bottleneck块中加入SE模块的注意力机制;
所述3D卷积子网络采用的是3D‑Shufflenetv2的结构,由6个3D卷积模块组成,其中,每个3D卷积模块是由1×1×1、3×3×3和1×1×1卷积分别计算,最后合并到一起到下一个3D卷积模块,最后用全连接层分类出异常和正常行为。
2.根据权利要求1所述的一种基于深度学习的电梯轿厢内乘客异常行为检测系统,其特征在于:所述电梯乘客行为获取及检测模块包括对电梯轿厢内乘客乘坐电梯时的视频信息和音频信息进行采集的视频采集子模块;
接收所述视频采集子模块传送的电梯轿厢内乘客乘坐电梯时的视频信息和音频信息,并对其进行标注,并将标注后的数据作为数据集来进行训练,并对视频流中的图片帧做稀疏处理的预处理子模块;
接收所述数据预处理子模块传送的视频流中的图片帧稀疏采样后的数据,并对视频流中的图片帧稀疏采样后的数据采用深度学习中的卷积神经网络对乘客的异常行为和正常行为进行分析,得到乘客乘坐电梯时正常行为和异常行为的区分结果的行为分析子模块;
接收所述行为分析子模块传送的乘客乘坐电梯时正常行为和异常行为的区分结果,将乘客乘坐电梯时正常行为和异常行为的区分结果传送给所述WEB模块的异常处理子模块。
3.根据权利要求2所述的一种基于深度学习的电梯轿厢内乘客异常行为检测系统,其特征在于:所述视频采集子模块采用安装在电梯轿厢顶部的具有语音对话功能的摄像头。
4.根据权利要求1所述的一种基于深度学习的电梯轿厢内乘客异常行为检测系统,其特征在于:所述行为分析子模块包括2D卷积子网络和3D卷积子网络。
5.根据权利要求1所述的一种基于深度学习的电梯轿厢内乘客异常行为检测系统,其特征在于:所述行为分析子模块对视频流中的图片帧稀疏处理后的数据采用卷积神经网络对乘客的异常行为和正常行为进行分析,得到乘客乘坐电梯时正常行为和异常行为的过程如下:
所述2D卷积子网络通过GhostNet对视频流中的图像帧进行初次提取空间特征图,然后将初次提取得到空间特征图进行空间变换,得到其余的特征图,则得到2D卷积子网络提取到的所有特征图;
所述3D卷积子网络通过3D‑Shufflenetv2中通道分离的方式对2D卷积子网络提取到的特征图进行时空特征的处理,得到视频流中图片关于时间和空间维度的特征图;将得到的视频流中图片关于时间和空间维度的特征图进行融合,经过分类后,最终得到乘客乘坐电梯时正常行为和异常行为的区分结果。