1.一种基于深度学习的多阶段驾驶员打电话行为检测方法,其特征在于,包括如下步骤:步骤1:利用卷积神经网络对样本图像进行训练,获取训练好的车窗检测模型、人脸检测模型、驾驶员手部检测模型以及驾驶员打电话行为检测模型,并利用车窗及驾驶员人脸的位置信息确定驾驶员的位置,具体为:步骤1.1:利用车窗检测模块进行车窗定位,令检测到的车窗集合W={wi|i=0,1,...,n-1},其中wi表示检测到的第i个车窗边界框,n表示检测到的车窗数量;利用人脸检测模块进行驾驶员人脸检测,令检测到的人脸集合F={fj|j=0,1,...,m1-1},其中fj表示检测到的第j个人脸边界框,其中m1≥n,m1表示检测到的人脸数量;
步骤1.2:将车窗外的人脸边界框从人脸边界框集合中去除,具体为:令车窗内部的人脸边界框集合 其中 表示获取包含在第i个车窗边界框内的第j个人脸边界框,令
其中 表示第i个车窗边界框wi中包含的人脸
边界框集合,fli表示第i个车窗边界框wi中包含的第l个人脸边界框,m2表示车窗边界框wi包含的人脸数目;
步骤1.3:使用驾驶员位置定位模块,将每个车窗边界框wi内的副驾驶人员人脸边界框去除,具体为:令所有车窗边界框内的驾驶员人脸边界框集合其中 表示获取车窗边界框wi中包含的人脸边界框集合 中左上角横坐
标最大的人脸边界框,令Ffinal={hk|k=0,1,...,n-1};
步骤2:使用人脸区域扩展模块,对步骤1中得到的驾驶员人脸集合Ffinal中的每个人脸边界框hk进行扩展,令人脸扩展区域集合R={rk|k=0,1,...,n-1}作为驾驶员打电话以及驾驶员手部待检测区域,利用驾驶员手部检测模块和驾驶员打电话行为检测模块在人脸扩展区域rk上进行检测,具体为:步骤2.1:利用驾驶员手部检测模块在人脸扩展区域rk上进行驾驶员手部检测,令在人脸扩展区域rk上检测到的驾驶员手部集合 其中 表示在第k个扩展区域上检测到的第r个驾驶员手部,利用驾驶员打电话行为检测模块在人脸扩展区域rk上进行驾驶员打电话检测,令检测结果resCk∈{true,false},resCk表示在第k个人脸扩展区域rk上得到的驾驶员打电话检测结果,false表示没有打电话,true表示打电话;
步骤2.2:将基于原图的驾驶员人脸边界框hk的坐标转化到扩展区域rk下,得到转化后的驾驶员人脸边界框集合Fcov={hck|k=0,1,...,n-1},hck表示第k个转换到人脸扩展区域集合R下的人脸边界框,利用驾驶员手部脸部相交判断模块,判断第k个人脸扩展区域上的人脸边界框hck与手部边界框 是否相交,令判断结果resIk∈{true,false},true表示相交,false表示不相交;
步骤3:在最终结果判断模块中,结合步骤2.1中驾驶员打电话检测结果resCk与步骤2.2中驾驶员手部和脸部相交结果resIk作为最终的驾驶员打电话行为检测结果,令最终的驾驶员打电话行为检测结果集合resF={resfk|k=0,1,...,n-1},其中,resfk表示全图中第k辆车中的驾驶员打电话行为检测的结果,其中resfk=resCk&&resIk,resfk等于false表示第k辆车中的驾驶员没有打电话,resfk等于true表示第k辆车中的驾驶员在打电话。
2.如权利要求1所述的所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法,其特征在于,步骤1中所述的卷积神经网络包含52个卷积层和1个全连接层,所述的样本图像包括卡口完整图像以及人脸区域扩展图像。
3.如权利要求1所述的所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法,其特征在于,所述的车窗检测模块、人脸检测模块、驾驶员手部检测模块和驾驶员打电话行为检测模块分别利用车窗检测模型、人脸检测模型、驾驶员手部检测模型进和驾驶员打电话行为检测模型进行检测。
4.如权利要求1所述的所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法,其特征在于,步骤2.1中所述的人脸边界框hk扩展方法按如下步骤实现:
1)令人脸边界框hk=(xk,yk,wk,hk),人脸扩展区域rk=(Xk,Yk,Wk,Hk),其中xk,yk,wk,hk分别表示人脸边界框hk的左上角的横坐标、左上角的纵坐标、宽和高,分别表示人脸边界框hk的左上角的横坐标、左上角的纵坐标、宽以高Xk,Yk,Wk,Hk分别表示扩展区域rk的左上角的横坐标、左顶点的纵坐标、宽和高;
2)扩展过程如公式(1)所示:
其中,K为缩放倍数,取值范围为[1,2];进一步,根据公式(2)进行越界处理:
其中,Width和Height分别为原图的宽和高。
5.如权利要求1所述的所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法,其特征在于,步骤2.2中基于原图的驾驶员人脸边界框hk转化到扩展区域rk的方法按如下步骤实现:
1)令hck=(XCk,YCk,WCk,HCk),其中XCk,YCk,WCk,HCk分别表示第k个扩展区域上的人脸边界框hck的左上角的横坐标、左上角的纵坐标、宽和高;
2)人脸边界框转化过程如公式(3)所示:
6.如权利要求1所述的所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法,其特征在于,步骤2.2中判断人脸扩展区域上的人脸边界框hck与手部边界框 是否相交方法按如下步骤实现:
1)令人脸边界框hck的中心坐标为Chc(X,Y),令手部边界框
其中 分别表示第k个扩展区域上的第r个手部边界框 的左上
角的横坐标、左上角的纵坐标、宽和高,令手部边界框 的中心坐标为Ch(x,y),令Chc(X,Y)和Ch(x,y)的距离为d,两中心连线与水平线的夹角为θ,其中θ为锐角;
2)判断人脸扩展区域上的人脸边界框hck与手部边界框 是否相交如公式(4)所示: