1.一种基于3D人脸关键点和几何投影的人脸姿态估计方法,其特征在于包括如下步骤:
步骤1:利用三维人脸关键点定位模型W对待姿态估计的二维人脸图像进行关键点定位,得到二维人脸图像的三维人脸关键点坐标:两眼眉毛的中点三维坐标P1=(X1,Y1,Z1),鼻子上方第一个关键点三维坐标P2=(X2,Y2,Z2),左眼中点三维坐标P3=(X3,Y3,Z3),右眼中点三维坐标P4=(X4,Y4,Z4),其中,P1为两眉毛n1个三维关键点坐标的平均值,左眼中点三维坐标P3为左眼n3个三维关键点坐标的平均值,右眼中点三维坐标P4;
步骤2:利用两眼中点三维坐标P3与P4的连线L34在x-y平面上的投影 来估计人脸在roll方向上的偏移,其中,线段 的两个端点分别为 以及 令人脸在roll方向上的偏移角度为θroll,则θroll的计算如公式(1)所示;
步骤2.1:当x3=x4时,人脸在roll方向上为90°,即θroll=90°;
步骤2.2:当x3≠x4时,当人脸在roll方向上无偏移时, 与x轴平行,即y3=y4,此时θroll=0°,当人脸在roll方向上发生偏移时, 与x轴产生夹角,当y3>y4,即θroll>0,此时人脸在roll方向上向左侧偏移,当y3<y4,即θroll<0,此时人脸在roll方向上向右侧偏移;
步骤3:利用两眼中点三维坐标P3与P4的连线L34在x-z平面上的投影 来估计人脸在yaw方向上的偏移,其中,线段 的两个端点分别 以及 令人脸在yaw方向上的偏移角度为θyaw,则θyaw的计算如公式(2)所示;
步骤3.1:当x3=x4时,人脸在yaw方向上为90°,即θyaw=90°;
步骤3.2:当x3≠x4时,当人脸在yaw方向上无偏移时, 与x轴平行,即z3=z4,此时θyaw=0°,当人脸在yaw方向上发生偏移时, 与x轴产生夹角,当z3<z4,即θyaw>0,此时人脸在yaw方向上向左侧偏移,当z3>z4,即θyaw<0,此时人脸在yaw方向上向右侧偏移;
步骤4:利用两眉毛的中点三维坐标P1和鼻子上方的第一个关键点P2的连线L12在y-z平y-z
面上的投影 来估计人脸在pitch方向上的偏移,其中,线段 的两个端点分别P1 =(y1,z1)以及 令人脸在pitch方向上的偏移角度为θpitch,则θpitch的计算如公式(3)所示;
步骤4.1:当y1=y2时,人脸在pitch方向上为90°,即θpitch=90°;
步骤4.2:当y1≠y2时,当人脸在pitch方向上无偏移时, 与y轴平行,即z1=z2,此时θpitch=0°,当人脸在pitch方向上发生偏移时, 与y轴产生夹角,当z1>z2,即θpitch>0,此时人脸在pitch方向上向上侧偏移,当z1<z2,即θpitch<0,此时人脸在pitch方向上向下侧偏移;
步骤5:当x3=x4时,人脸在yaw方向上为90°或在roll方向上为90°,此时为极端姿态下的人脸姿态估计,利用点P1和P2连线在x-y平面上的投影与x轴的夹角β来进行判断,令平行于x轴的向量 令点P1和P2连线在x-y平面上的投影向量不考虑人脸姿态在两个方向上同为90°的情况,因此,当yaw方向或roll方向上为90°时,不存在 的情况,则β的计算公式如公式(4)所示;
步骤5.1:当0≤β≤15°时,人脸在roll方向上为90°,此时,利用两眼中点三维坐标P3与P4连线L34在y-z平面上的投影 来估计人脸在yaw方向上的偏移,线段 的两个端点分别为 以及 此时θyaw的计算如公式(5)所示,利用两眉毛的中点P1和鼻子上方的第一个关键点P2的连线L12在x-z平面上的投影 来估计人脸在pitch方向上的偏移,线段 的两个端点分别P1x-z=(x1,z1)以及 此时θpitch的计算如公式(6)所示;
步骤5.2:当β>15°时,人脸在yaw方向上为90°,此时,利用 来估计人脸在roll方向上的偏移,θroll的计算如公式(7)所示,利用 来估计人脸在pitch方向上的偏移,θpitch的计算如公式(8)所示;
2.根据权利要求1所述的基于3D人脸关键点和几何投影的人脸姿态估计方法,其特征在于步骤1中得到二维人脸图像的三维人脸关键点坐标的具体过程如下:步骤1.1:利用模型W对人脸图像I进行关键点定位,得到三维人脸关键点坐标集合L={li|i=1,2,...,N},其中,N为三维人脸关键点坐标的数量,li为第i个三维人脸关键点坐标且li=(xi,yi,zi);
步骤1.2:令两眼眉毛的中点三维坐标P1=(x1,y1,z1),鼻子上方第一个关键点三维坐标P2=(x2,y2,z2),左眼中点三维坐标P3=(x3,y3,z3),右眼中点三维坐标P4=(x4,y4,z4),其中,P1为两眉毛n1个三维关键点坐标的平均值,左眼中点三维坐标P3为左眼n3个三维关键点坐标的平均值,右眼中点三维坐标P4为右眼n4个三维关键点坐标的平均值。