1.一种基于音视频分析技术的教师授课专注度的评估方法,包括以下步骤:步骤A1、人脸采集:基于教室中教师面对的摄像头采集教师上课的视频,将此视频作为样本输入;
步骤A2、人脸检测:采用人脸检测实时处理框架进行面部检测,并且确定授课教师的身份,与后台数据库进行关联;
步骤A3、旋转校正:采用面部区域的旋转校正来对齐,然后将检测到的面部区域缩放到
72*72的尺寸;
步骤A4、利用局部二值模式,描述图像的局部纹理特性:在3*3的尺寸中,若周围像素值大于中心像素值,则像素点的位置记为1,反之则为0;然后计算出每个像素的LBP值,从而得到LBP面部图像;
其中LBP值计算如下:
其中,s是符号函数,ic和ip分别表示中心像素的灰度值和相邻像素的灰度值;
步骤A5、采用VGG16提取灰度面部图像的特征:将VGG16中的卷积层和池化层进行组合;
去掉VGG16的两个密集层,来简化灰度面部图像的特征提取;
步骤A6、LBP面部图像的特征提取:对于LBP面部图像,构建一个浅层CNN模型,包括输入层,两个卷积层、子采样层和特征向量层;
在第一卷积层中主要是识别面部的主要信息,使用64个滤波器用于输入LBP图像,使用
7*7卷积核并且输出72*72像素的64张图片,然后第一子采样层使用2*2内核的最大池将图片大小变成一半;
第二个卷积层用3*3卷积核进行256次卷积,来映射之前的层,第二子采样层也使用2*2的内核,在两个子采样层之后添加ReLu激活函数;
然后,输出一个具有500个神经元的隐藏层,隐藏层与两个子采样层相连,保证提取的特征保持不变;
步骤A7、加权融合:加权融合对象为从灰度图像提取的特征向量h1和从浅层CNN模型的LBP面部图像提取的特征向量h2;在融合特征向量的基础上,采用Softmax分类方法进行识别;
步骤A8、视频的定量分析:根据步骤A7中Softmax分类方法识别出人脸表情的8种表达和教师授课专注度与人脸表情的内在联系,设计权重系数,评估教师教学投入度Ws;
步骤A9、音频的定量分析:使用OpenEAR工具包,用Z标准化对语音进行归一化,识别出教师授课音频中教师内心情感的分类,设计权重系数,评估教师授课专注度Wy;
步骤A10、综合指数计算:在得到Ws和Wy之后,设计两者的权重系数都设为0.5;这样得到教师授课专注度W:W=0.5*Ws+0.5*Wy。
2.根据权利要求1所述的一种基于音视频分析技术的教师授课专注度的评估方法,其特征在于:步骤A3中旋转校正采用以下公式:其中,Rx,Ry是面部图像的初始坐标,Rx′,Ry′是经过旋转校正后得到的坐标,θ是双眼之间连线与水平轴的夹角。
3.根据权利要求1所述的一种基于音视频分析技术的教师授课专注度的评估方法,其特征在于:步骤A5中输入为1*72*72的图片,前四个块不变,学习率为0.01;改变第五个块的结构,并且将该块的学习率设为0.005,每个卷积层之后用ReLu函数激活,最终只保留一个
1*500的密集层。