1.基于表情识别的课堂中学生实时分类与遴选方法,其特征在于,包括以下步骤:步骤一、建立表情识别模型;具体建立步骤为:
步骤1 .1、获取含有标签的人脸表情数据集,并将数据集分为训练集和验证集,训练集和验证集分割比例有8∶2或9∶1两种选择;
步骤1.2、设计表情识别模型,表情识别模型分为输入流、中间流和输出流;
输入流的设计:共包含这3层卷积层,首先使用1*1的卷积核激活明显特征,然后使用两层3*3的卷积核提取特征;
中间流的设计:共设计了4层混合层,每一混合层的卷积核个数不同,利用了深度可分离卷积‑池化模块和残差模块分开提取特征,两个模块处理的特征进行融合输入下一层;
输出流的设计:包含一个卷积层、一个全局池化层和一个Softmax层,卷积层使用7个3*3的卷积核提取特征,全局池化层对提取的特征进行降维,降维后的特征输入Softmax层进行表情识别;
步骤1.3、使用训练集训练表情识别模型;
使用Adam优化算法更新表情识别模型的权重和偏置,当损失函数的值趋于稳定时停止训练,保存表情识别模型;
步骤1.4、使用验证集验证表情识别模型;
若正确率大于等于60%,即可被后续步骤采用;若正确率小于60%,则需要更换数据集重新训练表情识别模型;
步骤二、对课堂中所有学生进行实时表情识别,并将识别结果进行保存;具体步骤为:步骤2.1、针对一个课堂中的所有学生,定义课堂中的上课人数为m,学生的编号依次为1至m;
步骤2.2、为每名学生建立一个存储表情向量的循环队列,称为表情向量循环队列;
步骤2.3、每隔G秒钟执行一次步骤三,为每名学生识别其表情向量,并保存至该名学生对应的表情向量循环队列中,直至下课;参数G为进行头部图像获取的间隔时间,单位为秒,可设置范围为10至120;
当教师需要进行课堂提问或课堂交流时,触发执行步骤四,进行学生分类与遴选;
需要说明的是,步骤四的执行过程不影响步骤三的循环执行,即保持每隔G秒钟执行一次步骤三,直至下课;
步骤三、为每名学生识别其表情向量,并保存至该名学生对应的表情向量循环队列中;以编号为i的学生Si为例,具体步骤为步骤3.1至步骤3.3:步骤3.1、从课堂视频流中截取一帧包含学生Si头部区域的图片;
在线课堂中,可以从学生Si的摄像头的视频流中截取头部区域图片;普通教室课堂中可以从教室监控摄像机的视频流中截取课堂图片,然后再根据学生Si的固定位置,从课堂图片中截取学生Si的头部区域图片;
步骤3.2、使用表情识别模型识别出学生Si头部区域图片的表情向量;
通过表情识别模型,对学生Si头部区域图片识别所得的表情向量为7维,即表情向量有7个分量;命名学生Si在t时刻的头部区域图片识别所得的表情向量为Ei,t;若在该头部区域图片中未检测到人脸,则表情向量Ei,t为[0,0,0,0,0,0,0];
步骤3.3、将学生Si头部区域图片识别所得的表情向量Ei,t,存入学生Si对应的表情向量循环队列中;如队列已存满,则循环使用其存储空间,即自动覆盖时间最早的表情向量;
步骤四、当教师需要进行课堂提问或课堂交流时,触发学生分类与遴选过程,对课堂中的所有学生进行分类,并为教师从每类学生中遴选出具有代表性的学生;学生分类与遴选的具体实现步骤为:步骤4.1、从每名学生的表情向量循环队列中,读取当前时刻与当前时刻之前的(n‑1)个表情向量,即共读取n个表情向量;
如表情向量循环队列中已存储的表情向量数量小于n,则以全零向量[0,0,0,0,0,0,0]补充;
步骤4.2、针对每名学生,将步骤4.1中读取到的n个表情向量拼接组成7n维的表情组合向量;
步骤4.3、将课堂中所有学生的表情组合向量聚为k类,聚类算法为k‑means算法,其中k是一个参数,可设置范围为3至5;
步骤4.4、针对每个类别,遴选出最具有代表性的w名学生,其中w为自由设定的参数,可设置范围为1至4;以第i个类别为例,遴选出最具有代表性的w名学生的步骤如步骤4.5至步骤4.7;
步骤4.5、计算当前类别对应的表情组合均值向量,命名当前类别的表情组合均值向量为A;
步骤4.6、计算当前类别中所有学生的表情组合向量与表情组合均值向量A的相似度;
步骤4.7、根据相似度,从当前类别的所有学生中遴选出相似度最高的w名学生,即为当前类别中最具有代表性的w名学生;每个类别挑选了w名学生,k个类别共挑选k×w名学生;如当前类别中的学生数量小于w,则所有学生均进入遴选结果即可;
步骤五、对学生分类情况及每类别中的遴选结果,通过表格的形式进行展示;对每类别中未被遴选出的学生,根据每名学生的表情组合向量与所属类别的表情组合均值向量的相似度,由高到低依次排序展示,教师可以根据展示的结果,挑选一名或多名学生进行课堂提问或课堂交流;
步骤六、教师结束本轮课堂提问或课堂交流,继续课堂其他内容;课堂进行过程中,步骤三依旧保持每隔G秒钟执行一次,直至下课;
课堂结束,基于表情识别的课堂中学生实时分类与遴选过程结束;
至此,基于表情识别的课堂中学生实时分类与遴选方法完成。