欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020113449090
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于特征模型的课堂学情实时监测方法,其特征在于,包括以下步骤:

S1、教师用户在教师管理端设置数据采集参数,设置的数据采集参数包括:调用学生用户终端摄像头的时间点、采集数据的时长,并根据所设置的参数向学生用户终端发送视频/图像采集的指令;

S2、学生用户终端根据教师管理端发送的指令实时采集学生上课状态的视频/图像数据,进行数据筛选,筛选掉无用数据,并对筛选后的信息进行人脸特征提取,得到特征信息,对特征信息进行压缩,通过无线传输模块上传给数据服务器进行存储;

S3、逻辑服务器调用接口模块提取数据服务器中的特征信息和已有经验信息,将上述信息输入特征模型进行处理,特征模型处理完毕后输出学生上课状态描述信息,并将描述信息发送给教师管理端,教师管理端将根据学生上课状态描述信息判断学情情况,并根据判断结果自动选择备用的消息发送给学生用户端;

逻辑服务器从数据服务器获取到数据后,执行的任务包括:样本标注、采用训练好的特征模型对特征数据进行分析处理,最后输出学生的上课状态;所述样本标注具体包括以下实施过程:S11、利用视频标注工具Vatic进行视频的标注,手动标注面部主要部位的位置和状态以及头部的角度,肩部的位置;利用编程工具以及标注得到的文件,解析出学生正确坐姿轮廓坐标,通过opencv的pointPolygonTest方法,区分学生坐姿内部的像素点和外部像素点,得到大量的mask图片;

S12、在采用训练好的模型进行分析处理时,首先载入训练好的模型权重,根据训练模型时候的配置,从Config类中继承创建一个新类,根据前面的类,新建一个专门用于对比的类,载入图像,进行分析计算;

S13、采集各大高校课堂学生上课视频,进行分类,将视频根据学生平时课堂成绩以及期末成绩的优、差进行分类分析,获取学生认真听课的视频模型数据和不认真听课学生模型数据,将此数据作为基本的经验数据。

S14、将计算的特征数据与已有的经验数据进行对比分析,匹配度越高,可判断学生在认真听课,返回学生认真听课的结果;匹配度越低,学生就没有认真听课,返回学生不认真听课的结果。

2.根据权利要求1所述的一种基于特征模型的课堂学情实时监测方法,其特征在于,所述特征模型基于SeetaFace人脸识别引擎完成人脸检测、人脸对齐、及人脸特征提取与比对,输出学生上课状态描述信息。

3.根据权利要求1所述的一种基于特征模型的课堂学情实时监测方法,其特征在于,特征模型的处理过程包括:

S21、首先是特征点对齐,特征点对齐包括宏观对齐和微观对齐,宏观对齐主要是对额头、肩膀、手臂位置进行比对,保证学生坐姿正确;从微观对齐主要是对眼睛、鼻子、嘴巴进行比对,用于分析学生听课行为;

S22、根据对齐的特征点进行姿势对比,根据学生额头的角度判断学生是否面向黑板,根据肩膀和手臂的位置判断学生是否坐姿正确;

S23、面部识别主要是对学生上课过程中的面部表情进行特征提取和表情变化感知,最终以文本形式输出表情识别结果;

S24、面部表情感知,将采用面部特征识别方法来进行,需要同时进行面部特征的提取和上下文信息的动态比对,来实现面部表情变化感知;并将感知到的表情进行表情定义,以便进行学生听课行为分析;

S25、表情定义:采用抽象特征的方式抽象出面部特征的共性特征,与标准模板进行比对,实现表情的定义过程,通过大数定律,能够在行为表现分值上一定程度弥补不同个体精准度的损失;

S26、即时表情特征定义,对当前人脸表情进行特征的抽象提取和存储,并与表情模板库进行比对后,定义此刻表情,定义后的数据也会同步送入分析模块进行分析计算;

S27、对连续视频进行处理时,将下一刻采集图像进行特征提取后,与即时表情进行比对,对于一直无变化的,持续提取特征信息,将最新信息进行临时存储;对于人脸离开的情况,需重新进行人脸定位和识别过程;对于感知到变化的,进行新表情的记录,并进行表情定义;

S28、新表情定义,感知到新表情后,需要重复特征抽象提取和表情定义过程,并送入分析模块进行分析;同时,将新表情存入即时表情库,将不同表情进行分析计算,得出宏观学生听课行为的最佳面部表情;

S29、主要依据识别到的面部表情和感知到的表情变化,按照模型进行行为认定后,对不同状态图片进行分析计算得出数值,并进行数值动态计算,最后得出文字描述的模型;对于学生不同的行为模型,要求感知的表情需要满足不同的数据量才予以认定。

4.一种基于特征模型的课堂学情实时监测系统,该系统用于执行权利要求1‑3任一所述的一种基于特征模型的课堂学情实时监测方法包括:学生客户终端、服务器、教师管理端,其特征在于,学生客户终端主要用于采集视频/图片数据并将采集数据上传至服务器用于学情监测,并接收教师端实时反馈的学情情况分析结果,教师管理端设置数据采集参数并接收服务器端的学情分析结果,实时的将结果反馈给学生客户终端。

5.根据权利要求4所述的一种基于特征模型的课堂学情实时监测系统,其特征在于,学生客户终端包括视频采集模块、数据预处理模块、无线网络传输模块、存储模块,所述视频采集模块受教师管理端发送的指令触发工作,用于根据触发指令采集视频/图像数据;所述数据预处理模块用于对视频采集模块采集的数据进行预处理;所述无线网络传输模块用于与数据服务器和教师管理端进行数据交互;所述存储模块用于存储交互过程中获得的数据,视频采集模块采集的数据以及中间处理过程的数据。

6.根据权利要求4所述的一种基于特征模型的课堂学情实时监测系统,其特征在于,视频服务器包括数据服务器、逻辑服务器和接口模块,所述数据服务器中包括存储模块,存储模块用于存储数据;所述逻辑服务器中包括深度学习模块,深度学习模块主要用于分析学生的上课状态并输出;数据服务器和逻辑服务器之间通过接口模块进行数据传输和调用。

7.根据权利要求6所述的一种基于特征模型的课堂学情实时监测系统,其特征在于,所述接口模块包括第一接口和第二接口,所述第一接口设置于数据服务器上,所述第二接口设置于逻辑服务器上,数据服务器和逻辑服务器通过有线连接第一接口和第二接口实现数据交互。

8.根据权利要求7所述的一种基于特征模型的课堂学情实时监测系统,其特征在于,所述接口模块采用face‑detect接口。

9.根据权利要求4所述的一种基于特征模型的课堂学情实时监测系统,其特征在于,所述教师管理端包括时钟模块、通信模块和显示屏,所述时钟模块用于设置发送触发指令的间隔;所述通信模块用于向服务器和学生客户终端数据通信,主要用于发送触发指令,接收服务器学情分析结果并实时向学生用户终端反馈学情结果;所述显示屏用于显示课情情况数据,便于实时监测。