1.一种点读笔的语音识别方法,其特征在于,包括以下步骤:步骤S1:获取示范发音数据与用户跟读数据;基于示范发音数据对用户跟读数据进行跟读发音评分,生成跟读发音分数;
步骤S2:利用预设的分数阈值对跟读发音分数进行低分数据筛选,生成发音不合格数据;对发音不合格数据进行细粒度分析,生成音素错误数据;
步骤S3:利用摄像头设备进行口型采集,生成跟读口型数据;基于发音不合格数据对跟读口型数据进行错误口型筛选,生成错误口型数据;
步骤S4:对错误口型数据进行变化特征分析,生成口型变化特征数据;根据口型变化特征数据进行异常点标记,生成综合口型异常数据;
步骤S5:基于综合口型异常数据进行口型示范纠错,生成纠错过程数据;根据纠错过程数据进行难点聚类划分,生成重难点发音数据;根据重难点发音数据进行发音训练,生成优化发音数据。
2.根据权利要求1所述的点读笔的语音识别方法,其特征在于,步骤S1包括以下步骤:步骤S11:获取示范发音数据与用户跟读数据;基于示范发音数据进行特殊发音点标记,生成特殊发音要求数据;
步骤S12:对用户跟读数据进行短时能量与基频变化分析,生成语速语调数据;对语速语调数据进行节奏韵律分析,生成节奏韵律特征数据;
步骤S13:对用户跟读数据进行信号转换,生成跟读声谱图;基于跟读声谱图进行声纹特征分析,生成声纹特征数据;
步骤S14:利用节奏韵律特征数据对声纹特征数据进行特征偏差修正,生成跟读特征数据;
步骤S15:根据跟读特征数据进行综合跟读发音评分,生成综合评分因素数据;
步骤S16:根据特殊发音要求数据对节奏韵律特征数据进行特殊跟读发音评分,生成关键评分因素数据;
步骤S17:基于综合评分因素数据与关键评分因素数据进行发音总评分,生成跟读发音分数。
3.根据权利要求2所述的点读笔的语音识别方法,其特征在于,步骤S2包括以下步骤:步骤S21:利用预设的分数阈值对跟读发音分数进行低分数据筛选,生成发音不合格数据;
步骤S22:根据综合评分因素数据对发音不合格数据的跟读特征数据进行误差片段切分,生成跟读误差特征数据;
步骤S23:基于特殊发音要求数据进行音素边界标记,生成音素边界划分数据;
步骤S24:利用音素边界划分数据对节奏韵律特征数据进行偏差音素提取,生成音素错误数据。
4.根据权利要求3所述的点读笔的语音识别方法,其特征在于,步骤S3包括以下步骤:步骤S31:利用摄像头设备获取人脸图像数据;
步骤S32:利用摆放方位测算公式,并根据预采集的人脸正面图像数据与人脸图像数据进行设备摆放方位测算,生成预摆放位置数据;
步骤S33:根据预摆放位置数据对摄像头设备进行方位调整,并进行口型采集,生成跟读口型数据;
步骤S34:基于发音不合格数据对跟读口型数据进行口型数据筛选,生成错误口型数据。
5.根据权利要求4所述的点读笔的语音识别方法,其特征在于,步骤S32中的摆放方位测算公式如下所示:;
;
式中,为预摆放位置数据, 为点读笔位置的横坐标,为设备距离参数,为设备摆放方位角, 为点读笔位置的纵坐标, 为反正切函数, 为鼻尖位置的纵坐标, 为鼻尖位置的横坐标, 为预采集的人脸正面图像的脸长最值, 为人脸图像的脸长最值, 为预采集的人脸正面图像的脸宽最值, 为人脸图像的脸宽最值,为设备摆放方位的偏移角度,为修正角度。
6.根据权利要求4所述的点读笔的语音识别方法,其特征在于,步骤S4包括以下步骤:步骤S41:对错误口型数据进行唇部开合分析,生成唇部开合运动数据;基于唇部开合运动数据对错误口型数据进行开口时间图像截取,生成开口图像数据;
步骤S42:根据开口图像数据进行齿位开合分析,生成齿位开合运动数据;基于齿位开合运动数据对开口图像数据进行开齿时间图像截取,生成开齿图像数据;
步骤S43:对开齿图像数据进行降噪平滑处理,生成清晰开齿图像数据;根据清晰开齿图像数据进行舌尖位置标记,生成舌尖运动轨迹数据;
步骤S44:将唇部开合运动数据与齿位开合运动数据与舌尖运动轨迹数据进行时序关联,生成口型变化特征数据;
步骤S45:根据口型变化特征数据进行异常变化点标记,生成口型异常范围数据;
步骤S46:根据音素错误数据对口型异常范围数据进行异常时间点标记,生成综合口型异常数据。
7.根据权利要求6所述的点读笔的语音识别方法,其特征在于,步骤S44包括以下步骤:步骤S441:将唇部开合运动数据与齿位开合运动数据与舌尖运动轨迹数据进行时序关联,生成口型运动变化数据;
步骤S442:对口型运动变化数据进行轨迹图像转换,生成二维侧方运动图;
步骤S443:利用角度变化评估公式,并根据二维侧方运动图对舌尖运动轨迹数据进行运动倾向分析,生成运动方向特征数据;
步骤S444:利用运动方向特征数据对舌尖运动轨迹数据进行轨迹模糊估计,生成舌尖运动优化数据;
步骤S445:根据舌尖运动优化数据对二维侧方运动图进行运动补充,生成侧方运动优化图;
步骤S446:基于侧方运动优化图进行运动特征评估,生成口型变化特征数据。
8.根据权利要求7所述的点读笔的语音识别方法,其特征在于,步骤S443中的角度变化评估公式如下所示:;
式中,为角度平均变化值,为评估的开始时间,为评估的结束时间,为时间变化的索引值, 为反余弦函数, 为时间为 时的舌尖位置横坐标,为时间为时的舌尖位置横坐标, 为时间为 时的舌尖位置纵坐标,为时间为时的舌尖位置纵坐标,为时间为 时的舌尖位置横坐标, 为时间为 时的舌尖位置纵坐标,为角度偏差修正值。
9.根据权利要求6所述的点读笔的语音识别方法,其特征在于,步骤S5包括以下步骤:步骤S51:基于综合口型异常数据进行口型示范纠错,生成纠错跟读数据;
步骤S52:对纠错跟读数据进行发音再评分,生成再评分数据;利用预设的分数阈值对再评分数据进行合格性评估,若再评分数据大于或等于预设的分数阈值,则进行纠错过程总结,生成纠错过程数据;
步骤S53:若再评分数据小于预设的分数阈值,则生成二次不合格数据,并根据二次不合格数据进行重复错误分析纠错,直至生成纠错过程数据;
步骤S54:根据纠错过程数据进行难点聚类划分,生成重难点发音数据;
步骤S55:根据重难点发音数据进行训练策略制定,生成训练策略数据;
步骤S56:根据训练策略数据进行发音训练,生成优化发音数据。
10.根据权利要求7所述的点读笔的语音识别方法,其特征在于,步骤S54包括以下步骤:步骤S541:对纠错过程数据进行相同错误词汇聚合,生成聚合词汇数据;
步骤S542:根据聚合词汇数据进行错误频率估计,生成纠错频率分布数据;
步骤S543:基于纠错频率分布数据进行音素错误频率估计,生成音素频率分布数据;
步骤S544:根据音素频率分布数据进行相同音素聚类划分,生成聚合音素数据;
步骤S545:对聚合音素数据进行音素位置再划分,生成重难点发音数据。