欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022110366324
申请人: 成都航空职业技术学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于文件内容识别的互动虚拟教具实现方法,其特征在于:包括以下步骤:步骤S1、提取教具文件内容中的教具关键词,并基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景,将教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词,再基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景;

步骤S2、提取使用对象的实时教学动作,并基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作;

步骤S3、依据将来时教学动作对由使用对象、使用对象所处的现时场景和互动虚拟场景虚实融合得到的互动教学场景进行将来时融合预调整,以降低互动教学场景的融合滞后性来提高虚实互动的流畅性;

所述基于教具关键词在预先建立虚拟场景预测模型中提取出共性化虚拟场景,包括:将教具关键词输入至所述虚拟场景预测模型中,由虚拟场景预测模型输出教具虚拟场景可选序列,以及教具虚拟场景可选序列中每个教具虚拟场景的匹配度;

选取匹配度最高的教具虚拟场景作为所述共性化虚拟场景;

所述虚拟场景预测模型的构建包括:

将学科教材中所有表征教具实验的教具文件进行三维虚拟搭建得到多个虚拟教具场景,并将表征教具实验的教具文件的教具关键词作为虚拟教具场景的场景关键词;

在表征教具实验的教具文件的教具关键词抽取部分教具关键词作为样本关键词,将样本关键词与场景关键词进行等数量处理,并计算样本关键词与所述场景关键词的相似度作为样本关键词与场景关键词对应的虚拟教具场景的匹配度作为样本匹配度,所述样本匹配度的计算公式为:;

式中,Xi为第i个样本关键词的词向量,EX为所有样本关键词的均值向量,Yi为第i个场景关键词的词向量,EY为所有场景关键词的均值向量,i为计量常数,N为场景关键词的总数量与样本关键词的总数量中的最大值;

将所述样本关键词作为DNN神经网络的训练输入项,将所述样本关键词与场景关键词对应的虚拟教具场景、以及所述样本匹配度作为DNN神经网络的训练输出项,将DNN神经网络应用与训练输入项和训练输出项中进行网络训练得到所述虚拟场景预测模型,所述虚拟场景预测模型的模型表达式为:List[Scene,I]=DNN(key_word);

式中,Scene为虚拟教具场景的表达式标识符,I为匹配度的表达式标识符,key_word为关键词的表达式标识符,DNN为DNN神经网络的表达式标识符,List为序列的表达式标识符;

所述基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象的将来时教学动作,包括:将使用对象的实时教学动作输入至动作习惯模型中,并有动作习惯模型输出使用者的将来时教学动作;

所述动作习惯模型的构建包括:

捕捉使用对象的多组连续教学习惯动作,并在多组连续教学习惯动作进行时序拆解得到多组习惯动作时序序列,其中,所述习惯动作时序序列的每个时序处数据序列包括动作时序、使用对象位移量、使用对象朝向方位变化量,所述习惯动作时序序列的函数表达式为:{tj:[ΔPj,ΔHj]|j∈[1,M]},式中,tj为第j个动作时序,ΔPj为第j个动作时序处的使用对象位移量,ΔHj为第j个动作时序处的使用对象朝向方位变化量,j为计量常数,M为习惯动作时序序列中动作时序总数量;

利用LSTM网络对所述习惯动作时序序列进行网络训练得到所述动作习惯模型,所述动作习惯模型的模型表达式为:Future{ t:[ΔP,ΔH]}=LSTM(Now{ t:[ΔP,ΔH]});

式中,Future{ t:[ΔP,ΔH]}为将来时的动作时序、使用对象位移量、使用对象朝向方位变化量,Now{ t:[ΔP,ΔH]}为现在时的动作时序、使用对象位移量、使用对象朝向方位变化量,j为计量常数。

2.根据权利要求1所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于:利用TF‑IDF算法在教具文件内容中提取所述教具关键词。

3.根据权利要求2所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于:所述教具关键词与共性化虚拟场景对应的场景关键词进行比较筛选出教具关键词中的个性化关键词,包括:将教具关键词与共性化虚拟场景对应的场景关键词进行比较,并在教具关键词中剔除场景关键词,将剩余的教具关键词作为个性化关键词。

4.根据权利要求3所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于:所述基于个性化关键词在共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文件的互动虚拟场景,包括:将个性化关键词进行三维虚拟构建得到个性化虚拟元素,并将个性化虚拟元素融合至所述共性化虚拟场景中得到所述互动虚拟场景。

5.根据权利要求4所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于,所述将来时融合预调整,包括:将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象位移量进行位置移动,并将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象朝向方位变化量进行朝向移动,以使得互动虚拟场景对使用对象具有动态跟随性。

6.根据权利要求5所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于,所述将样本关键词与场景关键词进行等数量处理,包括:当样本关键词的总数量与场景关键词的总数量不一致,则将样本关键词的总数量与场景关键词的总数量中最少的一方利用零向量数量补齐;

当样本关键词的总数量与场景关键词的总数量一致,则维持样本关键词与场景关键词不变。

7.根据权利要求6所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于,所述互动教学场景的虚实融合包括:采集使用对象、使用对象所处的现时场景的实景图像并重建为三维实景空间模型,将三维实景空间模型与互动虚拟场景进行三维模型融合得到互动教学场景。

8.根据权利要求7所述的一种基于文件内容识别的互动虚拟教具实现方法,其特征在于,所述互动教学场景的三维位置坐标与使用对象所处的现时场景的三维空间坐标互相映射。