1.一种基于纸笔交互的儿童认知游戏系统,其特征在于,包括交互单元、图片处理单元、网络训练模块及识别结果反馈模块;
所述交互单元包括:知识库,该知识库包括单词库和算式库以对应单词拼写模式和数字计算模式;投影仪,该投影仪通过支架安装在操作平台上方且光轴垂直于操作平台平面,依据用户选择的模式投影对应内容的图片或视频;纸张,用户根据投影内容在带有标识块的纸张上进行手写;摄像头,该摄像头通过支架安装在操作平台上方且光轴垂直于操作平台平面,用以采集用户根据投影图像在带有标识块的纸张上手写的内容,得到摄像头采集的图片;
所述图片处理单元,用以对摄像头采集的图片进行处理;
所述网络训练模块,将图片处理单元处理得到的字符图像作为深度神经网络的输入,训练得到每个字符图像的识别结果;
识别结果反馈模块,如果识别结果与投影图像所对应的内容一致,则投影一个代表正确的视觉效果;否则投影一个代表不正确的视觉效果。
2.如权利要求1所述的基于纸笔交互的儿童认知游戏系统,其特征在于,所述单词库中每个单词的属性包含用于在窗口中显示的图片以及正确的拼写形式;算式库中每个算式的属性包括用于窗口中显示的图片以及算式的结果。
3.如权利要求1所述的基于纸笔交互的儿童认知游戏系统,其特征在于,所述图片处理单元包括:图片二值化模块,用以将摄像头采集的图片二值化,包括图像灰度化、光滑去噪、直方图均衡化、大津法二值化,最终返回二值化后的图像;
纸张标识块定位模块,用以在二值化后的图像上寻找轮廓,满足设定约束的轮廓是标识块,共三个;依据三个标识块的位置获取感兴趣区域(ROI区域);当右下角标识块由不可见变为可见时,认为用户完成了一次书写;
对ROI图像进行透视变换模块,依据标识块的位置进行透视变换,从而矫正发生扭曲的ROI图像;
对ROI图像进行字符分割模块,使用投影法进行分割字符,首先对ROI图像进行垂直投影,然后对垂直投影的结果进行水平投影,将满足字符最小高度和宽度要求的区域作为字符图像保存。
4.如权利要求1所述的基于纸笔交互的儿童认知游戏系统,其特征在于,所述网络训练模块中,构建用于字符识别的深度神经网络的方法包括:步骤a,准备数据集:选择手写体数据集NIST Handprinted Forms and Characters Database;并在上述手写体数据集中再加入自行制作或收集的手写体字符集,作为深度神经网络的训练集和测试集;加入自行制作或收集的手写体字符集用以提高识别准确度和鲁棒性;
步骤b,搭建深度神经网络:深度神经网络选择的是经典的卷积神经网络LeNet,包括2个卷积层、2个下抽样层和3个全连接层,这里不局限于LeNet深度学习网络模型;
步骤c,训练深度神经网络:将训练集作为输入送入深度神经网络,使用随机梯度下降法寻找最优参数并保存,得到训练后的深度神经网络;
步骤d,评价深度神经网络:将测试集作为输入送入步骤c得到的训练后的深度神经网络进行预测,然后将预测结果与测试集的真实标签进行对比,得到深度神经网络的准确度;
步骤e,迭代寻找满足预测准确度的深度神经网络:若步骤d所得的准确度满足要求,则停止迭代;否则调整深度神经网络的超参数,重复步骤c、d,直至得到预测准确度符合要求的深度神经网络。