1.一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法，其特征在于，所述方法包括以下步骤：步骤一、数据库构建，过程如下：

步骤1.1：对公开数据集Food-101进行扩展，扩展为多标签食物图像数据集，并基于此训练一个多标签分类器；

步骤1.2：对元数据集中的生活图像进行初步粗过滤，将全部模糊无法使用的图像以及所有被遮盖、看不清或视野内无明显实物的图片全部过滤剔除；

步骤1.3：对元数据集中的实时生物数据进行数据清洗，剔除无用数据并补充缺失数据；

步骤1.4：将配对的生活图像与实时生物数据进行协同过滤，即使用步骤2.1训练好的分类器来检测图像是否为食物，将所有不是食物的生活图像连同生物数据过滤删除，保留食物图像和与其配对的实时生物健康数据，并打上食物标签；

步骤1.5：将搜集到的食物组成数据集、糖尿病禁忌食物表、糖尿病血糖指标数据集通过数据整合与数据清洗汇总为一个包括食物组成、食物描述和健康提示在内的糖尿病饮食健康数据集；

步骤1.6：将食物图像及实时健康数据集同糖尿病饮食健康数据集通过食物标签进行配对，构建一个多模态的糖尿病饮食健康数据库，并划分训练集与测试集；

步骤二、检索模型构建，过程如下：

步骤2.1：该深度学习网络主要框架由一个图像特征提取模型、一个文本特征提取模型及一个典型关联分析模型组成，其中图像特征提取模型选用预训练的ResNet-101卷积神经网络，文本特征提取模型选用预训练的BERT模型；

步骤2.2：典型关联分析模型的两路输入部分各接一个池化层与一个全连接层，池化层后接特征融合模块作为全连接层的输入，全连接层后面接ReLU激活函数；

步骤2.3：最后连接到典型关联分析层，使用典型关联分析函数将图像特征与文本特征映射到同一子空间中，使用排序损失作为损失函数；

步骤三、检索模型训练，过程如下：

步骤3.1：将每个训练样本中的食物图像与食物描述文本作为两路输入送入跨模态检索模型，对食物图像使用卷积神经网络提取图像特征，对食物描述文本使用BERT提取文本特征；

步骤3.2：将上一步骤输出的特征分别送入池化层进行下采样，并将得到的图像特征向量与训练样本中的生物健康数据进行特征融合，将得到的文本特征向量与训练样本中的食物组成数据进行特征融合；

步骤3.3：将两路各自融合得到的特征向量经过一层全连接层送入典型关联分析模块，进行最终跨模态匹配部分的训练；

步骤四、预警精度测试，过程如下：

步骤4.1：将预处理好的测试数据集送入训练得到的最优模型；

步骤4.2：使用跨模态检索模型对输入的食物图像进行跨模态匹配，匹配到最优的食物描述文本及其食物组成数据，并使用多层感知机来判断匹配的文本图像对所属类别，记录所有数据；

步骤4.3：根据跨模态检索模型返回的图像文本对类别判断输入的食物是否为糖尿病人的禁忌食物，并针对结果进行预警提示；

步骤4.4：比较问询图像的类别标签和跨模态检索模型返回的图像文本对类别标签是否一致，根据信息检索中的评价指标计算所有问询图片的准确率；

步骤五、面向糖尿病患者实时饮食监控的使用，过程如下：

步骤5.1：若通过可穿戴摄像头的监视发现食物则启动跨模态检索模块，系统将食物图像联合当下通过用户佩戴的智能手表采集到的生物健康数据送入跨模态检索模型，跨模态检索模型在数据库中检索一个最匹配的食物描述文本及其食物组成数据；

步骤5.2：根据模型所测类别判断输入的食物是否为糖尿病人的禁忌食物，若是，通过智能手表的震动闪光对用户进行预警提示，并将跨模态检索得到的结果以文本的形式通过手机实时反馈给用户；

步骤5.3：根据一天的饮食检索记录，将检索结果汇总为图文并茂的多模态健康建议报告，在每日结束时反馈到用户的手机上。

2.如权利要求1所述的一种基于多模态数据的面向糖尿病患者的实时饮食健康监控警方法，其特征在于，所述步骤1.2的过程如下：步骤1.2.1：对元数据集中的生活图像进行模糊粗过滤，使用Laplacian filter与快速傅里叶变换两种方式计算图像的模糊度，保留所有模糊度小的图片作为有用图像数据，剔除所有模糊图像；

步骤1.2.2：对剩余图像进行遮盖粗过滤，去除被某物大面积覆盖或面对天花板或墙壁的图像，过程如下：将图像转换为灰度图像，将灰度图像转换为二进制图像，将二值图像转换为矩阵，找出矩阵中最大的连通图形，并计算其面积比例，根据矩阵计算的结果,剔除最大连通图形面积超过整个区域90％的图像；

步骤1.2.3：对元数据集中的实时生物健康数据进行数据清洗与处理，如去除与饮食关联度不大的生物数据如睡眠时间，以及根据时间序列上下时刻数据的平均值来补全缺失的血糖测量值；

步骤1.2.4：对元数据集中的图像与数据进行协同过滤，使用步骤1.1中训练好的多标签分类器对生活图像打取标签，去除生活图像中对各类食物置信度低的图像，同时去掉所有与被删除图像配对的生物健康数据。

3.如权利要求1或2所述的一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法，其特征在于，所述步骤3.3中，卷积神经网络的预训练采用大批量食物图像数据集Food-101，将预训练好的分类器中的卷积神经网络放入本发明的跨模态检索模型中进行下一步的训练与参数微调。

4.如权利要求1或2所述的一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法，其特征在于，所述步骤5.3中，其每日的多模态健康建议报告由三份或多份饮食数据组成，其中每份饮食数据为检测到饮食的时间段中一张可穿戴摄像头摄取的食物图像、一组智能手环摄取的生物数据、一段跨模态检索模型检索得到的食物描述与饮食建议、一组检索得到的食物组成数据四部分组成，在每日结束时反馈到用户的手机上。