1.一种基于文本和图像信息联合计算的心理危机预警方法,其特征在于,包括以下步骤:S1、建立和训练心理健康自动评估模型,具体分为以下过程:
S101、构建用于训练的数据集,并对数据集进行预处理,所述数据集是指获取的所有被试学生社交平台上公开发表的网络内容数据,形成文本数据集、图像数据集和图文联合标注数据集三类;
S102、通过建立词嵌入层、Bi‑LSTM层、全连接层的三层神经网络框架训练得到文本数据集和图文联合标注数据集的每条文本情感倾向向量,获得文本情感计算模型;通过微调卷积神经网络训练,得到图像数据集和图文联合标注数据集中的每个图像情感倾向向量,获得图像情感计算模型;
S103、用最大值决策规则来联合计算上述的文本情感倾向向量和图像情感倾向向量,获得所有被试学生单条网络内容数据的综合情感倾向向量;
S104、重复步骤S101‑S103,获得所有被试学生一段时间内所有网络内容数据的综合情感倾向向量序列,在此基础上,用隐条件随机场(HCRF)来训练进而得到所有被试学生的心理健康特征向量,获得心理健康自动评估模型;
S2、从步骤S1中选取某被试学生的网络内容数据,依次对每条文本及对应图像进行预处理,分别获得文本表示矩阵和图像表示矩阵;
S3、将文本表示矩阵和图像表示矩阵按行顺序依次输入步骤S1的文本情感计算模型和图像情感计算模型,分别得到文本情感倾向矩阵和图像情感倾向矩阵,再将文本情感倾向矩阵和图像情感倾向矩阵按行顺序依次采用步骤S1中最大值决策规则的方式计算获得该被试学生的综合情感倾向向量序列;
S4、将获得的综合情感倾向向量序列输入步骤S1所得的心理健康自动评估模型中,以输出结果判断该被试学生的心理健康等级,完成心理健康自动评估。
2.根据权利要求1所述的基于文本和图像信息联合计算的心理危机预警方法,其特征在于,所述步骤S101中构建用于训练的数据集,并对数据集进行预处理具体表现为:S1011、向被试学生发放流调用抑郁自评量表并进行沟通说明,完成自评量表的自评分;同时,在与被试学生签署知情同意书的情况下,通过网络爬虫技术获取被试学生在社交平台上公开的网络内容数据存于数据库;
S1012、将被试学生按照自评量表的自评分值来划分评估等级进行心理健康等级标注,以便与心理健康自动评估模型输出结果进行比对;
S1013、筛选网络内容数据,得到被试学生特定时间段内反应真实心理状况的有效网络内容数据;
S1014、被试学生的有效网络内容数据则邀请领域专家根据情感倾向性标注正负情绪类别,形成文本数据集、图像数据集、图文联合标注数据集三类原始数据;
S1015、针对步骤1014中文本数据集、图像数据集、图文联合标注数据集进行向量化预处理操作,得到文本表示向量和图像表示向量,便于后续进行情感倾向向量化计算。
3.根据权利要求2所述的基于文本和图像信息联合计算的心理危机预警方法,其特征在于,步骤S1012中心理健康等级标注具体分为第一类别、第二类别和第三类别共三类,其中,第一类别表示该被试学生的心理健康状况为健康等级,第二类别表示该被试学生的心理健康状况为可能抑郁等级,第三类别表示该被试学生的心理健康状况为抑郁倾向等级。
4.根据权利要求3所述的基于文本和图像信息联合计算的心理危机预警方法,其特征在于,所述步骤S102中微调卷积神经网络以VGG16为基准模型,通过微调策略来构建CNN模型,即全连接层设置为512relu‑2softmax,冻结VGG卷积块进行5轮epoch训练以实现初步迁移;其次解冻VGG16第五个卷积块权重进行20轮epoch以微调模型权重参数。
5.根据权利要求4所述的基于文本和图像信息联合计算的心理危机预警方法,其特征在于,所述步骤S103具体包括以下步骤:S1031、文本情感倾向向量计算:由LSTM单元计算文本数据集输入的文本表示向量,获得包含上下文信息的文本特征表示;再将文本特征表示输入激活函数为softmax的全连接层,得到文本情感倾向向量;
S1032、图像情感倾向向量计算:由卷积层和池化层交替计算图像数据集输入的的图像表示向量,习得图像特征表示;再将图像特征表示输入激活函数为softmax的全连接层,得到图像情感倾向向量;
S1033、获得综合情感倾向向量:
计算单条网络内容数据中所有图像的情感倾向向量;
将所有图像均值化处理后,得到总图像情感倾向向量;
分别设置文本情感倾向向量和总图像情感倾向向量的权重参数,并采用网格搜索方法找寻最优解;
采用最大值规则融合计算已加权的文本情感倾向向量和总图像情感倾向向量;
考虑被试学生发表网络内容数据存在多模态数据不完整的情况,设计以下策略以提高模型健壮性:(t+v)
式中,Yi为被试学生单条网络内容数据的综合情感倾向向量,Yi 为最终生成单条网(t) (v)络内容数据的融合情感倾向向量,Yi 为文本情感倾向向量,Yi 为图像情感倾向向量。
6.根据权利要求5所述的基于文本和图像信息联合计算的心理危机预警方法,其特征在于,所述步骤S104中心理健康自动评估模型进行心理健康等级计算的具体步骤如下:设定x={x1,x2,…,xn}对应被试学生时间段内每条网络内容数据的情感分数,为时序模型的一组观测序列,h={h1,h2,…,hn}对应观测序列中习得的规律特征,为时序模型的一组隐随机变量,y表示被试学生一组观测序列对应的心理健康等级随机变量;
当给出被试学生特定时间段内的一组网络内容数据观测序列x,则心理健康等级变量y的条件概率具体计算过程:式中,由θ参数化的势函数ψ(y,h,x;θ)和Ψ(y’,h,x,θ)均用于度量一个等级类别、一组隐状态序列和观测序列之间的兼容性,Y表示该模型中一组心理健康等级的可能值,H表示观测序列中一组可能的规律特征值。
7.根据权利要求1至6中任一项所述的基于文本和图像信息联合计算的心理危机预警方法,其特征在于,所述步骤S2具体表现为:文本至少完成包括表情符转换、无关字符删除、字体转换、词嵌入表示的预处理,转换成200维的句子向量;图像至少完成包括格式转换、尺寸调整、归一化预处理,转换成224*224*3的图像张量;同时,记录每条文本内容对应的所有配图内容,并按时间先后顺序依次存储,生成文本表示矩阵和图像表示矩阵。
8.根据权利要求3所述的基于文本和图像信息联合计算的心理危机预警方法,其特征在于,所述步骤S4中以输出结果判断该被试学生的心理健康等级,完成心理健康自动评估具体表现为:当输出结果对应于第一类别时,该被试学生的心理健康状况为健康等级;当输出结果对应于第二类别时,该被试学生的心理健康状况为可能抑郁等级;当输出结果对应于第三类别时,该被试学生的心理健康状况为抑郁倾向等级。
9.根据权利要求2所述的基于文本和图像信息联合计算的心理危机预警方法,其特征在于,所述步骤S1建立和训练心理健康自动评估模型还包括以下过程:S105、将被试学生通过自评量表的自评分值标注的心理健康等级,与获得的心理健康自动评估模型输出结果进行比对,以便验证心理健康自动评估模型的准确度。