1.胎儿心脏超声视频中合格四腔心切面图像自动获取方法,其特征在于包括以下步骤:
步骤1:对胎儿心脏超声视频进行分帧处理;
步骤2:筛选出合格的四腔心切面图像,并对四腔心和降主动脉区域进行标注;
步骤3:搭建并训练YOLOv5目标检测网络;
步骤4:搭建并训练Darknet53分类网络;
步骤5:分帧处理,并利用YOLOv5目标检测网络逐帧检测待提取切面的胎儿心脏超声视频中的四腔心和降主动脉;
步骤6:记录视频中是否存在降主动脉,并提取检测到的四腔心区域图像;
步骤7:利用Darknet53分类网络对提取的准四腔心区域进行分类,同时计算分类为合格的四腔心切面图像得分,根据得分大小对这些切面图像进行排序,自动给出视频中的最佳四腔心切面图像。
2.根据权利要求1所述胎儿心脏超声视频中合格四腔心切面图像自动获取方法,其特征在于:步骤2具体为:
对步骤1中得到的胎儿心脏视频分帧数据集进行人工筛选,筛选出合格的四腔心切面图像,并标注四腔心与降主动脉区域,将其作为YOLOv5目标检测网络模型的训练数据集、验证数据集和测试数据集。
3.根据权利要求2所述胎儿心脏超声视频中合格四腔心切面图像自动获取方法,其特征在于:步骤3包括以下步骤:
步骤3.1:将步骤1中得到的数据集按一定的比例划分训练集、验证集、测试集,利用划分后的数据集来训练YOLOv5目标检测网络模型;
步骤3.2:通过测试集来评估YOLOv5目标检测网络模型的检测性能,这里的测试集指的是从步骤1中人工筛选得到的合格四腔心切面图像;
步骤3.3:利用训练好的YOLOv5目标检测网络提取出易误检的样本,将误检为四腔心的区域提取出来,作为不合格的四腔心区域图像;
步骤3.4:利用人工标注的位置坐标,将步骤2中人工筛选出的合格四腔心切面图像中的四腔心区域提取出来,作为合格的四腔心区域图像;
步骤3.5:用步骤3.3和步骤3.4中不合格的四腔心区域图像与合格的四腔心区域图像,构建Darknet53分类网络模型的训练数据集、验证数据集和测试数据集。
4.根据权利要求3所述胎儿心脏超声视频中合格四腔心切面图像自动获取方法,其特征在于:步骤4包括以下步骤:
步骤4.1:将步骤3.5中得到的合格与不合格四腔心区域图像,按一定的比例划分训练集、验证集、测试集,再将划分后的数据集合并;
步骤4.2:利用步骤4.1中划分后的分类数据集来训练Darknet53分类网络,并通过测试集来评估Darknet53分类网络的分类性能。
5.根据权利要求4所述一种胎儿心脏超声视频中合格四腔心切面图像自动获取方法,其特征在于:步骤5包括以下步骤:步骤5.1:对待提取切面的胎儿心脏超声视频进行分帧处理;
步骤5.2:利用YOLOv5采用一定阈值逐帧检测待提取切面的胎儿心脏超声视频中的四腔心和降主动脉区域。
6.根据权利要求5所述胎儿心脏超声视频中合格四腔心切面图像自动获取方法,其特征在于:步骤6包括以下步骤:
步骤6.1:对YOLOv5输出的检测结果以视频序号_帧号的格式命名,查找YOLOv5输出的检测结果文件中是否存在降主动脉,若存在降主动脉,则将文件名中的视频序号、帧号及降主动脉检测置信度记录下来,并将该视频中检测到四腔心区域的切面都视为准合格的四腔心切面图像;若算法在视频中未能检测到可靠的降主动脉区域,即使在该视频中检测到四腔心区域,也将该切面图像视为不合格的四腔心切面图像,不对其进行自动获取;
步骤6.2:将步骤6.1中准合格的四腔心切面图像中的四腔心区域提取出来。
7.根据权利要求6所述胎儿心脏超声视频中合格四腔心切面图像自动获取方法,其特征在于:准合格的四腔心切面图像以视频序号_帧号的格式命名,在不同阈值下YOLOv5对四腔心区域有着不同的误检率和漏检率,所用漏检率和误检率的计算公式如(1),(2)所示:其中:X表示YOLOv5检测到准四腔心区域的帧数,Y表示YOLOv5检测到真正合格的四腔心区域帧数,Z表示待检测的视频中真正合格的四腔心区域帧数。
8.根据权利要求7所述胎儿心脏超声视频中合格四腔心切面图像自动获取方法,其特征在于:步骤7包括以下步骤:
步骤7.1:将步骤6.2中YOLOv5阈值为0.5时提取的四腔心区域输入训练好的Darknet53分类网络模型中,输出预测结果,其分类性能如表3所示;
Darknet53的误检率=1‑准确率 (6)Darknet53的漏检率=1‑召回率 (7)其中:TP表示实际结果为合格,预测结果为合格的准四腔心区域个数;TN表示实际结果为不合格,预测结果为不合格的准四腔心区域个数;FP实际结果为不合格,预测结果为合格的准四腔心区域个数;FN表示实际结果为合格,预测结果为不合格的准四腔心区域个数;
步骤7.2:获取合格四腔心区域对应的四腔心切面图像,同时计算合格四腔心切面图像的得分,若该切面图像中的四腔心区域合格,则将Darknet53分类网络在softmax处理前的输出归一化后作为该切面图像的得分;若该切面图像中的四腔心区域合格且该切面图像中存在降主动脉,则将Darknet53分类网络在softmax处理前的输出归一化后与降主动脉检测置信度相加作为对应切面图像的得分;
利用公式(8)计算合格四腔心切面图像的得分,其中:Di表示该视频中第i帧合格四腔心切面图像的得分,Tmax表示该视频中合格四腔心区域的最高得分,Tmin表示该视频中合格四腔心区域的最低得分,Ti表示该视频中第i帧合格四腔心区域的得分,i表示在该视频中的帧号,DAO_confi表示该视频中第i帧合格四腔心切面的降主动脉得分,若不存在降主动脉,则将其设为0;
步骤7.3:根据得分大小对切面图像进行排序,并自动获取视频中的最佳四腔心切面图像。
9.一种胎儿心脏超声视频中合格四腔心切面图像获取模型,其特征在于,该模型的训练包括以下步骤:
A1:对胎儿心脏超声视频进行分帧处理;
A2:筛选出合格的四腔心切面图像,并对四腔心和降主动脉区域进行标注;
A3:搭建并训练YOLOv5目标检测网络;
A4:搭建并训练Darknet53分类网络;
通过上述步骤,训练好胎儿心脏超声视频中合格四腔心切面图像获取模型。
10.基于权利要求9所述模型进行胎儿心脏超声视频中合格四腔心切面图像自动获取的方法,其特征在于包括以下步骤:B1:分帧处理,并利用YOLOv5目标检测网络逐帧检测待提取切面的胎儿心脏超声视频中的四腔心和降主动脉;
B2:记录视频中是否存在降主动脉,并提取检测到的四腔心区域图像;
B3:利用Darknet53分类网络对提取的准四腔心区域进行分类,同时计算分类为合格的四腔心切面图像得分,根据得分大小对这些切面图像进行排序,自动给出视频中的最佳四腔心切面图像。