1.一种面向目标识别的多阶段训练方法,该训练方法在传统训练方法的基础上进行优化,其特征在于该训练方法在训练过程中重新整合所采用的数据集,形成各具特性的新数据集,并将整个单一训练过程拆分为多个训练阶段,该训练方法包括四个模块:数据集预处理模块,对所采用的数据集进行预处理,其预处理的主要内容是收集每个数据样本的基本特征,数据样本的基本特征包括样本上每个目标的面积、样本上目标的数量、样本上目标的大小以及样本上目标的种类;
数据集分类模块,根据数据集预处理模块统计的基本特征,对数据集进行分类,将符合设定阈值内的样本归为同一类,其分类的标准包括样本上的目标面积均值、样本上的目标数量,样本上目标的大小或者样本上目标的种类;
数据集整合模块,用于将分好类的数据子集进行重新整合成新的数据集,在重新整合的过程中,每个数据子集分别设置有权重参数 ,其中i为数据子集的序号,通过设定的权重参数来调节对应的数据子集在整个数据集的比重,使每个阶段的训练对数据集都有不同的针对性;
数据集载入模块,用于把整合好的新数据集载入到各个阶段中进行训练,在载入前会对数据集进行扩充,其扩充的主要方法是对识别的目标进行随机掩盖,每掩盖一次目标生成就生成一个新的样本,并且分配新的标签;
所述面向目标识别的多阶段训练方法包括以下步骤:
步骤一、对采用的数据集进行预处理;
步骤二、根据预处理的结果对数据集进行分类;
步骤三、对分类好的数据子集按不同的比例重新混合形成新的数据集;
步骤四、把训练模型的过程分成多个阶段,然后把新的数据集依次载入不同的阶段;
步骤一的具体步骤如下:
对采用的数据集进行预处理,其预处理的主要内容是收集每个数据样本的基本特征,数据样本的基本特征包括样本上的每个目标的面积、样本上的目标数量、样本上目标的大小和样本上目标的种类;
步骤二根据预处理的结果进行分类,分类的标准包括样本上的目标面积均值、样本上的目标数量、样本上目标的大小或者样本上目标的种类,通过预先的分类将数据集分成多个具有特定特征的数据子集;
步骤二的具体步骤如下:
根据预处理的结果进行分类,并根据样本上的目标数目把将整个数据集分成简单类型数据子集和复杂类型数据子集,识别的目标数少于5个但并非是背景的样本定义为简单类型数据子集,背景样本和识别的目标数多于5的样本定义为复杂类型数据子集;
步骤三的过程中重新混合,对每个数据子集分别设置权重参数,通过权重参数来影响每个数据子集在整个数据集中的占比,然后将各个配有不同权重的数据子集重新混合;
步骤三的过程中设置权重,即为每个数据子集都配有一个单独的权重,其权重的范围是大于零,即可以使数据子集的数据量通过分配的权重来达到增加或减少数据量的目的;
步骤四的多阶段训练:多阶段训练是将传统的一次性训练划分为多个阶段的训练,每个阶段导入的数据集不一样,即存在多次导入数据集,而且每个epoch都作为一个阶段来训练,每个epoch所训练的数据集都相同或者不相同;
所述的面向目标识别的多阶段训练方法是将训练过程分成三个阶段,数据集预处理模块对样本上的目标数量进行读取和统计,根据该统计结果,数据集分类模块将COCO数据集分成两类数据子集,分别是简单类型数据子集A和复杂类型数据子集B,其分类的标准是把目标数量小于5的样本但又并非是背景样本归为简单类型数据子集A,把背景样本和目标数量大于5的样本归为复杂类型数据子集B;
在第一阶段中,简单类型数据子集A和复杂类型数据子集B的数据子集均不做处理,即其对应的权重都设置为1,然后仅作随机混合后载入模型训练;
在第二阶段中,简单类型数据子集A的数据量减少 倍,复杂类型数据子集B的数据量增多 倍,并且在该过程中要保持两类数据子集的数据量之和与原数据集一样,然后作随机混合后载入模型训练;
在第三阶段中,简单类型数据子集A的数据量减少 倍,复杂类型数据子集B的数据量增多 倍,然后作随机混合后载入模型训练。