欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020112373450
申请人: 西南交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种牵引变电所内隔离开关状态识别方法,包括如下步骤:

步骤一、获取与制作隔离开关数据集

隔离开关数据集的获取:首先,将牵引变电所内杆塔搭载的监控摄像头拍摄的图像构成图像库,共10000张,图像尺寸大小为1920×1080×3像素,对这些源图像进行尺度归一化处理,处理后的图像统一为256×256×3像素大小;然后是隔离开关数据集的制作,制作分为两个部分,其一是隔离开关真实标签分割图的标注任务,使用LabelMe标注出图像中的隔离开关区域,得到隔离开关的真实标签分割图;另一个是隔离开关状态标注任务,对所有图像分别标注为“开”、“半开”、“闭”三种状态,所有图像及其标注结果共同构成隔离开关数据集;

步骤二、多任务学习网络构建

该多任务学习网络由第一阶段的隔离开关分割网络与第二阶段的隔离开关状态识别网络构成,其中,隔离开关分割网络实现隔离开关的精确分割,隔离开关状态识别网络实现隔离开关的状态识别;

第一阶段的隔离开关分割网络包含输入层、编码层、解码层、特征融合模块和输出层,,将输入图像和256×256×3像素的隔离开关真实标签分割图同时输入隔离开关分割网络,构成输入层,其中,输入图像为256×256×3像素的三维矩阵;编码层一共分为五层,除了第五层只有一个卷积层外,其余每个编码层包含一个卷积层和池化层;其中,第一层卷积层和池化层分别输出包含256×256×64像素、128×128×64像素的两组特征图,第二层卷积层和池化层分别输出包含128×128×128像素、64×64×128像素的两组特征图,第三层卷积层和池化层分别输出包含64×64×256像素、32×32×256像素的两组特征图,第四层卷积层和池化层分别输出包含32×32×512像素、16×16×512像素的两组特征图,第五层卷积层输出16×16×1024像素的特征图;解码层也分为五层,除了第十层只有一个卷积层外,其余每个解码层包含一个卷积层、一个条形池化层和一个反卷积层;其中,第六层的卷积层、条形池化层和反卷积层分别输出包含16×16×1024像素、16×16×1024像素、32×32×512像素的三组特征图,第六层反卷积层的输出结果和第四层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为32×32×1024像素;第七层卷积层、条形池化层和反卷积层分别输出32×32×512像素、32×32×512像素、64×64×256像素的三组特征图,第七层反卷积层的输出结果和第三层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为64×64×512像素;第八层卷积层、条形池化层和反卷积层分别输出

64×64×256像素、64×64×256像素、128×128×128像素的三组特征图,第八层反卷积层的输出结果和第二层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为128×128×256像素;第九层卷积层、条形池化层和反卷积层分别输出128×128×128像素、128×128×128像素、256×256×64像素的三组特征图,第九层反卷积层的输出结果和第一层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为256×

256×128像素;第十层卷积层输出256×256×64像素的特征图;特征融合模块一共分为四个步骤,首先,将解码器得到的256×256×64像素的特征图输入通道注意力模块得到256×

256×64像素的新的特征图,接着经过金字塔池化模块、条形池化模块分别得到256×256×

64像素、256×256×64像素的特征图,再将金字塔池化模块的输出结果和条形池化模块的输出结果在第三个维度上拼接在一起构成新的特征图,其维度为256×256×128像素;最后经过一层卷积层输出256×256×3像素的隔离开关分割图,输出层直接提取隔离开关分割图作为输出;

第二阶段的隔离开关识别包含输入层、特征提取层、全连接层和输出层;其中输入层分为三个部分,第一个部分由隔离开关分割网络中的通过通道注意力模块得到的256×256×

64像素的特征图和输出层得到的256×256×3像素的隔离开关分割图在第三个维度上拼接构成,形成256×256×67像素新的特征图;第二个部分是256×256×3像素的隔离开关分割图通过尺寸变换为65536×3像素的特征图,再分别通过取平均和取最大值操作,得到二个3×1像素的特征图;第三个部分是隔离开关状态真实的标签值;特征提取层一共分为六层,由输入层的第一个部分作为输入,前二层分别包含一个最大池化层和一个卷积层,即第一层的最大池化层和卷积层分别输出128×128×67像素、128×128×8像素的两组特征图,第二层最大池化层和卷积层分别输出64×64×8像素、64×64×16像素的两组特征图,第三层卷积层输出64×64×32像素的特征图,第四层为全局上、下文模块,输出64×64×32像素的特征图;第五层为通过尺寸变换得到4096×32像素的特征图,再分别通过取平均和取最大值操作,输出得到二个32×1像素的特征图,第六层将输入层的第二个部分和第五层输出的二个特征图在第一个维度上拼接,得到70×1像素的特征图;再经过神经元个数为三的全连接层,最后由Softmax函数输出“开”、“半开”、“闭”三种状态的得分;输出层提取其中得分最大的一个状态作为输出;

步骤三、多任务学习网络训练

多任务学习网络构建完成后,使用步骤一中的隔离开关数据集对多任务学习网络进行训练,训练采用分阶段按顺序训练策略,具体是,先训练隔离开关分割网络,再训练隔离开关状态识别网络;训练方法均采用目前广泛使用的Adam方法,训练时隔离开关分割网络的损失函数设置为 n表示隔离开关数据集的数量,yi代表隔离开关的真实标签分割图, 代表隔离开关分割网络输出的分割图;隔离开关状态识别网络的损失函数设置为 k代表隔离开关状态类别的数量,这里的隔离开关状态类别一共为三类,分别是“开”、“半开”、“闭”三种状态状态,所以k=3,yi,k代表隔离开关的真实状态,pi,k代表隔离开关状态识别网络输出的隔离开关状态,训练完成后,隔离开关分割网络具备对隔离开关分割的能力,隔离开关状态识别网络具备对隔离开关状态识别的能力;

步骤四、图像输入

在实时处理情况下,提取牵引变电所内摄像头采集并保存在存储区的原始隔离开关视频图像,作为待进行隔离开关状态识别的输入图像;在离线处理情况下,将已釆集的隔离开关视频文件分解为多个帧组成的图像序列,按照时间顺序,逐个提取帧图像作为输入图像,将输入图像尺度归一化为256×256×3像素大小的图像,如果输入图像为空,则整个流程中止;

步骤五、隔离开关分割与状态识别

使用步骤三训练得到的多任务学习网络对步骤四中输入的隔离开关图像进行分割和状态识别,输入图像在经过第一阶段的隔离开关分割网络正向处理之后,得到隔离开关的分割图,然后经过第二阶段的隔离开关状态识别网络,得到隔离开关状态结果,当隔离开关的分割图与真实标签分割图的交并比大于0.9且状态识别正确,跳转到步骤四,否则,认为当前输入图像分割和状态识别不准确,跳转到步骤六;

步骤六、多任务学习网络在线学习

将未分割的隔离开关图像以及状态识别不准确的输入图像重新人工制作真实标签分割图和状态类别,将输入图像及其重新标记的真实标签分割图和状态类别作为在线训练集,并对多任务学习网络进行在线学习,然后跳转到步骤四。