欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2020105215344
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法,其特征在于,包括以下步骤:S1,收集遥感卫星船舶图像数据集,并进行样本标注;

S2,对经过S1所提取的数据集中的样本进行数据预处理;

S3,用经过特征金字塔网络对预处理后的样本进行特征提取;

S4,给水平锚点添加角度参数,设置为旋转锚点,再送入RPN网络;

S5,搭建RNN网络融合Self‑Attention,对候选区域的置信度进行重计分;

S6,搭建FastR‑CNN网络;

S7,对由S1采集到的测试数据进行训练阶段的步骤S2预处理操作;

S8,将经过S7处理的样本送入S3、S4、S5和S6构建的模型中进行测试求得结果,即最后经过FastR‑CNN输出分类与回归的结果;

所述步骤S5进一步包括:

候选区域置信度重计分的网络及结构分为RNN和Self‑Attention两部分;

S501,RNN部分:提取每个候选区域的置信度和坐标为特征向量,作为双向堆叠循环神经网络的输入,假设输入的是特征FRNN, 其中Mi表示第i个双向RNN的维数,N表示输入序列长度,其输出Foutput也是一个长度为N的序列,Foutput=[Foutput(1),Foutput(2),…,Foutput(N)],其中序列中第k个候选区域所对应的向量表示为:其中,f(·)表示激活函数, 表示对应于第i个双向RNN中所包含的前向RNN的隐藏层输出矩阵, 表示第i个双向RNN中所包含的前向RNN中所包含的第k个隐藏层状态,同样地,表示对应于第i个双向RNN中所包含的后向RNN的隐藏层输出矩阵, 表示第i个双向RNN中所包含的后向RNN中所包含的第k个隐藏层状态,bFi表示第i个双向RNN的输出层偏置;

S502,Self‑Attention部分:对于每个元素i,自注意力机制将整个序列表示为角度的向量ci,由向量序列ci的所有隐藏向量的平均值加权再对齐得出的置信度分数为:其中,L是输入序列的长度,hj是元素j的隐藏向量,而aij是元素i和元素j之间的对齐的权重,权重aij是通过Softmax计算为:其中,exp(score(hi,hj))衡量hi和hj向量之间的对齐程度,具体使用缩放的向量点积函数,表示为:

2.如权利要求1所述的基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法,其特征在于,所述步骤S1进一步包括:S101,从GoogleEarth卫星地图上收集含有船舶目标的港口、远海、码头和湖泊等地的遥感卫星图片,作为训练图像;

S102,标注训练图像中所有船舶目标的类别和位置坐标,得到标注目标;

所述步骤S2进一步包括:

S201,将训练图像剪裁为1000×1000大小的图片,重叠率为20%;

S202,去除剪裁后训练集中的负样本;

S203,对图片进行水平翻转、旋转处理,形成完整的训练数据集。

3.如权利要求1所述的基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法,其特征在于,所述步骤S3进一步包括:首先选用ResNet‑101残差网络对输入遥感卫星图像进行特征提取,选择最后4个残差模块的最后一层的特征图构建自底而上的网络;然后通过横向连接和自顶而下的上采样得到3层特征图,形成自顶而下的网络;对于自顶而下的网络,输入包括自底而上网络中对应层的特征图经过1×1的卷积的输出和相邻上层上采样后的输出;最终由自顶而下网络的3层P3,P4,P5同时作为特征提取网络的输出。

4.如权利要求1所述的基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法,其特征在于,所述步骤S4进一步包括:通过设置比例、比率和角度这三个参数来生成旋转锚点,

S401,设置锚点的长宽比为1:3,3:1,1:5,5:1,1:7,7:1的比率;

S402,特征提取网络输出的3层特征图P3,P4,P5的比例尺大小分别是150,250,350个像素;

S403,添加六个角度‑15°,‑30°,‑45°,‑60°,‑75°,‑90°以控制方向,每个特征图的每个特征点将生成36个锚点(1×6×6),将锚点送入RPN网络,每个回归层108个输出(3×36),以及每个分类层72个输出(2×36)。

5.如权利要求1所述的基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法,其特征在于,所述步骤S6进一步包括:S601,对每个候选区域的特征图,拉平成为一维向量,经过ReLU函数,最后分别经过两个全连接层,一个经过Softmax对候选区域进行分类;另一个进行检测框坐标的更精确的回归;

S602,所述遥感船舶目标检测网络的损失函数表达式为:

其中,li表示物体的标签,pi表示由Softmax函数计算的各种类别的概率分布,ti表示预测的五个坐标矢量,表示与预测区域对应的真值检测框的坐标,N表示类别的个数,本方法只有船舶一类数据,即Ncls=Nreg=1,超参数λ控制两个损失之间的平衡,本方法均使用λ=1,另外,函数Lcls和Lreg定义为:Lcls(p,l)=‑log pl

S603,初始化上述模型中所有待训练的权重及偏置,设置训练参数,包括学习率、batch_size、RPN和FastR‑CNN网络各自的正负样本的阈值等,开启模型训练。

6.如权利要求1所述的基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法,其特征在于,所述步骤S8进一步包括:计算遥感船舶目标的召回率(Recall)、精准率(Precision)、平均精度(Ap)和F‑measure,S801,遥感船舶测试样本的召回率计算为:

其中,TP(True positives)是正样本被正确识别为正样本,船舶的图片被正确的识别成了船舶,P是所有真值样本;

S802,遥感船舶测试样本的精准率可计算为:

其中,TP(True positives)是正样本被正确识别为正样本,船舶的图片被正确的识别成了船舶,FP(False positives)是假的正样本,即负样本被错误识别为正样本,船舶的图片被错误地识别成了其他类别;

S803,平均精度是在各种IoU阈值(0.5,0.55,...,0.95)下分别由每个类别计算的,首先要把结果按照置信度排序,通过在11个等距水平轴上召回率的平均内插精度,估算插值的准确率‑召回率曲线下的面积,平均精度可计算为:其中,r是召回率,c是给定的类别的数目,在本方法中c是船舶一类,t是IoU的阈值;另外,pinterp(r)可计算为:通过将每次召回率r的准确率重新分配给更高召回率的最大精度,使该曲线单调递减;

S804,遥感船舶测试样本的F‑measure可计算为:

Precision和recall是上面说明的精准率和召回率。