1.一种场内外特征融合的残缺图像精细修复方法，其特征在于，其步骤如下：步骤一：检测残缺图像中存在的目标，利用知识库检索与目标相关的常识性知识，基于RNN的编码器将常识性知识转化为场外特征；

步骤二：提取残缺图像的目标特征信息并进行处理得到场内特征，利用改进的DMN+模型将步骤一得到的场外特征与场内特征进行融合，得到融合特征；

步骤三：将步骤二得到的融合特征输入到带有环境注意机制的粗修复网络，得到粗修复图像；所述粗修复网络是基于对抗性神经网络策略的WGAN‑GP修复模型，并在模型中引入分层的环境注意机制；

步骤四：将步骤三得到的粗修复图像输入到精细修复网络中，通过精细修复网络对粗修复图像进一步细化获得精细修复图像，从而实现残缺图像的修复；所述精细修复网络增加了相关特征连贯层的WGAN‑GP修复模型，并通过特征相关性对上下语义情景结构进行保留。

2.根据权利要求1所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述步骤一中场外特征的获取方法为：根据知识库中的常识性知识，对残缺图像Iin中的目标β判断推理，推测出可能相关的目标{α1,α2,...,αk}；

从知识库中检索与目标αk相关的常识性描述为： 其中，{m1,m2,...,mn}是从知识库中检索到的目标αk的常识性描述，n表示每个目标的常识性描述的个数；

1 2 t t t

将常识性描述{m1,m2,...,mn}编码转换成单词序列{M ,M ,...,M}，通过x＝weM的映t射关系将常识性描述中的每一个单词映射到一个连续的向量空间中；其中，x 表示目标αk的第t个单词的映射向量，we为映射权重；

t

通过基于RNN的编码器将映射向量x进行编码：

t‑1

其中，T 表示编码器的隐藏状态，RNNfast()表示基于RNN的编码器的编码函数， 表示第t个单词的映射向量通过基于RNN的编码器所得的特征向量；

将通过基于RNN的编码器得到的特征向量 定义为场外特征XE，即

3.根据权利要求2所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述目标β是通过YOLOv3目标识别模型检测残缺图像Iin得到的。

4.根据权利要求1或2所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述场内特征的提取方法为：将信息残缺图像Iin输入到改进的DMN+模型中，改进的DMN+模型的第一层提取目标特征信息 目标特征信息 作为改进的DMN+模型的第二层输入，改进的DMN+模型的第三层及以上的层的输入 为目标特征信息 和前一层输出 的总和： 其中，i＝2,……,ni，ni为改进的DMN+模型的层数；

则场内特征为： 其中，W1和b1表示映射参数；tanh()为映射函数。

5.根据权利要求4所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述改进的DMN+模型对目标特征信息进行学习，并将提取的特征之间进行信息交互，获取更多的与目标特征信息相关的场外特征；所述改进的DMN+模型将场外特征与场内特征进行融合的方法为：t t

f＝soft max(W3tanh(W2z+b2)+b3)，t t

g＝AGRU(XE,f)；

t‑1

其中，γ 表示第t‑1个场外特征与图像特征在改进的DMN+模型的记忆模块中交互运t t‑1算后输出的情景记忆状态，z表示相关的场外特征XE、情景记忆状态γ 和场内特征X之间的交互运算后的向量，表示向量相乘的运算符号，|·|表示元素的绝对值，[:]表示是多个t元素交互运算；f表示全连接层的输出，W2、W3、b2和b3均表示学习参数，soft max(·)表示输t出激活函数，AGRU(·)表示改进的DMN+模型的注意机制循环模块的函数；g表示第t个场外t t t‑1 t‑1 t‑1特征被检测后门循环模块的状态，且：g＝fGRU(XE,g )+(1‑f )g ；

通过注意力机制利用当前的状态和改机的DMN+模型的情景记忆状态更新储存器的记t t‑1 t t忆状态为：γ＝ReLU(W4[γ :g:X]+d4)；其中，γ表示更新后的情景记忆状态，ReLU()为整流线性激活函数，W4和d4均表示学习参数；

通过改进的DMN+模型提取的场外特征为：

Xr＝[X,XE]；

其中， 表示改进的DMN+模型最后一层输出的具有场外知识弥补的图像信息，W5和d5均表示学习参数；XE表示具有相关性的场外特征，Xr表示融合后的特征；

最后将 输入到改进的DMN+模型的输出层，得到经场外知识优化的残缺图像Iopt。

6.根据权利要求1、2或5所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述WGAN‑GP修复模型利用Wasserstein‑1距离构成惩罚梯度函数对生成器形成约束为：其中， 表示从生成特征分布Pr和原始特征分布Pg采样点之间的直线上采样的特征，表示特征 通过判别器D的输出值， 表示1‑Lipschithz函数约束下的采样样本，表示特征 的分布距离函数，||·||2表示所有矩阵列向量绝对值之和的最大值；S表示掩膜矩阵，λ表示惩罚函数的权重；

Wasserstein‑1距离为：

其中，Pr表示残缺区域的生成特征Xrs的分布，Pg表示残缺图像对应的原始特征Xrc的分布，Π(Pr，Pg)表示生成特征分布Pr和原始特征分布Pg采样点分布的边际，E[·]为分布特征之间距离函数，inf表示取下限函数，W(Ρr,Ρg)表示生成特征分布和原始特征分布的距离；

所述WGAN‑GP修复模型利用梯度惩罚约束条件训练和优化原始的WGAN‑GP网络的生成器，即：Wasserstein‑1距离W(Pr,Pg)通过比较生成数据分布和原始数据分布，目标函数为：其中，L表示1‑Lipschitz函数的集合，Pr表示残缺区域的生成特征分布，Pg表示残缺图像对应的原始特征分布，G表示生成器，D表示判别器，D(Xrs)和D(Xrc)分别表示生成特征和原始特征通过判别器D的输出值； 和 分别表示生成特征分布和原始特征分布的分布距离函数。

7.根据权利要求5所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述粗修复网络的WGAN‑GP修复模型的变分自编码器提取具有场外知识弥补的残缺图像信息的深度特征得到原始特征为Xrc＝{xrc1,xrc2...,xrck1}；WGAN‑GP修复模型的生成器依据向量元素 生成残缺区域特征得到生成特征为 其中， 表示具有场外知识弥补的图像信息 的深度特征的向量元素，k1表示深度特征向量元素的个数其中，表示生成残缺区域特征的向量元素，k2表示生成残缺区域特征向量元素的个数；

在经场外知识优化的残缺图像Iopt的完整区域中提取与残缺区域的生成特征 相关的环境特征 并整形为卷积滤波器，使用余弦相似度检测提取的环境特征 和残缺区域的生成特征 的匹配程度，即：其中， 表示环境特征 和残缺区域的生成特征 之间相似度，＜·＞表示向量间的数量积；

环境特征 和残缺区域的生成特征 之间相似度权衡注意权重，即每个像素的注意程度为 其中，softmax1表示环境注意机制的softmax函数，权重α是一个常数；

通过与注意程度 最相关的 的值先进行左右传播、再进行自上而下的传播，最终获得环境特征 的相似度 为：

其中，a∈(0,k2)，k2表示相关环境的个数；

得到具有相似度的局部环境特征为 其中， 表示具有相似度的局部环境特征的向量元素，k3表示具有相似度的局部环境特征的向量元素个数；

在完整区域中提取与原始特征Xrc相关的完整区域的环境特征：X′rg＝frgA(Xrs,Hrs,Wrs)；

其中，Hrs表示输入图像的高度，Wrs表示输入图片的宽度，frgA(·)为全局环境特征的提取函数；

通过1×1卷积层将这局部环境注意机制和全局环境注意机制的背景特征信息进行融合，得到分层的环境注意机制，通过分层的环境注意机制得到的背景特征为：X′rs‑g＝fconv([X′rs:X′rg])；

其中，fconv(·)表示卷积运算，[:]是交互运算；

WGAN‑GP模型的解码器对残缺区域的生成特征Xrs、原始特征Xrc和背景特征X′rs‑g进行解码生成粗修复图像Irou。

8.根据权利要求1、2、5或7所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述精细修复网络的WGAN‑GP修复模型的变分自编码器提取粗修复图像Irou的深度特征为Xfc＝{xfc1,xfc2...,xfck4}，其中， 表示粗修复图像Irou深度特征的向量元素，k4表示深度特征向量元素的个数；WGAN‑GP修复模型的生成器依据向量元素 生成残缺区域特征为其中， 表示生成残缺区域特征向量元素，k5表示生成残缺区域特征向量元素的个数；

在残缺图像信息完整区域中搜索最匹配的特征 用于初始化xfsa；然后，将特征作为主要的特征信息，参考已经生成的特征xfsa‑1，在生成的特征过程中还原特征xfsa，判断特征之间的相关度：其中，Da表示生成特征xfsa和邻近特征xfsa‑1之间的相似性， 表示最匹配的特征和生成特征xfsa之间的相似性；

将相似性 和 视为生成特征的权重，生成的特征表示为：

通过精细修复网络的解码器将通过相关特征连贯层生成的残缺区域生成特征和变分自编码器提取的深度特征Xfc进行解码生成精细修复图像Irou。

9.根据权利要求8所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述t改进的DMN+模型的优化损失函数Ld为：Ld＝max(0,W6‑So(XE,γ)+SR(XE,X))；

t

其中，SO(·)表示情景记忆状态γ和场外特征XE之间的匹配度，SR(·)表示场内特征X和场外特征XE之间的匹配度，W6表示权重,一般取值为0～1；

所述WGAN‑GP模型的对抗性损失函数DR为：

其中，D代表WGAN‑GP网络的判别器，Igt表示没有经过掩膜处理的原图像， 表示对判别器鉴定后的原始数据取平均值的操作， 表示对判别器鉴定后的生成数据取平均值的操作；

所述精细修复网络将变分自编码器和解码器对应层的特征空间设定为目标计算出距离Lc，从而得到一致性损失为：其中， 表示精细修复网络中经训练得到的参数，W(·)表示编码器中相关特征连贯层的特征空间，Wd(·)是解码器中相关特征连贯层的对应层特征空间。