1.一种基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，包括相机标定、立体校正、图像捕获与目标检测、立体匹配与深度计算模块四部分；其步骤如下：步骤一：相机标定：建立相机成像的几何模型，确定空间物体表面上一点的三维几何位置与其在图像中对应点之间的相互关系，由标定板上特征点的图像坐标和世界坐标求解双目摄像机的标定参数，其中，标定参数包括左摄像头和右摄像头的内参、外参和畸变参数；

步骤二：立体校正：通过极线约束进行立体校正，使两幅图像中的对应点在同一条水平极线上，获取校正后的双目摄像机的标定参数；

步骤三：图像捕获与目标检测：自建数据集，进行目标检测模型训练，利用双目摄像机捕获图像，预测左摄像头显示的实时画面信息，并输出物体识别信息；

所述图像捕获与目标检测的实现方法为：

步骤3.1：利用双目相机与网络爬虫捕获并筛选管道缺陷图像，并对管道缺陷图像进行标记与分类，创建数据集；

缺陷的分类如下，除ND类为无注释类，其余9个语义标签为：

OB类：表面损伤类；FO类：障碍物类别；RB类：包含裂纹、断裂和塌陷的类；RO类：植物的根入侵的类；DE类：变形；FS类：错位；GR类：支管；BE类：附着沉积物的类；AF类：固定沉积物的类；

步骤3.2：对管道缺陷图像和标记进行组织目录上的整理，通过getitem方法加载数据集中的管道缺陷图像和标记，使用COCO Evaluator作为评估器，将深度学习模型中涉及的所有内容都放在一个单独的COCO Exp文件中，包括模型设置、训练设置和测试设置；

步骤3.3：设置完毕后，使用COCO开源数据集训练完成的预训练权重初始化模型，在命令行输入训练命令以使用GPU开始训练，训练完成后，得到权重文件以及深度学习目标检测模型；

深度学习卷积神经网络结构，由特征提取、特征融合、预测类别并标定检测框共计三部分构成；

特征提取部分，包括Focus隔行采样拼接结构、四个DarkNet结构；Focus作为整个网络的输入部分，由默认的3×640×640输入开始，复制四份，通过切片操作将四个图片切成了四个3×320×320的切片，接下来使用concat从深度上拼接这四个切片，生成12×320×320的输出，最后经过batch_borm和leaky_relu将结果输入到下一个卷积层；DarkNet结构由CSP与SPP组成，将原输入分成两个分支，分别进行卷积操作使得通道数减半，分支一抛弃了YOLOV5的Bottlenneck操作，采用ResUnit结构，随后concat分支一和分支二，从而使得CSP的输入与输出是一样的大小，CSP的目的是为了让模型学习到更多的特征；SPP的输入为512×20×20，经过1×1的卷积层后输出256×20×20，然后经过并列的三个MaxPool进行采样，将结果与其初始特征相加，输出1024×20×20，最后用512的卷积核将其恢复到512×20×

20；

特征融合部分的作用是混合和组合图像特征，并将图像特征传递到预测层，采用PAFPN，基于Mask R‑CNN和FPN框架，加强了信息传播，具有准确保留空间信息的能力，有助于对像素进行适当的定位以形成掩模；

最后一部分网络结构对图像特征进行预测，生成边界框并预测类别；首先采用Decoupled Head提取三个特征层进行目标检测，同时加入了无锚点的检测器提高检测速度，在输出部分，三个输出分别是85×20×20、85×40×40、85×80×80；通过对预测结果解码，即得到缺陷预测信息；

深度学习卷积神经网络结构参考YOLOX网络搭建，相比YOLOX网络在特征提取部分减少了部分CBS操作和卷积次数，简化了该网络的特征提取部分；同时，修改了损失函数的计算方式，使用标准二进制交叉熵损失进行训练：其中，C为语义标签数numclasses＝9， 表示当前图像中是否存在

c类，xc是c类模型的原始输出，σ为Sigmoid激活函数， 为c类的权重，N表示训练中的图像数，Nc表示包含c类的图像数；

步骤3.4：通过双目相机捕获管道实时图像，并将管道实时图像输入深度学习目标检测模型中，输出物体识别信息；

步骤四：立体匹配与深度计算模块：将经过立体校正后的左摄像头和右摄像头图像与步骤三中的物体识别信息作为输入量传输至立体匹配与深度计算模块，得到双目摄像头左摄像头图像中被识别物体映射到实际三维空间中的空间三维坐标；

所述立体匹配与深度计算模块的实现方法为：

步骤4.1：根据立体校正后的双目摄像头左摄像头和右摄像头图像计算得到原图像在预设视差范围内各像素点的匹配代价；

步骤4.2：根据预设视差范围内各像素点的匹配代价计算得到各像素在预设视差范围内的多路径代价聚合值；

步骤4.3：根据各像素在预设视差范围内的多路径代价聚合值计算得到各像素在代价聚合后的视差；

步骤4.4：根据各像素在代价聚合后的视差进行视差优化，得到立体校正后的双目摄像头左摄像头视差图；

视差优化包括剔除错误匹配、提高视差精度和抑制噪声；剔除错误匹配采用左右一致性检查法，将左右影像互换位置，再做一次立体匹配，得到另一张视差图，依据视差的唯一性约束，通过左影像的视差图，找到每个像素在右影像的同名点像素及同名点像素对应的视差值、与同名点像素对应的像素在左影像的视差图中的视差值，这两个视差值之差的绝对值若小于1，则满足唯一性约束被保留，反之则不满足唯一性约束而被剔除；同时，采用连通域检测的方法来剔除孤立异常点，去除视差图中由于误匹配造成的小团块，过滤小的孤立的散斑；

提高视差精度采用子像素优化技术，用二次曲线内插的方法获得子像素精度，对最优视差的代价值以及前后两个视差的代价值进行二次曲线拟合，曲线的极值点所对应的视差值即为新的子像素视差值；

抑制噪声采用卡尔曼滤波，利用卡尔曼增益最优化地修正视差； 为状态估计方程，表示在第k时刻，对x(k+1)的估计；W(k+1)为卡尔曼增益， 为观测估计方程；

步骤4.5：对立体校正后的双目摄像头左摄像头视差图进行深度计算，得到立体校正后的双目摄像头左摄像头图像的深度图，并结合步骤3.4中得到的物体识别信息，最终得到经立体校正后的双目摄像头左摄像头图像中被识别物体映射到实际三维空间中的空间三维坐标。

2.根据权利要求1所述的基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，所述相机标定的实现方法为：步骤1.1：制作一块由黑白方块间隔组成的棋盘标定板，用双目摄像头在不同方向下拍摄棋盘标定板的棋盘图像，提取每一张棋盘图像的角点信息，获得棋盘图像上所有内角点的图像坐标及其空间三维坐标；

步骤1.2：建立相机成像的几何模型，确定空间物体表面一点的三维几何位置与其在图像中对应点之间的相互关系；

步骤1.3：将步骤1.1中获得的棋盘图像上所有内角点的图像坐标及其空间三维坐标作为输入，依据相机成像的几何模型，通过实验与计算求解并分别输出双目摄像机左摄像头和右摄像头的内参数矩阵和外参数矩阵；

步骤1.4：根据双目摄像机左摄像头和右摄像头的内参数矩阵和外参数矩阵，利用畸变校正前后的坐标关系，求解5个畸变参数k1、k2、k3、p1、p2以进行畸变矫正。

3.根据权利要求2所述的基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，在步骤1.2中，外参数矩阵 反应相机坐标系与世界坐标系的转换，R为双目摄像机右摄像头相对左摄像头的旋转矩阵，t为双目摄像机右摄像头相对左摄像头的平移向量；内参数矩阵 反应像素坐标系与相机坐标系的转换，f为透镜焦距，(u0,v0)为图像坐标系原点在像素坐标系下的坐标，dx、dy为每个像素点在图像坐标系x轴、y轴方向的尺寸。

4.根据权利要求2所述的基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，在步骤1.4中，畸变矫正的方法为：其中，(xp,yp)是图像的原坐标，(xtcorr,yrcorr)是图像修正后的坐标，r为变量。

5.根据权利要求3所述的基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，所述立体校正的实现方法为：步骤2.1：将双目摄像机右摄像头相对左摄像头的旋转矩阵R划分为左摄像头的合成旋转矩阵r1和右摄像头的合成旋转矩阵r2，左摄像头和右摄像头各旋转一半，使得左摄像头和右摄像头的光轴平行，实现左摄像头和右摄像头的成像面共面；

步骤2.2：将左摄像头的合成旋转矩阵r1、右摄像头的合成旋转矩阵r2、原始的左摄像头和右摄像头内参矩阵、平移向量t以及棋盘图像的大小输入OpenCV中，通过cvStereoRectify函数输出左摄像头的行对准校正旋转矩阵R1、右摄像头行对准校正旋转矩阵R2、校正后的左摄像头的内参矩阵Ml、校正后的右摄像头的内参矩阵Mr、校正后的左摄像头投影矩阵Pl、校正后的右摄像头投影矩阵Pr以及重投影矩阵Q；

步骤2.3：将步骤2.2中cvStereoRectify函数的输出结果作为已知常量，通过左右视图的校正查找映射表，采用逆向映射，对目标图像上的每一个整形的像素位置，查找出其对应源图像上的浮点位置，并对周围源像素的每个整形值进行插值，在校正图像都被赋值之后，对图像进行裁剪，保存校正结果。

6.根据权利要求1所述的基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，所述匹配代价的计算方法为：其中，e(xR,y,d)表示像素灰度值差值的绝对值，IR(xR,y)表示候选图像像素点(xR‑0.5,y)与(xR+0.5,y)之间亚像素位置的灰度值， 表示匹配图像像素点(x+d‑0.5,y)与(x+d+0.5,y)之间亚像素位置的灰度值，IT(xR+d,y)表示候选图像像素点(xR+d‑0.5,y)与(xR+d+0.5,y)之间亚像素位置的灰度值， 表示匹配图像像素点(x‑0.5,y)与(x+0.5,y)之间亚像素位置的灰度值，xR表示候选图像像素的横坐标，y表示图像像素的纵坐标，d表示视差，x表示匹配图像像素的横坐标。

7.根据权利要求1所述的基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，所述各像素在预设视差范围内的多路径代价聚合值的计算方法为：计算像素p沿着路径r的路径代价：

其中，p代表像素，r代表路径，d代表视差，p‑r代表像素p路径内的像素，L表示某一路径聚合代价值；Lr(p‑r,d)表示路径内上一个像素视差为d时的代价值，Lr(p‑r,d‑1)表示路径内上一个像素视差为d‑1时的代价值，Lr(p‑r,d+1)表示路径内上一个像素视差为d+1时的代价值，miniLr(p‑r,i)表示路径内上一个像素所有代价值的最小值；C(p,d)表示初始代价值；

由像素p沿着路径r的路径代价可得到总路径代价值S：

S(p,d)＝∑rLr(p,d)。

8.根据权利要求1所述的基于目标检测及双目视觉的管道缺陷识别与定位方法，其特征在于，所述深度计算的计算方法为：其中，f为透镜焦距，b为基线长度，d为视差，cxr为右摄像头的主点的列坐标，cxl为左摄像头的主点的列坐标。