一种多通道视觉信息融合的FOD检测方法及系统

计算;推算;计数设备的制造及其应用技术一种多通道视觉信息融合的fod检测方法及系统技术领域1.本公开涉及异物检测相关技术领域，具体的说，是涉及一种多通道视觉信息融合的fod检测方法及系统。背景技术：2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。3.机场跑道异物(foreign object debris)是指可能损伤飞机的外来物质，如螺丝螺母、金属碎片、石子、塑料碎屑等，在飞机起飞和降落过程中具有巨大的安全隐患。fod不仅威胁到旅客的生命安全，也会对航空公司和机场造成巨大的经济损失，fod隐患是当下亟需解决的问题。4.目前，全球大多数机场的fod检测方法仍然是人工目视检测，这种方法易导致人员疲劳，不仅效率低，而且可靠性差。国外对fod检测的研究起步较早，已经出现了四款典型的fod检测系统：tarsier系统、fod detect系统、fodfinder系统以及iferret系统。前三者采用地面毫米波雷达对跑道异物进行检测和定位，毫米波雷达系统成本较高，而且对异物尺寸要求较高；iferret系统由高清摄像头和数据处理系统组成，该系统依赖摄像头进行数据采集，在恶劣天气下性能较差。可见，目前的检测方法检测成本高，受异物以及检测环境的限制，检测效果低。技术实现要素：5.本公开为了解决上述问题，提出了一种多通道视觉信息融合的fod检测方法及系统，通过多通道融合，融合后的图像同时具有三个通道特征，异物边缘更加明显，克服了人眼目视检测的困难，提高了检测效率和可靠性。6.为了实现上述目的，本公开采用如下技术方案：7.一个或多个实施例提供了一种多通道视觉信息融合的fod检测方法，包括如下步骤：8.获取待检测图像，所述待检测图像包括灰度图像、激光散射亮度图像和深度图像；9.对激光散射亮度图像进行异物边缘提取，得到处理后的激光散射亮度图像；10.对深度图像进行边缘提取处理，得到深度图像的边缘图；11.将灰度图像、处理后的激光散射亮度图像和深度图像的边缘图分别作为三种颜色通道融合，得到多通道融合的异物图像；12.针对多通道融合的异物图像进行异物检测，得到异物的种类和位置。13.一个或多个实施例提供了一种多通道视觉信息融合的fod检测系统，包括：14.获取模块：被配置为用于获取待检测图像，所述待检测图像包括灰度图像、激光散射亮度图像和深度图像；15.激光散射亮度图像处理模块：被配置为用于对激光散射亮度图像进行异物边缘提取，得到处理后的激光散射亮度图像；16.深度图像处理模块：被配置为用于对深度图像进行边缘提取处理，得到深度图像的边缘图；17.融合模块：被配置为用于将灰度图像、处理后的激光散射亮度图像和深度图像的边缘图分别作为三种颜色通道融合，得到多通道融合的异物图像；18.检测模块：被配置为用于针对多通道融合的异物图像进行异物检测，得到异物的种类和位置。19.一个或多个实施例提供了一种多通道视觉信息融合的fod检测系统，包括：图像采集装置以及处理器；20.所述图像采集装置为车载线扫描结构光相机，用于采集待检测图像；21.处理器被配置为执行上述的一种多通道视觉信息融合的fod检测方法。22.一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。23.与现有技术相比，本公开的有益效果为：24.本通过采集多种类型图像，融合后的图像同时具有三个通道特征，异物边缘更加明显，克服了人眼目视检测的困难，提高了检测效率和可靠性；并且摆脱了摄像头对自然光照的依赖，能够在黑夜环境下使用，能够有效地检测跑道异物。25.本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。附图说明26.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。27.图1是本公开实施例1的检测方法流程图；28.图2是本公开实施例1的车载线扫描结构光相机采集的灰度图示例；29.图3是本公开实施例1的示例激光散射亮度图像处理示意图；30.图4是本公开实施例1的示例激光散射亮度图像处理的laplacian算子；31.图5(a)是本公开实施例1的深度图像处理方法流程图；32.图5(b)是本公开实施例1的示例深度图像处理示意图；33.图6是本公开实施例1的深度图像处理的x方向sobel边缘检测算子；34.图7是本公开实施例1的深度图像处理的y方向sobel边缘检测算子；35.图8是本公开实施例1的示例待检测图像三通道融合后的图像；36.图9(a)是本公开实施例1的异物为钳子的检测结果图；37.图9(b)是本公开实施例1的异物为螺丝的检测结果图；38.图9(c)是本公开实施例1的异物为石头的检测结果图；39.图9(d)是本公开实施例1的异物为草木的检测结果图；40.图9(e)是本公开实施例1的异物为塑料制品的检测结果图。具体实施方式41.下面结合附图与实施例对本公开作进一步说明。42.应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。43.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。44.实施例145.在一个或多个实施方式公开的技术方案中，如图1-图9所示，一种多通道视觉信息融合的fod检测方法，包括如下步骤：46.步骤1、获取待检测图像，所述待检测图像包括灰度图像、激光散射亮度图像和深度图像；47.步骤2、对激光散射亮度图像进行异物边缘提取，得到处理后的激光散射亮度图像；48.步骤3、对深度图像进行边缘提取处理，得到深度图像的边缘图；49.步骤4、将灰度图像、处理后的激光散射亮度图像和深度图像的边缘图分别作为三种颜色通道融合，得到多通道融合的异物图像；50.步骤5、针对多通道融合的异物图像进行异物检测，得到异物的种类和位置。51.本实施例采集多种类型图像，融合后的图像同时具有三个通道特征，异物边缘更加明显，克服了人眼目视检测的困难，提高了检测效率和可靠性；并且摆脱了摄像头对自然光照的依赖，能够在黑夜环境下使用，能够有效地检测跑道异物。52.步骤1中，可以采用车载线扫描结构光相机进行图像采集，同时得到待检测图像。53.可选的，可以设置在巡检车上，设置与车辆的尾部。54.当巡检车移动实时获取跑道的待检测图像，扫描结构光相机设置有三个拍摄通道，能够同时获取到的灰度信息dc0(data channel0)即为灰度图像，激光散射亮度信息dc1(data channel1)即为激光散射亮度图像，深度信息dc2(data channel2)即为深度图像。55.步骤2中、对激光散射亮度图像进行异物边缘提取，得到处理后的激光散射亮度图像，可选的，可以采用拉普拉斯算子(laplacian算子)提取异物边缘。56.可选的，如图3所示，采用拉普拉斯算子(laplacian算子)提取异物边缘的方法，具体为：将激光散射亮度图像与设定大小的拉普拉斯算子进行卷积操作。57.具体的，本实施例中拉普拉斯算子可以设置为3*3大小，具体的算子如图4所示。58.本实施例中，对激光散射亮度图像进行异物边缘的提取，不需要分别检测x方向和y方向的边缘，只需要一次边缘检测就能够得到符合要求的图像，大大提高了检测效率。59.深度图像包含异物的高度特征，步骤3中，对深度图像进行处理，对深度图像进行边缘提取处理，得到深度图像的边缘图，可选的，可以采用sobel算子求取深度图像的边缘，如图5所示，具体的步骤如下：60.步骤31，提取x方向的边缘，将原始图像与x方向sobel边缘检测算子(如图6所示)进行卷积操作来提取x方向的边缘。61.步骤32，提取y方向的边缘，将原始图像与y方向sobel边缘检测算子(如图7所示)进行卷积操作来提取y方向的边缘。62.步骤33，对x方向和y方向的边缘信息整合得到整幅图像的边缘，得到深度图像的边缘图。63.对x方向和y方向的边缘信息整合得到整幅图像的边缘的方法，具体为：通过对步骤1和步骤2获得的两张图像对应像素的像素值的绝对值进行求和来得到整幅图像的边缘信息。64.本实施例中，首先提取x方向和y方向的边缘，然后综合两个方向的边缘信息得到整幅图像的边缘，能够得到深度图像中深度发生变化的位置，即增强了深度图像中异物的轮廓边缘，达到了将异物从路面分离出来的目的。65.步骤4中，将灰度图像、处理后的激光散射亮度图像和深度图像的边缘图分别作为三种颜色通道融合，得到多通道融合的异物图像。66.可选的，三种颜色通道分别为g(绿色)通道、b(蓝色)通道、r(红色)通道。具体的，将灰度图像作为g(绿色)通道，处理后的激光散射亮度图像作为b(蓝色)通道，深度图像的边缘图作为r(红色)通道，进行图像融合形成伪彩色图像。融合后的图像同时具有三个通道特征，异物边缘更加明显，如图8所示，实际图像为有颜色图像，这里改成了灰度图。67.本实施例中通过融合得到三通道融合后的图像，最后用检测算法对融合后的图像进行检测得到检测结果，一定程度上提高了检测的效率和可靠性。68.步骤5中，在获取多通道融合的异物图像后，采用改进后的yolov5(you only look once)算法进行跑道异物实时检测。改进后的yolov5具体为在骨干网络(backbone网络)的输出端连接设置了注意力机制模块cbam。利用训练好的yolov5网络，将多通道融合的异物图像输入训练好的yolov5网络后，得到异物的位置和种类。69.采用yolov5网络进行训练，提取图像特征，生成一个最佳的检测模型，实现跑道异物实时检测，对yolov5网络进行训练的具体方法如下：70.步骤51、对构建的训练集的图像进行预处理。71.具体的，在输入端对图像进行mosaic数据增强、自适应锚框计算、自适应图片缩放等预处理操作。72.步骤52、对预处理后的图像进行特征提取。73.可选的，在backbone中融入注意力机制cbam，可以在backbone中使用conv、c3、cbam、sppf进行图像特征提取。74.其中，backbone为骨干网络，conv为卷积、批量归一化、激活函数的组合，c3为包含了3个标准卷积层以及多个bottleneck模块的网络结构；bottleneck为瓶颈结构；cbam为convolutional block attention module，是一种新的卷积注意力模块；sppf为快速空间金字塔池化。75.步骤53，将提取的特征进行特征融合：将高层特征通过上采样和低层特征做融合，将低层特征通过下采样和高层特征做融合，使不同尺寸特征图都包含强语义信息和强位置信息。76.可选的，可以在yolov5网络的neck中使用fpn+pan对backbone网络提取的特征进行融合。77.高层的特征包含更强的语义信息，较弱的位置信息，而低层的特征包含较强的位置信息和较弱的语义信息，fpn把高层的语义信息传到低层，增强多个尺度上的语义表达，pan把低层的位置信息传到高层，增强多个尺度上的定位能力。fpn将高层特征通过上采样和低层特征做融合，pan将低层特征通过下采样和高层特征做融合，使不同尺寸特征图都包含强语义信息和强位置信息。78.fpn结构通过自顶向下进行上采样，使得底层特征图包含异物强语义信息；pan结构自底向上进行下采样，使顶层特征包含异物的强位置信息，两个特征最后进行融合，使不同尺寸的特征图都包含强异物语义信息和强位置信息，提升网络检测能力。79.其中fpn特征金字塔网络(featurepyramidnetwork)，pan路径聚合网络(pathaggregationnetwork)，neck为颈部网络。80.步骤54，将融合处理后的特征作为yolov5网络的输入，跑道异物的种类和位置作为输出进行训练，达到设定的训练次数，得到训练后的yolov5模型81.设定的训练次数如可以根据需要设置，可以设置100轮训练。82.获取待识别的多通道融合的异物图像，输入训练后的yolov5模型中进行检测，得到跑道异物的种类和位置并标记。83.异物的种类可以包括工具、杂物、零部件等，其中工具可以为飞机的检修工具如钳子、扳手等。杂物可以为石头、草木等，零部件如车辆上或飞机上的零部件，如螺栓、螺母等。84.为说明检测的效果，拍摄异物图像进行了检测，输出的识别结果如图9所示，各种种类的异物包括钳子、螺丝、石头、草木、塑料制品，都能达到较好的识别效果，并且不受光线的限制，提高了异物识别的可靠性和效率。85.实施例286.基于实施例1，本实施例提供一种多通道视觉信息融合的fod检测系统，包括：87.获取模块：被配置为用于获取待检测图像，所述待检测图像包括灰度图像、激光散射亮度图像和深度图像；88.激光散射亮度图像处理模块：被配置为用于对激光散射亮度图像进行异物边缘提取，得到处理后的激光散射亮度图像；89.深度图像处理模块：被配置为用于对深度图像进行边缘提取处理，得到深度图像的边缘图；90.融合模块：被配置为用于将灰度图像、处理后的激光散射亮度图像和深度图像的边缘图分别作为三种颜色通道融合，得到多通道融合的异物图像；91.检测模块：被配置为用于针对多通道融合的异物图像进行异物检测，得到异物的种类和位置。92.此处需要说明的是，本实施例中的各个模块与实施例1中的各个步骤一一对应，其具体实施过程相同，此处不再累述。93.实施例394.基于实施例1，本实施例提供一种多通道视觉信息融合的fod检测系统，包括：图像采集装置以及处理器；95.所述图像采集装置为车载线扫描结构光相机，用于采集待检测图像；96.处理器被配置为执行实施例1所述的一种多通道视觉信息融合的fod检测方法。97.实施例498.本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1的方法所述的步骤。99.以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。100.上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!