一种夜间机场净空域红外小目标的检测方法、系统及应用 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明属于图像识别技术领域，尤其涉及一种夜间机场净空域红外小目标的检测方法、系统及应用。背景技术：2.红外图像小目标检测在目标预警、地面监测和飞行引导中起着重要作用。针对可见光的目标检测技术，现有方法取得良好的检测性能。但夜间拍摄红外影像和可见光影像差异巨大，由于红外拍摄距离远、影像对比度低、纹理特征弱、目标占比小的特点，使得红外小目标检测难度加剧。为了提供更全面的保障，实现重要场所的24小时监管，夜间红外图像的小目标检测的研究尤为重要。3.针对红外小目标检测，一般可分为连续帧视频目标检测和单帧图像目标检测。连续帧视频目标检测主要利用目标在视频中连续帧之间的相应关系进行研究；单帧图像目标检测，直接根据目标在图像中的独有信息，将其检测并识别。其中，视频检测利用目标的形态和轨迹连续性等先验信息与时空域信息实现目标检测，而快速运动的无人机目标在红外图像中相对背景变化迅速，其轨迹连续性难以保障，导致连续帧方法应用困难。相比之下，单帧图像目标检测方法只需计算单个图像中的目标信息，计算复杂度明显低于视频目标检测，且易于硬件实现，使其在红外目标检测中应用广泛，大致可分为基于模型驱动和基于深度学习的单帧红外目标检测方法。4.基于模型驱动的红外单帧图像目标检测方法一般是将目标点建模，从高度相关的背景像素中将红外图像中的小目标视为异常点，并标记为目标。基于模型驱动方法存在的共同不足之处在于，当背景为建筑物、树木、车辆等混杂背景时，检测性能受限，且很难满足实时检测的需求。随着计算机视觉的发展，基于深度学习方法的红外图像目标检测方法越来越多。基于深度学习的红外图像目标检测方法满足实时检测的需求，同时根据机器视觉技术的不断改进，检测性能也不断提升。5.通过上述分析，现有技术存在的问题及缺陷为：（1）现有技术中，对夜间机场净空域红外小目标的检测速度慢，准确率低。6.（2）现有技术中多种不同环境的应用与部署实用性差。7.（3）现有技术中，不能有效增强图像中小目标信息的占比，不能后续特征提取及目标检测提供有效支撑。8.（4）现有技术中，不能有效融合三个不同通道得到的特征图，目标的信息含量少。不能为后续目标的检测提供有效支撑。技术实现要素：9.为克服相关技术中存在的问题，本发明公开实施例提供了一种夜间机场净空域红外小目标的检测方法、系统及应用。10.所述技术方案如下：夜间机场净空域红外小目标的检测方法包括以下步骤：s1，设定异构并行网络模型的初始参数，将红外小目标数据库中的训练集图像输入设定参数后的异构并行网络模型进行训练，得到深度学习的红外小目标检测模型；s2，将待检测的红外小目标图像输入到红外小目标检测模型，异构并行主干网红外小目标图像进行特征提取，并拼接三个不同通道的特征图，所述三个不同通道包括：相似度目标增强模块(similarity object enhancement，soe)通道、一般特征提取结构通道以及基于无参简单的注意力机制(a simple attention module，simam)的主干网结构通道；s3，经过像素聚合网络对得到的部分多层特征图进行特征拼接，继而得到多层包含不同尺寸目标信息的可预测目标的特征图；s4，通过预测结构判别目标的类别和位置，获得每个红外小目标的置信度，并生成每个目标对应的目标预测框，预测获取目标类型及位置信息；s5：使用非极大值抑制方法，将得到的多个目标预测框中由iou（intersection-over-union）公式计算得到得分低的目标框删除，得到目标框，并将目标的类别及位置信息保存并显示。11.在一个实施例中，步骤s1中，所述异构并行网络模型基于基础的focus模块、c3模块和spp模块搭建vgg形式的异构并行主干网，结合像素聚合网络生成多层融合后的特征图，并根据预测网络预测目标的类别和位置；根据l1损失函数将回归到原图的位置信息进行修正，得到目标最终的分类及精确位置信息；目标预测框损失函数计算公式如式（1）所示：（1）式中表示将某一目标位置映射到原图后回归正确的概率，为影响范围因子，使用l1损失函数来计算损失函数，使得损失值对离群点、异常值不敏感，梯度变化相对更小，训练阶段模型不易偏离最优模型，得到偏差较小的多个目标边界框；其中，异构并行网络模型的初始参数包括：网络层数、各层神经元的权值及偏置值。12.在一个实施例中，步骤s2中，异构并行网络模型的异构并行主干网络以相似度目标增强模块通道得到的特征图和一般特征提取结构、基于无参简单的注意力机制的主干网结构获得的特征图进行拼接操作，增强卷积操作过程中特征图目标信息的占比和重要程度。13.在一个实施例中，步骤s5中，由iou公式计算目标框的得分，定义为两个框的交叉和联合之间的比率；iou的计算方式如下公式（2）所示：（2）其中，a，b分别表示两个框，表示两个框的并集区域，表示两个框的交集区域。14.在一个实施例中，所述相似度目标增强模块首先将特征图h×w划分成个2×2的小块，并以其中一个小块为中心往外延申至4×4的大块，同样得到个大块，并计算每一个小块与对应大块之间的wasserstein距离；其wasserstein距离计算方式如公式（3）所示：（3）近似的将两个矩形块之间的距离定义为：（4）并简化为：（5）其中和分别是和区域中特征点的均值和方差，wasserstein距离用来衡量两个分布之间的距离，将这个距离作为两个分布的相似度，计算中心块与周围域的距离为计算中心块与周围域的相似度；值越大，表示小块与大块之间的相似度越高，小块是背景的概率越大，值越小，表示小块与大块之间的相似性越低，小块是目标的可能性越大；逐个块计算，最终得到一个的相似度矩阵w_soe（wasserstein-soe）；输入到相似度目标增强模块的特征图为，按照2×2的小块划分，并获得以每个2×2小块为中心向外辐射的一一对应的4×4的大块，根据公式（5）以2×2小块为单位，按照步长为1滑动，计算得到的相似度矩阵w_soe。15.在一个实施例中，增强卷积操作过程中特征图目标信息的占比和重要程度进一步包括：输入尺寸为h×w×c的特征图f经过取设定小块的，组成相似度矩阵w_soe，接着，取w_soe＇=1/w_soe，称之为wasserstein相似度，得到一个与目标成正相关的相似度矩阵w_soe＇，wasserstein相似度矩阵；在通过激活函数得到的相似度矩阵w＇基础上，使用sigmoid函数归一化并激活得到矩阵w，结合原输入特征图，使得特征图目标的特征值基本不变，获得包含目标信息权重的新的特征图f＇，增强特征图中目标信息。16.在一个实施例中，所述异构并行网络模型中的特征融合阶段，采用像素聚合网络结构进行自顶向下和自下向上的特征融合，融合来自不同深度的多层特征图，并进一步得到多层不同尺寸的特征图；不同深度的特征图分别对应不同大小的目标，每一个特征图对特定尺寸的目标做出响应。17.在一个实施例中，异构并行网络模型在预测结构对特征图进行逐像素预测，获得潜在的目标，并对目标进行分类，获得目标的类别信息；以及通过回归策略，将特征图上对应的目标位置信息反向传播至原始图像，获得目标原图的位置，得到目标的类别和大致位置信息，最终经过步骤s5中非极大值抑制方法，删除非最佳目标框，得到最终的精确目标框位置，并将位置信息及分类信息保存并显示。18.本发明的另一目的在于提供一种实现所述夜间机场净空域红外小目标的检测方法的系统，该夜间机场净空域红外小目标的检测系统包括：深度学习的红外小目标检测模型获取模块，用于设定异构并行网络模型的初始参数，将红外小目标数据库中的训练集图像输入设定参数后的异构并行网络模型进行训练，得到深度学习的红外小目标检测模型；不同通道特征图拼接模块，将待检测的红外小目标图像输入到红外小目标检测模型，异构并行主干网红外小目标图像进行特征提取，并拼接来自三个不同通道的特征图；可预测目标的特征图得到模块，经过像素聚合网络对得到的部分多层特征图进行特征拼接，继而得到多层包含不同尺寸目标信息的可预测目标的特征图；目标类型及位置信息获取模块，通过预测结构判别目标的类别和位置，获得每个红外小目标的置信度，并生成每个目标对应的目标框，预测获取目标类型及位置信息；目标框获取模块，使用非极大值抑制方法，将得到的多个目标预测框中非最优的目标框删除，得到目标框，并将目标的类别及位置信息保存并显示。19.本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的夜间机场净空域红外小目标的检测方法。20.本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的夜间机场净空域红外小目标的检测方法。21.结合上述的所有技术方案，本发明所具备的优点及积极效果为：第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：本发明首先设定夜间机场净空域红外小目标的检测方法的异构并行网络模型的初始参数，将红外小目标数据库中的训练集图像输入设定的夜间机场净空域红外小目标的检测方法的异构并行网络模型进行训练，得到基于深度学习的红外小目标检测模型；将待检测的红外小目标图像输入到训练好的红外小目标检测模型，经过异构并行主干网的红外小目标图像进行特征提取，并通过像素聚合网络对上述特征图进行融合，进一步得到多层包含目标信息的特征图；接着通过预测结构处理包含目标信息的特征图，分别获得目标的类别和位置信息，并生成每个目标对应的目标框，从而在图像中直接显示预测目标的类型及位置信息。本发明对红外小目标均具有很好的自适应性及检测性能，检测率高达80.0%；检测速率快，检测速率为31.2帧每秒，模型体积小，仅为30.5m，易于部署在硬件设备；模型操作简单，易训练。22.第二、把技术方案看作一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：本发明以基于模型驱动的方法和基于深度学习方法相结合的形式，本发明首先以基于模型驱动原理出发，提出soe模型，以增大目标与背景之间的差距，使在卷积操作过程中，有目的性的获取更多的潜在目标的信息，并将此模型模块化，使其可在神经网络中灵活使用。另外，基于卷积神经网络原理，构建异构并行主干网结构，以本发明相似度目标增强模块得到的特征图和一般特征提取结构、基于simam的主干网结构获得的特征图进行拼接操作，增加卷积操作过程中特征图目标信息的占比，在红外小目标数据集的大量实验验证了本发明方法的有效性。23.相比于现有技术本发明的优点进一步包括：本发明的整体模型对红外目标检测有很好的性能。本发明提出夜间机场净空域红外小目标的检测方法，该模型检测速度快，准确率高，对256pixel×256pixel的输入图像，可实现每秒31.2帧的检测速度，可达到80.0%的精准率，完全可实现重要场所的实时检测，实时监视场所的动态及保障场所的安全。24.本发明的整体模型适用于多种不同环境的应用与部署。本发明提出夜间机场净空域红外小目标的检测方法，使用的数据集包含来自不同视角、不同场景及不同远近的红外小目标，因此对不同环境下的红外目标有较好的适应能力，较好的扩大了本发明的应用范围。25.本发明中提出的soe模块，有效增强图像中小目标信息的占比，为后续特征提取及目标检测提供有效支撑。soe模块通过特征图中局部特征块的均值和方差的关系，在每个通道中，有效突出小目标在特征图中的信息，使得在后续的特征提取和特征融合过程中，有目的性和倾向性的多学习小目标的信息，为后续红外小目标的检测提供有效的技术支撑。且该模块灵活性强，可根据研究者需求，应用于网络的任意阶段。26.本发明的异构并行主干网结构，有效融合三个不同通道得到的特征图，提高目标的信息含量。本发明的异构并行主干网结构，由三个不同的卷积通道组成，分别是普通卷积网络通道，基于simam的卷积网络通道和基于本发明提出的基于soe模块的卷积网络通道，并将三个通道得到的特征图进行拼接操作，以实现融合来自三个不同通道的特征图，有效增强特征图中目标信息的占比，为后续目标的检测提供有效支撑。附图说明27.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。28.图1是本发明实施例提供的夜间机场净空域红外小目标的检测方法流程图；图2是本发明实施例提供的夜间机场净空域红外小目标的检测方法原理图；图3是本发明实施例提供的夜间机场净空域红外小目标的检测系统示意图；图4是本发明实施例提供的相似度目标增强模块原理框架结构示意图；图5（a）是本发明实施例提供的soe模块处理前后对比中原图像；图5（b）是本发明实施例提供的soe模块处理前后对比中输入特征图；图5（c）是本发明实施例提供的soe模块处理前后对比中相似度增强模块处理后的特征图；图6是本发明实施例提供的为异构并行主干结构图，上层的一般卷积通道对输入特征图进行常规卷积操作，中层的simam通道为无参数的注意力卷积通道，而下层是包含本发明soe模块的卷积通道图；图7是本发明实施例提供的pan特征融合结构图；图8是本发明实施例提供的为本发明的数据集实例图；图9是本发明实施例提供的接受者操作特性（receiver operating characteristic，roc）曲线对比图，其中，a，b，c，d分别代表不同的主干网结构，e为本发明的主干网结构，其他参数相同；图10（a）是本发明实施例提供的改进前后红外小目标检测结果中8幅待检测红外小目标原图像；图10（b）是本发明实施例提供的改进前后红外小目标检测结果中本发明夜间机场净空域红外小目标的检测方法的检测结果图；图中：1、深度学习的红外小目标检测模型获取模块；2、不同通道特征图拼接模块；3、可预测目标的特征图得到模块；4、目标类型及位置信息获取模块；5、目标框获取模块。具体实施方式29.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。30.本发明涉及重要场所下视频及图像处理中红外小目标检测的技术领域，尤其涉及一种夜间机场净空域红外小目标的检测方法、系统及应用，对红图像中的小目标进行检测和定位。31.一、解释说明实施例：实施例1如图1所示，本发明实施例提供的夜间机场净空域红外小目标的检测方法包括以下步骤：s101：设定夜间机场净空域红外小目标的检测方法的异构并行网络模型的初始参数，将红外小目标数据库中的训练集图像输入设定参数后的夜间机场净空域红外小目标的检测方法的异构并行网络模型进行训练，得到深度学习的红外小目标检测模型；s102：将待检测的红外小目标图像输入到步骤s101训练好的红外小目标检测模型，异构并行主干网红外小目标图像进行特征提取，并拼接来自本发明提出的相似度目标增强(similarity object enhancement，soe)模块通道和一般特征提取结构通道、基于无参简单的注意力机制(a simple attention module，simam)的主干网结构通道三个不同通道的特征图；s103：经过像素聚合网络（pixel aggregation network，pan）对步骤s102中得到的部分多层特征图进行特征拼接，继而得到多层包含不同尺寸目标信息的可预测目标的特征图；s104：接着通过预测结构判别目标的类别和位置，从而获得每个红外小目标的置信度，并生成每个目标对应的目标预测框，从而直接预测获取目标类型及位置信息；s105：使用非极大值抑制（non-maximum suppression，nms）方法，将步骤s104得到的多个目标预测框中非最优的目标框删除，得到最佳的目标框，并将目标的类别及位置信息保存并显示。32.其中，将步骤s104得到的多个目标预测框中非最优的目标框删除，得到最佳的目标框为：将得到的多个目标预测框中由iou（intersection-over-union）公式计算得到得分低的目标框删除，得到目标框。33.实施例2基于实施例1提供的夜间机场净空域红外小目标的检测方法，进一步地，步骤s101中，所述异构并行网络模型基于基础的focus、c3和spp等基础结构搭建vgg形式的异构并行主干网，并结合像素聚合网络，生成多层融合后的特征图，并根据预测网络预测目标的类别和位置，继而根据l1损失函数将回归到原图的位置信息进行修正，从而得到目标最终的分类及精确位置信息。夜间机场净空域红外小目标的检测方法的异构并行网络模型的初始参数包括网络层数、各层神经元的权值及偏置值；夜间机场净空域红外小目标的检测方法的异构并行网络模型的最初学习率为0.001、在初始迭代过程中采用warmup策略，避免模型的振荡，使得模型收敛速度变得更快，模型效果更佳；在第800-1000个epoch中以0.1倍的速率衰减，最大训练epoch为1200。34.在本发明实施例中，得到的目标预测框经过l1损失函数将回归到原图的位置信息进行修正，目标预测框损失函数计算公式如式（1）所示：（1）式中表示将某一目标位置映射到原图后回归正确的概率，为影响范围因子，使用l1损失函数来计算损失函数，使得损失值对离群点、异常值不敏感，梯度变化相对更小，训练阶段模型不易偏离最优模型，得到偏差较小的多个目标边界框。35.实施例3基于实施例1提供的夜间机场净空域红外小目标的检测方法，进一步地，步骤s102中，所述异构并行网络模型的异构并行主干网络，该异构并行主干网，以本发明提出的相似度目标增强模块（similarity object enhancement，soe）通道得到的特征图和一般特征提取结构、基于无参简单的注意力机制（a simple attention module，simam）的主干网结构获得的特征图进行拼接操作，增加卷积操作过程中特征图目标信息的占比和重要程度。36.实施例4基于实施例1提供的夜间机场净空域红外小目标的检测方法，进一步地，步骤s102中，异构并行主干网络中的相似度目标增强模块通道，该通道由本发明提出的基于模型驱动的相似度目标增强模块结合卷积、池化等操作构建的相似度目标增强模块通道，通过相似度目标增强模块可使得网络在特征提取过程中有倾向性的获得更多的目标信息，为后续的目标预测提供包含更多目标信息的特征图。37.实施例5基于实施例4提供的夜间机场净空域红外小目标的检测方法，进一步地，所述的相似度目标增强模块，通过相似度对比的方式，增强目标与背景之间的对比度，并将它作为一个插件模块插入到网络中；本发明根据特征图中局部特征块的均值和方差之间的关系，结合wasserstein距离原理，构建了基于模型驱动的soe模块。每一个局部特征块的均值和方差得到一个wasserstein值，整个特征图被分割成多个特征块，并得到一一对应的wasserstein距离矩阵，并转换成为与红外目标正相关的wasserstein相似度矩阵，继而通过sigmoid函数激活该矩阵，并与输入特征图结合得到新的特征图，而该特征图中的目标信息已经通过相似度目标增强模块被凸显。该模块可以任意添加在卷积神经网络内部，实现增强目标特征信息的作用。38.实施例6基于实施例1提供的夜间机场净空域红外小目标的检测方法，进一步地，步骤s103中，异构并行网络模型中的特征融合阶段，采用pan结构完成自顶向下和自下向上的特征融合，融合来自不同深度的多层特征图，并进一步得到多层不同尺寸的特征图。不同深度的特征图分别对应不同大小的目标，每一个特征图对特定尺寸的目标做出响应，另外，一个对象可能通过多个特征图被同时检测到。39.实施例7基于实施例1提供的夜间机场净空域红外小目标的检测方法，进一步地，步骤s104中，异构并行网络模型预测阶段，在预测结构部分，首先对特征图进行逐像素预测，获得潜在的目标，并对目标进行分类，获得目标的类别信息。另外通过回归策略，将特征图上对应的目标位置信息反向传播至原始图像，即获得目标原图的位置，继而得到目标的类别和大致位置信息，最终经过步骤s105中nms算法，删除非最佳目标框，得到最终的精确目标框位置，并将位置信息及分类信息保存并显示。40.本发明实施例中，nms方式通过比较多个框的得分，以删除得分低的框，iou公式计算目标框的得分，iou的计算方式如下公式（2）所示：（2）其中，a，b分别表示两个框，表示两个框的并集区域，表示两个框的交集区域。41.其中，红外小目标数据库来源于多个不同场景下的飞行无人机视频序列，通过手工标记制作为机场小目标识别模型可使用的数据集。42.实施例8如图2所示，本发明实施例提供的夜间机场净空域红外小目标的检测方法含有红外小目标的图像输入相似度目标增强的异构并行网络架构训练得到改进后的相似度目标增强的异构并行网络红外小目标检测神经网络模型。相似度目标增强的异构并行网络红外小目标检测神经网络模型，该网络的异构并行网络结构直接对输入图像进行多级特征提取并拼接融合特征，通过pan结构融合多层特征图的信息而获得多层融合特征图；并通过预测结构基于此多层特征图直接分类，并同时进行目标框的回归，生成多个可能是目标的预测目标框，然后采用nms方法来产生最终的检测结果，并显示目标类、对应目标概率及目标框。具体地，其步骤如下：步骤一：设定夜间机场净空域红外小目标的检测方法的异构并行网络模型的初始参数，将红外小目标数据库中的红外小目标图像输入设定的夜间机场净空域红外小目标的检测方法的异构并行网络模型进行训练，得到夜间机场净空域红外小目标的检测方法的检测模型；所述夜间机场净空域红外小目标的检测方法的异构并行网络模型是基于基础的focus、c3和spp等基础结构搭建vgg形式的异构并行主干网，并结合pan结构，生成多层融合后的特征图，进一步根据预测网络生成多个可能是目标的预测目标框，然后采用nms方法来产生最终的检测结果，从而得到目标最终的分类及精确位置信息。夜间机场净空域红外小目标的检测方法的异构并行网络模型的初始参数包括网络层数、各层神经元的权值及偏置值；夜间机场净空域红外小目标的检测方法的异构并行网络模型的最初学习率为0.001、在初始迭代过程中采用warmup策略，避免模型的振荡，使得模型收敛速度变得更快，模型效果更佳；在第800-1000个epoch中以0.1倍的速率衰减，最大训练epoch为1200。43.步骤二：将待检测的红外小目标图像输入到步骤一训练好的红外小目标检测模型，整个网络结构内部由异构并行主干网结构，pan特征融合结构和检测结构组成。输入原图通过异构并行网络提取特征图，并通过pan特征融合结构融合得到多层特征图，接着通过检测结构实现对特征图中目标的分类、回归，得到最终的结果图像。44.所述夜间机场净空域红外小目标的检测方法的异构并行网络模型的异构并行主干网络，其中异构并行主干网是由三个不同通道构成，以本发明提出的soe通道得到的特征图和一般特征提取结构、基于simam通道的主干网结构获得的特征图进行拼接操作，增加卷积操作过程中特征图目标信息的占比和重要程度。45.所述soe通道，是将相似度目标增强模块soe应用结合于深度学习策略，构建的基于模型驱动和深度学习的混合网络结构，其中相似度目标增强模块soe根据特征图中局部特征块的均值和方差之间的关系，结合wasserstein距离原理，建模得到。每一个局部特征块的均值和方差得到一个wasserstein值，整个特征图被分割成多个特征块，并得到与输入特征图一一对应的wasserstein距离矩阵，并转换成为与红外目标正相关的相似度矩阵，继而通过sigmoid函数激活该矩阵，并与输入特征图结合得到新的特征图，而该特征图中的目标信息已经通过相似度目标增强模块被凸显。该模块可以任意添加在卷积神经网络内部，实现增强目标特征信息的作用。46.相似度目标增强模块soe首先将特征图h×w划分成个2×2的小块，并以其中一个小块为中心往外延申至4×4的大块，同样得到个大块，并计算每一个小块与对应大块之间的wasserstein距离。其wasserstein距离计算方式如公式（3）所示：（3）近似的将两个矩形块之间的距离定义为：（4）并简化为：（5）其中和分别是和区域中特征点的均值和方差，wasserstein距离用来衡量两个分布之间的距离，本发明将这个距离作为两个分布的相似度，本发明中计算中心块与周围域的距离，即中心块与周围域的相似度，wa值越大，表示小块与大块之间的相似度越高，小块是背景的概率越大，wa值越小，表示小块与大块之间的相似性越低，小块是目标的可能性越大。在此理论基础上逐个块计算，最终得到一个的相似度矩阵w_soe，计算过程如图4所示。47.图4中，输入到相似度目标增强模块的特征图为h×w，按照2×2的小块划分，并获得以每个2×2小块为中心向外辐射的一一对应的4×4的大块，根据公式（5）以2×2小块为单位，按照步长为1滑动，计算得到的相似度矩阵w_soe。由上述的相似度矩阵的值表示当前点与周围点之间的相似度，值越小，表明此范围是目标的可能性越大。48.在本发明实施例中，相似度目标增强模块实现流程包括以下步骤：输入：尺寸为h×w×c的特征图f；参数：，，，i=(w×h)/2×2；初始化：；1）令c=1,2,3,c；2）在c通道特征图分成2×2的小块，得到，i=(w×h)/(2×2)个小块；3）令i=1,2,3,i；4）根据每个区域计算；5）得到（w/2）×（h/2）的矩阵；6）得到（w/2）×（h/2）×c的矩阵w_soe；7）根据目标的相关性，得到w_soe＇=1/w_soe；8）通过激活函数得到相似度矩阵w＇；9）联合输入特征图和相似度矩阵w，得到新的特征图f＇；输出：尺寸为h×w×c的包含增强目标信息后新的特征图f＇。示例性的，相似度目标增强模块实现方法具体包括以下步骤：首先由输入矩阵f经过取设定小块的，组成相似度矩阵w_soe，接着，取w_soe＇=1/w_soe，称之为wasserstein相似度，即可得到一个与目标成正相关的相似度矩阵w_soe＇，wasserstein相似度矩阵。继而在相似度矩阵w＇基础上，使用sigmoid函数归一化并激活得到矩阵w，结合原输入特征图，使得特征图目标的特征值基本不变，而背景的特征值减小，拉大了背景与目标之间的差距，以此获得一个包含目标信息权重的新的特征图f＇，实现增强特征图中目标信息的作用。本发明实施例将上述过程模块化为相似度目标增强模块soe，根据需求添加在神经网络的任意步骤，本发明实施例中，将相似度目标增强模块soe添加在卷积过程中，构建了w_soe通道。49.为了直观的感受相似度目标增强模块前后的变化，本发明实施例给出了对应特征图的可视化热量图，如图5（a）为原图像，图5（b）为输入特征图，图5（c）为相似度增强模块处理后的特征图。50.所述的异构并行网络：红外图像中的小目标由于拍摄距离远、夜间图像分辨率低的原因，导致目标的占比小，且目标轮廓不清晰。因此该文构建异构并行主干网，将相似度目标增强模块soe添加在特征提取的主干网中，辅助特征提取时按照设定的方向实现特征提取，使特征图包含更多潜在目标信息，加大了目标的权重，使卷积过程中有目的性的增加了潜在目标在特征图中的重要程度，从而凸显目标。另外与常规卷积通道、基于simam通道获得的特征图进行拼接操作，使得特征图包含更多目标信息的同时，又保留了原有背景与目标之间的相关性，进一步辅助提高模型检测性能。最后，通过融合三个不同通道的特征图，使得在保留原有基本信息的基础上加大了潜在目标的比重，最终实现提高目标检测的效果。其结构示意图如图6所示。51.如图6所示，输出的特征图通过三种卷积方式提取特征图，分别通过上层的一般卷积通道，中层的simam通道，下层的包含模块的卷积通道，并对三个通道的输出进行拼接操作，以融合来自不同操作的特征信息，并进一步传输到特征融合结构。其中，上层的一般卷积通道对输入特征图进行常规卷积操作，自适应提取特征图；中层的simam通道通过无参数的注意力模型，增加卷积过程中对潜在目标的注意力；而下层的卷积通道通过本发明设定相似度目标增强模块，加大了目标的权重，使卷积过程中有目的性的增加了潜在目标在特征图中的重要程度，从而凸显目标。最后，通过融合三个不同通道的特征图，使得在保留原有基本信息的基础上加大了潜在目标的比重，最终实现提高目标检测的效果。52.步骤三中的pan结构如图7所示，对步骤二中得到的部分多层特征图进行特征拼接，继而得到多层包含不同深度目标信息的可预测目标的特征图；如图6所示，深层特征包含更多的语义信息，浅层特征包含更多的细节信息。本发明中，不仅融合了pan结构中的不同深度的特征图，而且将来自步骤二中主干网部分的浅层特征图进行融合拼接造作。因此，通过融合不同深度的特征图，使得最终输入到检测结构的特征图包括更多的特征信息。53.图7中，首先对主干网输出的特征图进行卷积操作，并经过两个上采样操作，扩大特征图的尺寸，接着进行下采样，进一步整合特征信息。另外在所有上采样或下采样操作后，再次进行特征拼接操作，其与浅层的相同尺寸的特征图进行拼接，弥补随着卷积操作的增多而丢失目标信息的不足。最终，将图7中右侧的三层特征层p3，p4，p5（pan的第3，4，5层的特征层）输入到检测结构，每个特征层中的每个像素点的预测框大小设置信息如表1所示。54.表示特征图中每个像素点反映到原图中表征的目标区域，预测框大小指在每个像素点可以预测的目标大小，如[10,13,16,30,33,23]，表示可预测10×13，16×30，33×23大小的目标，并且可根据置信度在一定范围内自动修正目标框的大小。根据训练过程中获得目标权重，预测特征图中的目标，并通过反向传播至待检测图像，在图像中标记目标的位置和类别。[0055]步骤四：接着通过预测结构判别目标的类别和位置，从而获得每个红外小目标的置信度，并生成每个目标对应的目标框，从而直接预测获取目标类型及位置信息。所述的检测结构，是将步骤三中得到的多个不同深度的特征图输入到检测结构，并分别对每层特征图进行处理，在特征图中以逐特征点预测目标，将预测到的目标对应的目标概率在其类别中从大到小进行排序，并选择目标概率大的目标作为最终目标。接下来，通过反馈网络将目标的特征点反向传播到原图对应的特征图中，获取目标在原图上的位置。同一目标可以在不同的特征图上被预测，继而可得到多个预测目标框。[0056]步骤五：使用nms方法，将步骤四得到的多个目标预测框中非最优的目标框删除，得到最佳的目标框，并将目标的类别及位置信息保存并显示。步骤四中，针对同一目标，可能得到多个预测目标框，因此为了得到与目标最匹配的目标框，本发明采用nms方法对步骤四中的多个预测框进行处理。当两个目标框重合率较大时，可认为两个预测框为同一目标，则选取目标概率大的预测框作为最终的目标框。当两个预测框重合率较小，则认为是两个目标，同时将两个目标框反应到原图上，并标记为最终的目标类型及位置。[0057]本发明中用到的数据库来自公开的红外数据集，图片规格一致，为256pixel×256pixel，如图8所示。为了验证本发明的有效性，该图8为所使用数据集的个别图像的样例，为了便于了解本发明的使用对象，展示了代表性的几张红外图像效果图。[0058]图9为接受者操作特性（receiver operating characteristic，roc）曲线对比图，其中，a，b，c，d，e分别代表不同的主干网结构。a为单通道普通卷积通道的主干网，b为simam通道的主干网，c为w_soe通道的主干网，d为普通卷积结合simam通道的主干网，e为本发明的普通卷积通道、simam通道结合w_soe通道的主干网结构，其他参数相同。其中，图10（a）是本发明实施例提供的改进前后红外小目标检测结果中8幅待检测红外小目标原图像；图10（b）是本发明实施例提供的改进前后红外小目标检测结果中本发明夜间机场净空域红外小目标的检测方法的检测结果图。[0059]实施例9如图3所示，本发明实施例提供的夜间机场净空域红外小目标的检测系统包括：深度学习的红外小目标检测模型获取模块1，用于设定夜间机场净空域红外小目标的检测方法的异构并行网络模型的初始参数，将红外小目标数据库中的训练集图像输入设定参数后的夜间机场净空域红外小目标的检测方法的异构并行网络模型进行训练，得到深度学习的红外小目标检测模型；不同通道特征图拼接模块2，用于将待检测的红外小目标图像输入到训练好的红外小目标检测模型，异构并行主干网红外小目标图像进行特征提取，并拼接来自三个不同通道的特征图；可预测目标的特征图得到模块3，用于经过像素聚合网络（pixel aggregation network，pan）对得到的部分多层特征图进行特征拼接，继而得到多层包含不同尺寸目标信息的可预测目标的特征图；目标类型及位置信息获取模块4，用于接着通过预测结构判别目标的类别和位置，从而获得每个红外小目标的置信度，并生成每个目标对应的目标框，从而直接预测获取目标类型及位置信息；目标框获取模块5，用于使用非极大值抑制（non-maximum suppression，nms）方法，将得到的多个目标预测框中非最优的目标框删除，得到最佳的目标框，并将目标的类别及位置信息保存并显示。[0060]在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。[0061]上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。[0062]所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0063]二、应用实施例：应用例本发明实施例提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。[0064]本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。[0065]本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。[0066]本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。[0067]本发明实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。[0068]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（read-onlymemory，rom）、随机存取存储器（randomaccessmemory，ram）、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。[0069]三、实施例相关效果的证据：实验表明本发明实施例提供的夜间机场净空域红外小目标的检测方法，首先设定夜间机场净空域红外小目标的检测方法的异构并行网络模型的初始参数，将红外小目标数据库中的训练集图像输入设定的网络模型进行训练，得到基于深度学习的红外小目标检测模型；将待检测的红外小目标图像输入到训练好的红外小目标检测模型，经过异构并行主干网的红外小目标图像进行特征提取，并通过像素聚合网络对上述特征图进行融合，进一步得到多层包含目标信息的特征图；接着通过预测结构处理包含目标信息的特征图，分别获得目标的类别和位置信息，并生成每个目标对应的目标框，从而在图像中直接显示预测目标的类型及位置信息。本发明对红外小目标均具有很好的自适应性及检测性能；检测速率快，模型体积小，易于部署在硬件设备；模型操作简单，易训练。与其他已有的方法相比较结果如表2所示，本发明在模型大小、检测速度、漏检率、和查准率方面，本发明得到的效果最优。[0070]以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!