一种针对塔吊下方运动目标的检测方法及系统与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及目标检测技术领域，具体涉及一种针对塔吊下方运动目标的检测方法及系统。背景技术：2.在智能塔吊的自动驾驶过程中，对塔吊下方的运动目标进行检测具有重要的意义，运动目标主要包括人、运货卡车、自行车以及三轮车等。目前的检测方法主要是基于深度学习来完成，在数据源方面主要是采用图像、激光雷达等传感器进行采集。3.单纯基于图像的检测方法主要是基于深度神经网络来实现运动目标的检测，常用检测方法包括两阶段的fasterrcnn、单阶段的ssd以及单阶段的yolo。在骨干网络选择方面主要以darknet和mobilenet系列为主。由于塔吊下方的施工场景复杂度较高，并且由于相机主要采用自顶向下进行拍摄，从而易出现部分目标信息被遮挡或屏蔽的情况。因此需要通过采用具有较高复杂度的神经网络骨干网，以保证整个网络的表达能力。但是这类方法往往会导致很高的计算量，因此一般需要用带有专用ai加速硬件支持的处理器进行计算。4.基于激光雷达和图像的方法，主要采用两种数据的融合检测方法。有比较松散的融合方式，如先基于图像进行深度神经网络目标检测，再根据图像的投影视锥体找到对应的激光雷达点云，根据激光雷达点云再进行一次目标分类判断。也有比较紧密的融合方法，即把激光雷达点云和图像的组合作为神经网络的输入，直接训练兼容激光雷达点云和图像的深度神经网络，完成端到端的目标检测。5.但是上述两种方法，由于都严重依赖深度神经网络，而深度神经网络的推理对计算硬件的要求较高。因此在实际大规模部署中会遇到问题。智能塔吊的运行系统是包括感知、决策、规划、控制以及安全等多个环节的大型系统，传感器众多、计算量大、架构复杂。往往需要异构的计算机构支持，即各个传感器的计算尽量在终端完成，而不是把全部数据都汇总到中心服务节点计算。在这种情况下，面对运动目标检测这一单一任务，如果完全依赖复杂度较高的神经网络来完成计算，势必导致边缘端的计算设备的成本和功耗居高不下。技术实现要素：6.为了克服现有技术的不足，本发明提供一种针对塔吊下方运动目标的检测方法及系统，用于解决现有的塔吊下方运动目标检测方法会导致计算设备的成本和功耗居高不下的技术问题，从而达到既对塔吊下方运动目标进行准确检测，同时降低了计算设备的成本和功耗的目的。7.为解决上述问题，本发明所采用的技术方案如下：8.一种针对塔吊下方运动目标的检测方法，包括以下步骤：9.利用设置在塔吊小车下方的采集装置对所述塔吊下方的运动目标进行图像采集；10.对采集到的运动目标图像提取图像序列的特征点，得到提取特征点后的运动目标图像；11.对所述提取特征点后的运动目标图像基于二维仿射变换建立运动估计，获得相邻两帧图像的仿射变换关系；12.利用所述相邻两帧图像的仿射变换关系，获得相邻帧运动目标图像的相似度，保留相似度低于阈值的运动目标像素作为候选的运动目标像素；13.对所述候选的运动目标像素进行欧式空间聚类获得若干聚类结果，并针对每一聚类结果获得对应的外边界框；14.根据所述相邻两帧图像的仿射变换关系，在所有特征点匹配结果中，找出不满足所述相邻两帧图像的仿射变换关系的特征点对，作为匹配外点集合；15.根据所述匹配外点集合获得每个所述外边界框中的外点数量，并利用所述外点数量获得每个所述外边界框的运动目标置信度，从中筛选出满足置信度要求的外边界框；16.利用视觉神经网络训练目标的分类网，对所述满足置信度要求的外边界框进行分类，确定所述运动目标的类型和置信度。17.作为本发明优选的实施方式，在得到提取特征点后的运动目标图像时，包括：18.利用高斯滤波建立所述运动目标图像的图像金字塔；19.在所述图像金字塔顶层使用特征提取算法提取少量的稳定特征点，获得特征图；20.在所述特征图中搜索局部极大点，将搜索获取到的所有局部极大点根据设定的百分比进行保留，作为特征点；21.获取每个所述特征点的局部方向梯度直方图，并将所述局部方向梯度直方图的最大值设定为所述特征点的方向；22.在所述图像金字塔的底层，利用orb算法提取大量的小尺度orb特征点；23.对所述运动目标图像完成特征点提取和小尺度orb特征点提取后，得到提取特征点后的运动目标图像。24.作为本发明优选的实施方式，在利用orb算法提取大量的小尺度orb特征点时，包括：25.设置一图像小窗口，获取所述图像小窗口的中心点与周围像素点间差异的累积量，并根据所述差异的累积量构建小尺度orb特征图；26.在所述小尺度orb特征图中搜索局部极大点作为小尺度orb特征候选点，对所述小尺度orb特征候选点进行筛选得到所述小尺度orb特征点；27.获取所述图像小窗口的质心点，将所述中心点与所述质心点进行连线，并将连线方向作为所述小尺度orb特征点的方向。28.作为本发明优选的实施方式，在获得相邻两帧图像的仿射变换关系时，包括：29.基于所述稳定特征点进行暴力搜索，获得特征欧式距离最小的点对作为粗匹配点对；30.根据所述粗匹配点对获得每个所述小尺度orb特征点的差异性，并剔除其中差异性过大的小尺度orb特征点；31.基于保留的小尺度orb特征点再次进行暴力搜索，获得特征欧式距离最小的点对作为最终的匹配结果，并利用所述最终的匹配结果获得所述相邻两帧图像的仿射变换关系。32.作为本发明优选的实施方式，在剔除差异性过大的小尺度orb特征点时，包括：33.根据所述粗匹配点对获得所述提取特征点后的运动图像的二维仿射变换模型，利用所述二维仿射变换模型将所述提取特征点后的运动目标图像中的一图像的小尺度orb特征点投影到另一图像上，获得对应的投影结果；34.根据所述投影结果判断投影周围是否存在对应的小尺度orb特征点，若不存在，说明所述小尺度orb特征点没有对应的同名点，则认为所述小尺度orb特征点的差异性过大，并将所述小尺度orb特征点进行剔除；35.在获得所述相邻两帧图像的仿射变换关系时，包括：36.利用所述最终的匹配结果对相邻所述提取特征点后运动图像的二维仿射变换模型进行最小二乘求解，获得所述相邻两帧图像的仿射变换关系。37.作为本发明优选的实施方式，在获得相邻帧运动目标图像的相似度时，包括：38.获取所述提取特征点后运动目标图像中所有相邻帧运动目标图像，对每组相邻帧运动目标图像中一帧运动目标图像的每个像素均取一小图像窗口；并根据所述相邻两帧图像的仿射变换关系获得对应的另一帧运动目标图像对应的小图像窗口；39.根据所述小图像窗口和所述对应的小图像窗口，获得每组相邻帧运动目标图像的窗口图像组；40.获取所述窗口图像组r、g、b三个通道的归一化相关积的均值，将所述归一化相关积的均值作为相似度。41.作为本发明优选的实施方式，在获得对应的另一帧运动目标图像对应的小图像窗口时，包括：42.利用仿射变换矩阵左乘所述小图像窗口的中心点，得到所述小图像窗口在另一帧运动目标图像对应的小图像窗口的中心点；43.根据所述对应的小图像窗口的中心点，再按照同样的窗口大小获得所述对应的小图像窗口。44.作为本发明优选的实施方式，在获得归一化相关积的均值时，包括：45.获取所述窗口图像组的灰度均值，将所述窗口图像组中每个像素的灰度减去其对应的灰度均值，获得去中心化的窗口图像组；46.将所述去中心化的窗口图像组对应像素相乘并求和获得相关积，再将所述相关积除以自身的二范数模值，得到归一化相关积；47.根据所述归一化相关积获得所述窗口图像组r、g、b三个通道的归一化相关积的均值。48.作为本发明优选的实施方式，在获得每个所述外边界框的运动目标置信度时，包括：49.以所述外边界框中的外点数量除以一设定值作为权重，对所述外边界框属于运动目标的置信度进行加权，获得外点比例置信度；50.获取所述外边界框中的像素点占所述小图像窗口的比例作为相似度置信度；51.将所述外点比例置信度乘以所述相似度置信度获得每个所述外边界框的运动目标置信度。52.一种针对塔吊下方运动目标的检测系统，包括：53.特征提取单元：用于利用设置在塔吊小车下方的采集装置对所述塔吊下方的运动目标进行图像采集；对采集到的运动目标图像提取图像序列的特征点，得到提取特征点后的运动目标图像；54.外边界框获取单元：用于对所述提取特征点后的运动目标图像基于二维仿射变换建立运动估计，获得相邻两帧图像的仿射变换关系；利用所述相邻两帧图像的仿射变换关系，获得相邻帧运动目标图像的相似度，保留相似度低于阈值的运动目标像素作为候选的运动目标像素；对所述候选的运动目标像素进行欧式空间聚类获得若干聚类结果，并针对每一聚类结果获得对应的外边界框；55.外边界框筛选单元：用于根据所述相邻两帧图像的仿射变换关系，在所有特征点匹配结果中，找出不满足所述相邻两帧图像的仿射变换关系的特征点对，作为匹配外点集合；根据所述匹配外点集合获得每个所述外边界框中的外点数量，并利用所述外点数量获得每个所述外边界框的运动目标置信度，从中筛选出满足置信度要求的外边界框；56.分类单元：用于利用视觉神经网络训练目标的分类网，对所述满足置信度要求的外边界框进行分类，确定所述运动目标的类型和置信度。57.相比现有技术，本发明的有益效果在于：58.(1)本发明在塔吊吊运过程中，在不同的尺度上使用不同的特征点提取方法，从而有效地提高算法速度并保证后续的匹配精度；59.(2)本发明在对塔吊下方的运动目标进行检测时，通过融合图像序列分析与特征点匹配获得满足置信度要求的外边界框后，再利用训练好的视觉神经网络进行分类，实现运动目标的准确检测，有别于现有完全依赖神经网络完成计算的检测方法，从而有效地降低计算设备的成本和功耗。60.下面结合附图和具体实施方式对本发明作进一步详细说明。附图说明61.图1是本发明实施例的采集装置部署位置示意图；62.图2是本发明实施例的针对塔吊下方运动目标的检测方法步骤。63.附图标号说明：1、吊臂；2、塔身；3、塔吊小车；4、采集装置。具体实施方式64.本发明所提供的针对塔吊下方运动目标的检测方法，如图2所示，包括以下步骤：65.步骤s1：利用设置在塔吊小车3下方的采集装置4对塔吊下方的运动目标进行图像采集；66.步骤s2：对采集到的运动目标图像提取图像序列的特征点，得到提取特征点后的运动目标图像；67.步骤s3：对提取特征点后的运动目标图像基于二维仿射变换建立运动估计，获得相邻两帧图像的仿射变换关系；68.步骤s4：利用相邻两帧图像的仿射变换关系，获得相邻帧运动目标图像的相似度，保留相似度低于阈值的运动目标像素作为候选的运动目标像素；69.步骤s5：对候选的运动目标像素进行欧式空间聚类获得若干聚类结果，并针对每一聚类结果获得对应的外边界框；70.步骤s6：根据相邻两帧图像的仿射变换关系，在所有特征点匹配结果中，找出不满足相邻两帧图像的仿射变换关系的特征点对，作为匹配外点集合；71.步骤s7：根据匹配外点集合获得每个外边界框中的外点数量，并利用外点数量获得每个外边界框的运动目标置信度，从中筛选出满足置信度要求的外边界框；72.步骤s8：利用视觉神经网络训练目标的分类网，对满足置信度要求的外边界框进行分类，确定运动目标的类型和置信度。73.具体地，本发明所采用的采集装置4为下视相机，如图1所示，塔吊的主要构成包括吊臂1、塔身2以及塔吊小车3。将下视相机安装在吊塔小车3的下方，垂直于地面对运动目标进行拍摄，从而有效地对塔吊下方的运动目标进行图像采集。74.在上述步骤s2中，在得到提取特征点后的运动目标图像时，包括：75.利用高斯滤波建立运动目标图像的图像金字塔；76.在图像金字塔顶层使用特征提取算法提取少量的稳定特征点，获得特征图；77.在特征图中搜索局部极大点，将搜索获取到的所有局部极大点根据设定的百分比进行保留，作为特征点；78.获取每个特征点的局部方向梯度直方图，并将局部方向梯度直方图的最大值设定为特征点的方向；79.在图像金字塔的底层，利用orb算法提取大量的小尺度orb特征点；80.对运动目标图像完成特征点提取和小尺度orb特征点提取后，得到提取特征点后的运动目标图像。81.进一步地，在本发明中采用的特征提取算法为sift算法。82.进一步地，在本发明中设定的百分比为前百分之二十。83.具体地，图像金字塔的构建使用高斯滤波器，高斯函数标准差的基本值为1.6，共计算6次滤波，在第i次滤波中，标准差为1.6的i次方。在图像金字塔顶层使用sift算法提取少量的稳定特征点，即利用图像金字塔顶层和次顶层的差值获得特征图。84.进一步地，在利用orb算法提取大量的小尺度orb特征点时，包括：85.设置一图像小窗口，获取图像小窗口的中心点与周围像素点间差异的累积量，并根据差异的累积量构建小尺度orb特征图；86.在小尺度orb特征图中搜索局部极大点作为小尺度orb特征候选点，对小尺度orb特征候选点进行筛选得到小尺度orb特征点；87.获取图像小窗口的质心点，将中心点与质心点进行连线，并将连线方向作为小尺度orb特征点的方向。88.在上述步骤s3中，在获得相邻两帧图像的仿射变换关系时，包括：89.基于稳定特征点进行暴力搜索，获得特征欧式距离最小的点对作为粗匹配点对；90.根据粗匹配点对获得每个小尺度orb特征点的差异性，并剔除其中差异性过大的小尺度orb特征点；91.基于保留的小尺度orb特征点再次进行暴力搜索，获得特征欧式距离最小的点对作为最终的匹配结果，并利用最终的匹配结果获得相邻两帧图像的仿射变换关系。92.进一步地，在剔除差异性过大的小尺度orb特征点时，包括：93.根据粗匹配点对获得提取特征点后的运动图像的二维仿射变换模型，利用二维仿射变换模型将提取特征点后的运动目标图像中的一图像的小尺度orb特征点投影到另一图像上，获得对应的投影结果；94.根据投影结果判断投影周围是否存在对应的小尺度orb特征点，若不存在，说明小尺度orb特征点没有对应的同名点，则认为小尺度orb特征点的差异性过大，并将小尺度orb特征点进行剔除。95.更进一步地，在获得相邻两帧图像的仿射变换关系时，包括：96.利用最终的匹配结果对相邻提取特征点后运动图像的二维仿射变换模型进行最小二乘求解，获得相邻两帧图像的仿射变换关系。97.在上述步骤s4中，保留相似度低于0.5的运动目标像素作为候选的运动目标像素。98.在上述步骤s4中，在获得相邻帧运动目标图像的相似度时，包括：99.获取提取特征点后运动目标图像中所有相邻帧运动目标图像，对每组相邻帧运动目标图像中一帧运动目标图像的每个像素均取一小图像窗口；并根据相邻两帧图像的仿射变换关系获得对应的另一帧运动目标图像对应的小图像窗口；100.根据小图像窗口和对应的小图像窗口，获得每组相邻帧运动目标图像的窗口图像组；101.获取窗口图像组r、g、b三个通道的归一化相关积的均值，将归一化相关积的均值作为相似度。102.进一步地，在获得对应的另一帧运动目标图像对应的小图像窗口时，包括：103.利用仿射变换矩阵左乘小图像窗口的中心点，得到小图像窗口在另一帧运动目标图像对应的小图像窗口的中心点；104.根据对应的小图像窗口的中心点，再按照同样的窗口大小获得对应的小图像窗口。105.进一步地，在获得归一化相关积的均值时，包括：106.获取窗口图像组的灰度均值，将窗口图像组中每个像素的灰度减去其对应的灰度均值，获得去中心化的窗口图像组；107.将去中心化的窗口图像组对应像素相乘并求和获得相关积，再将相关积除以自身的二范数模值，得到归一化相关积；108.根据归一化相关积获得窗口图像组r、g、b三个通道的归一化相关积的均值。109.在上述步骤s7中，在获得每个外边界框的运动目标置信度时，包括：110.以外边界框中的外点数量除以一设定值作为权重，对外边界框属于运动目标的置信度进行加权，获得外点比例置信度；111.获取外边界框中的像素点占小图像窗口的比例作为相似度置信度；112.将外点比例置信度乘以相似度置信度获得每个外边界框的运动目标置信度。113.进一步地，以外边界框中的外点数量除以15作为权重。114.在上述步骤s5中，进行欧式空间聚类获得若干聚类结果的具体过程如下：115.对候选的运动目标像素进行欧式空间聚类，遍历所有候选的运动目标像素，利用其邻域内候选的运动目标像素的个数进行排序，邻域内候选的运动目标像素数量越多，排名越靠前。从排在前面的候选的运动目标像素开始，进行区域生长，即将所有与该像素空间距离小于3的候选的运动目标像素归入到区域中。再对新归入的像素进行通逻辑的计算，直至没有新的候选的运动目标像素可以归入位置。此时对余下的候选的运动目标像素重复上述的计算，从而将候选的运动目标像素归类为不同的联通体，完成聚类。针对每个联通体，计算最小包围盒作为外边界框。116.在上述步骤s7中，将置信度小于2的外边界框进行剔除。117.在上述步骤s8中，利用mobilenetv2神经网络训练目标的分类网。118.本发明所提供的针对塔吊下方运动目标的检测系统，包括：119.特征提取单元：用于利用设置在塔吊小车3下方的采集装置4对塔吊下方的运动目标进行图像采集；对采集到的运动目标图像提取图像序列的特征点，得到提取特征点后的运动目标图像；120.外边界框获取单元：用于对提取特征点后的运动目标图像基于二维仿射变换建立运动估计，获得相邻两帧图像的仿射变换关系；利用相邻两帧图像的仿射变换关系，获得相邻帧运动目标图像的相似度，保留相似度低于阈值的运动目标像素作为候选的运动目标像素；对候选的运动目标像素进行欧式空间聚类获得若干聚类结果，并针对每一聚类结果获得对应的外边界框；121.外边界框筛选单元：用于根据相邻两帧图像的仿射变换关系，在所有特征点匹配结果中，找出不满足相邻两帧图像的仿射变换关系的特征点对，作为匹配外点集合；根据匹配外点集合获得每个外边界框中的外点数量，并利用外点数量获得每个外边界框的运动目标置信度，从中筛选出满足置信度要求的外边界框；122.分类单元：用于利用视觉神经网络训练目标的分类网，对满足置信度要求的外边界框进行分类，确定运动目标的类型和置信度。123.相比现有技术，本发明的有益效果在于：124.(1)本发明在塔吊吊运过程中，在不同的尺度上使用不同的特征点提取方法，从而有效地提高算法速度并保证后续的匹配精度；125.(2)本发明在对塔吊下方的运动目标进行检测时，通过融合图像序列分析与特征点匹配获得满足置信度要求的外边界框后，再利用训练好的视觉神经网络进行分类，实现运动目标的准确检测，有别于现有完全依赖神经网络完成计算的检测方法，从而有效地降低计算设备的成本和功耗。126.上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!