一种物料输送巷道异物视觉检测方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及物料输送巷道的安全监控领域，尤其是涉及一种物料输送巷道异物视觉检测方法。背景技术：2.物料输送穿梭车的安全运行是保证卷烟厂顺利、连续生产的重要环节，穿梭车运行的物料输送巷道的转弯、衔接等形成不可避免的防护缺口，运行中的穿梭车装载的物料亦难免出现散落状况，导致穿梭车运行故障甚至存在安全隐患，因此对物料输送巷道的实时安全检测具有重要意义。3.目前卷烟厂物料输送巷道普遍采用人工巡检和激光检测方法。人工巡检是通过现场人工巡查或人眼观察输送巷道监控视频，以确保穿梭车安全运行，人工方法虽能较准确地排除安全隐患，但实时性无法保障。激光检测法则通过定点安装的单点激光发射-穿梭车上的某点反射-激光接收的方式反馈输送巷道是否通畅，该方法虽然可实现实时检测，但除了激光发射-反射路径之外皆为盲区，产生严重的漏检现象，无法保证穿梭车的安全运行。4.随着人工智能深度学习的发展，机器视觉检测及其应用取得了跨越性的提升，利用基于深度学习方法对轨道/巷道安全运行检测的研究获得了较多关注与深入开展。一些技术专家提出单定点多边框检测器ssd(single shot multibox detector)用于运输轨道异物检测，旨在解决轨道异物目标检测存在特征提取难度高、算法性能易受周围环境影响的问题，但该算法的实时性和预测框的准确度不高。还有一些技术专家利用改进的运动目标自适应vibe算法进行轨道异物入侵检测方法，以抑制vibe算法的ghost区域，减少因环境变化产生误检或漏检情况，但该算法对小目标检测的适应性较差。还有一些技术专家提出一种欧式距离度量代替随机选择的k-means轨道障碍物检测方法，用以解决侵限异物检测方法检测类别单一性和实时性差的问题，但该方法的检测精度与对小目标物体检测未达到良好效果。技术实现要素：5.本发明的目的是为了解决现有技术存在的缺陷，提供一种物料输送巷道异物视觉检测方法。6.为了实现上述目的，本发明采用的技术方案如下：7.一种物料输送巷道异物视觉检测方法，包括如下步骤：8.s1、为丰富特征图的特征信息，将se注意力模块与ghostnet融合进行特征提取，确保异物特征提取鲁棒性的同时增加异物特征的权重；9.s2、利用se注意力模块改进ghostnet网络中19×19、38×38和76×76三种大小不同的特征图与特征提取网络上采样输出的特征图进行融合拼接，得到最终检测模型的特征层；10.s3、采用改进的adam自适应梯度下降算法对yolov4模型进行优化；11.s4、在adam算法的基础上引入学习率等间隔调整策略，加快模型参数的更新速度，在提高adam算法的前期收敛速度同时提升模型的检测精度；12.s5、采用wk-means聚类算法对锚框进行加权聚类处理，每个特征维度赋予初始权重值，等到目标函数收敛，非目标检测区域所对应的权重趋于0，降低非目标区域对巷道异物目标的影响，提高异物的检测精度。13.进一步，s1中，首先将物料输送巷道图像经过ghostnet获取特征层x，设置图像通道数、图像高度和图像宽度分别为c、h和w；14.进行传统卷积获得特征层y，设置图像通道数、图像高度和图像宽度分别为c1、h和w，再将特征层y通过se注意力模块进行squeeze和excitation两项操作：15.对特征层y进行全局平均池化，把h×w的特征层转化为1×1的特征层；16.将1×1的特征层经过两个全连接层，获得不同通道的比重，最后利用sigmoid对比重信息进行归一化处理获得通道权重，将通道权重分别与y对应的c1个通道特征图数据相乘，得到新的c1×h×w的特征层。17.进一步，s3中，adam优化算法通过计算模型自身的下降梯度，自适应调整模型参数，其算法如下：首先，计算一阶和二阶矩估计mi和vi的衰减平均值：18.一阶矩估计：[0019][0020]二阶矩估计：[0021][0022]其中，β1，β2分别为一阶和二阶矩估计的指数衰减率，dy为梯度；[0023]然后根据计算的衰减平均值进行偏差修正，通过计算偏差，修正一阶、二阶矩估计，修正偏差分别为：[0024][0025][0026]参数更新：[0027][0028]其中，yi、yi+1为模型参数向量，φ代表学习率，x0为一个接近于0的初始值，同时，为了防止分母为0，取x0＝1×10-5。[0029]进一步，s4中，等间隔调整策略随着迭代次数的增加，让学习率以等间隔方式进行衰减调整，再根据调整后的学习率获得全局最优解，可有效地减少迭代过程中收敛曲线的振荡，提高模型收敛速度和稳定性，同时，为了避免出现学习率衰减至0，将最小学习率设置为0.00001，即当训练过程中学习率小于0.00001时，学习率不再衰减。[0030]进一步，s5中，wk-means聚类算法的目标函数为：[0031][0032]并且所有的权重应服从：[0033][0034]其中a表示簇分配矩阵：[0035][0036]c表示簇中心矩阵：[0037][0038]w为权重矩阵：[0039][0040]其中表示所有样本点在第j个维度上的距离和。[0041]进一步，使用检测速度、平均检测精度、精确率、召回率和误检率作为评估指标，计算式分别为：[0042][0043][0044][0045][0046]其中，pi(r)是每个目标的检测精度；tp是模型预测正确的正样本数量；tn是模型预测正确的负样本数量；fp是模型预测错误的负样本数量；fn是模型预测错误的正样本数量；n为检测类别。[0047]本发明的有益效果为：本发明利用wk-means对锚框进行聚类，解决初始锚框对巷道异物不适应问题；再采用融合se注意力机制的ghostnet作为yolov4模型特征提取网络，在解决cspdarknet53参数过多而导致实时性差的问题的同时增强小物体特征提取能力。进一步采用adam优化算法和学习率等间隔调整策略提高检测精度，并加快模型训练的前期收敛速度，最终，通过卷烟厂物料输送巷道状态数据集训练与现场应用，结果表明，本方法达到较好的检测效果：对异物的平均检测精度达到98.48％，误检率为0.62％，检测速度为58fps。附图说明[0048]图1为传统卷积与ghostnet卷积示意图；[0049]图2为se注意力机制的示意图；[0050]图3为本发明模型损失曲线图。具体实施方式[0051]一种物料输送巷道异物视觉检测方法，包括如下步骤：[0052]s1、为丰富特征图的特征信息，将se注意力模块与ghostnet融合进行特征提取，确保异物特征提取鲁棒性的同时增加异物特征的权重；[0053]s2、利用se注意力模块改进ghostnet网络中19×19、38×38和76×76三种大小不同的特征图与特征提取网络上采样输出的特征图进行融合拼接，得到最终检测模型的特征层；[0054]s3、采用改进的adam自适应梯度下降算法对yolov4模型进行优化；[0055]s4、在adam算法的基础上引入学习率等间隔调整策略，加快模型参数的更新速度，在提高adam算法的前期收敛速度同时提升模型的检测精度；[0056]s5、采用wk-means聚类算法对锚框进行加权聚类处理，每个特征维度赋予初始权重值，等到目标函数收敛，非目标检测区域所对应的权重趋于0，降低非目标区域对巷道异物目标的影响，提高异物的检测精度。[0057]具体而言，本发明为一种改进的yolov4的物料输送巷道异物视觉检测方法，yolov4模型是基于回归的目标检测算法，其主要思想是将输入的特征图像分割为不同尺度大小的网格，若检测目标位于某个网格中，则由对应的网格负责完成该目标的检测。在yolov3的基础上，yolov4作了以下主要改进。具体体现在：[0058](1)在原始图片的输入阶段，利用mosaic数据增强的方法，将四张原始图片拼接在一起，增强训练数据集的多样性，提高物体的检测速度。[0059](2)在特征提取网络阶段，使用cspdarknet53作为主干特征提取网络，与yolov3中的darknet53相比，加入了csp(cross stage paritial)网络结构，采用mish激活函数替换了初始卷积层后的leaky relu激活函数，提高了网络特征提取能力。[0060](3)在特征融合阶段，在yolov3的fpn特征金字塔中加入了空间金字塔池化(spatial pyramid pooling，spp)模块，可以明显提高网络感受野。[0061](4)引入聚合网络(panet)结构，重复抽取特征，丰富特征图信息。[0062](5)采用区域推荐的锚框机制，对目标进行准确检测。[0063]故，与yolov3相比，yolov4在保证检测速度的前提下，大大提高了目标检测精度。[0064]ghostnet-se网络模型具体为：[0065]ghostnet网络模型：[0066]ghostnet以ghost模块为核心，结合了传统卷积和线性变换。ghost模块如图1中b区所示，传统卷积模块如图1中a区所示。ghost模块原理为：首先，将输入图片通过1×1传统卷积进行通道压缩(去冗余)，获得通道数为传统卷积一半的特征图；其次，对特征图进行逐层卷积，通过一种简单的线性运算得到新的特征图；最后，特征图与新的特征图进行堆叠，获得最终的特征层。这种基于传统卷积生成特征图再利用特征图进行线性变换得到相似特征图，从而产生高维卷积效果的方式，减少了模型参数和计算量。[0067]注意力机制具体如下：[0068]为丰富特征图的特征信息，本发明将se(squeeze-and-excitation)注意力模块与ghostnet融合进行特征提取，旨在确保异物特征提取鲁棒性的同时增加异物特征的权重。[0069]se注意力机制如图2所示。se注意力机制首先将物料输送巷道图像经过ghostnet获取特征层x(图像通道数、图像高度和图像宽度分别为c、h和w)进行传统卷积获得特征层y(图像通道数、图像高度和图像宽度分别为c1、h和w)，再将特征层y通过se注意力模块，包括squeeze和excitation两项操作，即：(1)对特征层y进行全局平均池化，把h×w的特征层转化为1×1的特征层；(2)将1×1的特征层经过两个全连接层，获得不同通道的比重。最后利用sigmoid对比重信息进行归一化处理获得通道权重，将通道权重分别与y对应的c1个通道特征图数据相乘，得到新的c1×h×w的特征层。本发明通过se注意力机制实现丰富特征图信息，增强巷道异物目标特征，进而增强异物目标特征提取的指向性。[0070]本发明利用se注意力模块改进ghostnet网络中19×19、38×38和76×76三种大小不同的特征图与特征提取网络上采样输出的特征图进行融合拼接，得到最终检测模型的特征层。[0071]模型网络权重优化算法具体为：[0072]因yolov4目标检测模型采用随机梯度下降算法(sgd)对神经网络权重进行迭代更新，而sgd算法前期收敛速度较慢，而且容易出现精度下降问题。为了加快模型前期训练的收敛速度，进而提高模型精度，本发明采用改进的adam自适应梯度下降算法对yolov4模型进行优化。[0073]adam优化算法具体为：[0074]adam优化算法通过计算模型自身的下降梯度，自适应调整模型参数。其算法如下：首先，计算一阶和二阶矩估计和的衰减平均值：[0075]一阶矩估计：[0076][0077]二阶矩估计：[0078][0079]其中，β1，β2分别为一阶和二阶矩估计的指数衰减率，dy为梯度。[0080]然后根据计算的衰减平均值进行偏差修正，通过计算偏差，修正一阶、二阶矩估计。修正偏差分别为：[0081][0082][0083]参数更新：[0084][0085]其中，yi、yi+1为模型参数向量，φ代表学习率，x0为一个接近于0的初始值。同时，为了防止分母为0，取x0＝1×10-5。[0086]等间隔调整改进优化策略具体为：[0087]本发明在adam算法的基础上引入学习率等间隔调整策略，可加快模型参数的更新速度，在提高adam算法的前期收敛速度同时提升模型的检测精度。[0088]等间隔调整策略随着迭代次数的增加，让学习率以等间隔方式进行衰减调整，再根据调整后的学习率获得全局最优解，可有效地减少迭代过程中收敛曲线的振荡，提高模型收敛速度和稳定性。同时，为了避免出现学习率衰减至0，本发明将最小学习率设置为0.00001，即当训练过程中学习率小于0.00001时，学习率不再衰减。[0089]wk-means优化锚框算法具体为：[0090]yolov4目标检测训练时采用预先设定先验锚框参数的方式，该方法对coco、voc等数据集有较好的适应性，而本发明数据集检测目标主要是穿梭车，人及凳子，与coco、voc等开放环境的数据集的多种检测目标存在较大差异，且不同的检测目标适合的先验框大小也各异，导致yolov4的锚框机制并不适用于本发明卷烟厂物料输送巷道运行状态数据集。[0091]本发明采用wk-means聚类算法对锚框进行加权聚类处理，每个特征维度赋予初始权重值，等到目标函数收敛，非目标检测区域所对应的权重趋于0，从而尽可能降低非目标区域对巷道异物目标的影响，提高异物的检测精度。[0092]wk-means聚类算法的目标函数为：[0093][0094]并且所有的权重应服从：[0095][0096]其中a表示簇分配矩阵：[0097][0098]c表示簇中心矩阵：[0099][0100]w为权重矩阵：[0101][0102]其中表示所有样本点在第j个维度上的距离和。[0103]wk-means在最小化整个簇内距离时计算每个维度的加权距离和，通过不同的权重值来调节每个维度对聚类结果的影响。在实验中，wk-means聚类算法获取的先验框比yolov4使用的先验框更接近检测目标。[0104]综上，本发明基于wk-means与ghostnet融合改进yolov4的卷烟厂物料输送巷道异物视觉检测方法，实现在提高异物检测训练收敛速度的同时，提升异物定位和分类效果。[0105]下面结合具体的实验及结果进行分析：[0106]数据集：[0107]本系统在龙岩烟草工业有限责任公司卷烟厂辅料库搭建视觉系统采集物料输送巷道运行状态图像数据集。该数据集的巷道异物主要包括闯入的人员和穿梭车运载散落辅料。[0108]数据集由分辨率为390×882，格式为bmp的共4686张图像构成。数据预处理使用lableimg对数据集上面的穿梭车、人及凳子进行标记，标签文件为xml格式。[0109]实验环境：[0110]本发明的实验环境如表1所示。[0111]表1实验环境[0112][0113]模型训练：[0114]训练前将数据集按9∶1的比例随机划分为训练集和验证集。训练阶段的参数设置为：采用focal loss平衡正负样本，正负样本平衡参数设置为0.25，难易分类样本平衡参数设置为2；adam优化算法的动量项设置为0.937；学习率等间隔调整策略的最大学习率设置为0.001，最小学习率为0.00001。[0115]本发明对物料输送巷道运行状态数据集进行训练，实验中共训练100个epoch，同时保留每个epoch对应的权值文件，训练获得损失曲线如图3所示，可知，模型的总损失在前5个epoch的下降速度较快，当epoch至20之后trainloss和val loss基本保持稳定。表明本发明算法的学习率衰减明显，且较快地达到了最优值。[0116]实验评估指标：[0117]本发明模型使用检测速度(frames per second,fps)、平均检测精度(mean average precision,map)、精确率(precision)、召回率(recall)和误检率(noise factor)作为评估指标，计算式分别为：[0118][0119][0120][0121][0122]其中，pi(r)是每个目标的检测精度；tp是模型预测正确的正样本数量；tn是模型预测正确的负样本数量；fp是模型预测错误的负样本数量；fn是模型预测错误的正样本数量；n为检测类别。[0123]实验结果分析：[0124]网络模型尺寸越大，对处理器性能要求越严格。主干特征提取网络模型参数量跟模型尺寸成正比，各常用的轻量级特征提取网络主要有densenet、vgg、mobilenet、resnet及ghostnet。其网络参数量如表2所示。利用本发明数据集对多种轻量级特征提取网络进行训练，其中ghostnet的参数量最少，也即ghostnet的特征提取网络速度最快。[0125]表2各轻量级特征提取网络参数量[0126][0127]为验证ghostnet特征提取网络的优越性，在相同训练集和验证集上，对表2中算法与改进模型进行消融实验。利用常用的轻量级特征提取网络代替yolov4的cspdarknet 53网络，并验证检测性能，结果如表3所示。由性能对比结果可知ghostnet具有在检测速度和精度上都具有优越性。[0128]表3各轻量级特征提取网络的检测性能[0129][0130]而为了验证se注意力机制融合的ghostnet特征提取网络检测性能，本发明对引入se注意力机制前后进行消融实验，结果如表4所示。由表4可知，采用se注意力机制使模型检测速度提高了2％，平均检测精度提高了1.75％，精确率提高了12.11％，误检率减少了0.79％。[0131]表4se注意力模块对算法的影响[0132][0133]在对模型梯度下降算法中，本发明采用adam和sgd进行比较，而在学习率衰减策略上，选择了余弦退火算法和等间隔调整策略在ghostnet-se网络中进行对比，其结果如表5所示，可以发现adam+step的检测性能最好，检测速度为55fps，平均检测精度为97.38％，召回率为92.41％，精确率为98.70％，误检率为0.7％。[0134]表5学习率优化算法和衰减策略对算法的影响[0135][0136]利用wk-means聚类算法对锚框进行优化，并和k-means锚框优化算法针对本发明模型进行对比实验，实验结果如表6所示。wk-means聚类算法比k-means检测性能的检测速度提高了3fps，平均检测精度提高了1.1％，召回率提高了0.18％，精确率提高了1％，误检率下降了0.08％。[0137]表6wk-means对算法的影响[0138][0139]综上可知，本发明提出的yolov4-ghostnet-se-adam-step-wk-means模型对卷烟厂物料输送巷道异物具有较好的检测效果，本发明算法的检测速度达到58fps，平均检测精度为98.48％，误检率为0.62％。[0140]为了进一步研究验证本发明模型的泛化能力，利用voc2007数据集和coco2017数据集上对本发明模型进行训练，其检测结果如表7所示。[0141]表7本发明模型在voc和coco数据集的检测结果[0142][0143][0144]由表7可知，本发明模型对于voc2007和coco2017数据集的检测精度均达到90％以上，检测速度分别为48fps和52fps，误检率分别为3.15％和2.93％，表明本发明模型在voc2007和coco2017数据集上也具备良好的检测性能，具有较好的泛化能力。[0145]综上所述，本发明针对卷烟厂物料输送巷道异物检测存在的实时性和准确性问题，提出了一种改进yolov4模型的视觉检测方法，得出结论如下：[0146](1)利用wk-means聚类算法对锚框进行优化，可以去除一些不适合卷烟厂巷道异物检测的锚框，提高目标的检测速度。[0147](2)采用se注意力机制融合ghostnet特征提取网络，较大程度减少模型了参数量，提高模型的检测速度和精度。[0148](3)利用adam优化算法和学习率等间隔调整策略快速精确找到全局最优解，提高了模型的检测精度和速度，降低模型的误检率。[0149]实验表明，本发明模型比yolov4模型平均精度提升了4.61％，检测速度提高了26.59fps，且具有良好的泛化能力。与常用的轻量级特征提取网络相比，本发明模型表现出了较强的优越性，实现了卷烟厂物料输送巷道异物的准确检测，为物料输送穿梭车的安全运行提供了可靠保证。[0150]以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!