基于NPU芯片ARM平台的输电线路异物识别检测系统的制作方法 专利技术说明

计算;推算;计数设备的制造及其应用技术densenet的神经网络结构进行电力线路鸟巢目标检测，该模型结构包含特征提取器和检测器两个部分，特征提取器使用densenet网络结构，并对其进行了改进，即去掉最后的全局平均池化、全连接层和softmax层；检测器采用ssd算法模型结构，利用从6个不同尺度的特征层中提取的深层次特征信息来检测目标位置。10.优选的，所述ssd-densenet模型结构主要由两个部分组成：特征提取器和检测器；11.特征提取器采用了densenet网络结构，densenet网络结构由多个密集连接块和若干个过渡层组成，其中每个密集连接块都包含了若干个密集连接的卷积层，以及每个过渡层都包含了一个卷积层和一个池化层；12.检测器则采用ssd网络结构，用于检测图像中的目标，检测器由一系列卷积层和预测层组成，其中卷积层用于在特征图上进行卷积，得到不同大小的目标框，而预测层则用于预测目标框的类别和置信度；ssd检测器在每个特征图上预测一组目标框，每个目标框包括类别置信度和位置信息，最终将所有特征图上的目标框合并在一起，得到最终的目标检测结果；13.ssd-densenet模型的结构可以根据不同的应用场景和需求进行调整，例如可以调整特征提取器和检测器的层数和通道数来平衡模型的精度和速度。此外，可以通过在训练数据上进行微调，来适应不同的目标类别和应用场景。。14.优选的，所述模型压缩模块用于提高神经网络模型对鸟巢目标的识别速率，达到目标实时检测的要求，需要对模型进行适当的压缩，减少神经网络的参数，包含以下几种神经网络压缩方法：15.参数量剪枝：通过删除不必要的网络连接或参数来减少模型的大小，可以使用人工设计的方法或自动化方法实现；16.权重量化：将网络的权重转换为低精度数据类型，如8位整数或浮点数，从而减少模型的大小；17.知识蒸馏：利用一个较大的教师模型的知识来训练一个较小的学生模型，从而在保持模型精度的同时减少模型的大小；18.网络结构搜索：使用自动化算法搜索最优的网络结构，同时满足模型的大小和性能要求；19.分组卷积：将卷积层中的输入和输出通道分组，从而减少计算量和模型大小；20.前向计算的量化：通过量化神经网络的激活值，从而减少计算量和模型大小；21.通过设置压缩比，压缩特征提取网络每一层的特征数量，从而减少网络的参数和计算量。22.优选的，所述模型量化模块采用训练时量化方法,使用浮点数训练网络，得到一个精度较高的模型；在训练好的模型的基础上，对网络的权重和激活进行动态量化；动态量化的方式有很多种，其中一种常见的方法是使用k-means聚类算法，将权重或激活量化为多个离散的值；在训练时,利用tensorflow的量化库，在训练和预测时通过在模型图中自动插入模拟量化操作来实现；并采用逐通道量化方法，将模型的权重和激活输出做8bit量化。23.优选的，所述训练时量化方法中网络训练及参数设置，神经网络使用主流的pytorch框架，在训练过程中，采用xavier初始化神经网络权重参数，根据前一层输入节点数和后一层输出节点数来初始化权重；每一次迭代神经网络对25张图像进行计算，一共进行30次迭代,使用adamw算法优化神经网络，adamw算法能够极大提高模型的泛化能力；学习率初始化设置为0.001，在训练过程中使用adagrad算法对学习率进行动态调整。24.优选的，所述基于npu芯片arm平台的无人机载鸟巢目标识别系统中的服务器端训练好的ssd-densenet模型通过调用otg接口加载进入arm平台，无人机在巡视电力线路时，摄像头捕捉电力线路信息，传输到arm平台，无人机捕捉的电力线路图像信息通过ssd-densenet模型标注出鸟巢目标的位置，arm平台实时输出无人机捕获的电力图像，并显示电力线路鸟巢目标检测的位置。25.本发明提供了基于npu芯片arm平台的输电线路异物识别检测系统。该基于npu芯片arm平台的输电线路异物识别检测系统具备以下有益效果：26.1.本发明，提出了一个基于arm平台的无人机载电力线路鸟巢检测识别系统，神经网络使用ssd-densenet网络模型,通过对样本进行叠加增强处理，提高了神经网络的泛化能力，识别鸟巢目标的准确率有了显著提升，通过将模型集成到arm平台，无人机搭载arm平台完成了实时检测鸟巢目标的任务；通过对比实验,最终确定ssd-densenet模型的压缩比为0.3时，在arm端能够达到实时检测鸟巢目标的要求。27.2.本发明，采用了一种名为ssd-densenet的神经网络结构来进行电力线路鸟巢目标检测，该模型结构包含特征提取器和检测器两个部分。特征提取器使用densenet网络结构，并对其进行了改进，即去掉最后的全局平均池化、全连接层和softmax层。检测器采用ssd算法模型结构，利用从6个不同尺度的特征层中提取的深层次特征信息来检测目标位置，同时，它还使用非极大值抑制法来过滤重复的检测结果，以获得最终的检测结果，该结构可更好地预测目标的位置和分类。28.3.本发明，ssd-densenet模型结构主要由两个部分组成：特征提取器和检测器；ssd检测器会在每个特征图上预测一组目标框，每个目标框包括类别置信度和位置信息，最终将所有特征图上的目标框合并在一起，得到最终的目标检测结果；ssd-densenet模型的结构可以根据不同的应用场景和需求进行调整，可以调整特征提取器和检测器的层数和通道数来平衡模型的精度和速度。此外，可以通过在训练数据上进行微调，来适应不同的目标类别和应用场景。附图说明29.图1为本发明结构鸟巢目标检测框架示意图；30.图2为本发明结构ssd-densenet模型结构示意图；31.图3为本发明结构数据增广示意图；32.图4为本发明结构不同背景的图像增广效果图示意图；33.图5为本发明结构原始数据和数据增广后的数据效果对比示意图；34.图6为本发明结构精确率曲线示意图；35.图7为本发明结构召回率曲线示意图；36.图8为本发明结构不同arm设备下的障碍物识别帧率示意图；37.图9为本发明结构不同压缩比下的精确率和召回率的对比示意图；38.图10为本发明结构目标检测结果示意图；39.图11为本发明结构目标漏检示意图。具体实施方式40.如图1-11所示，本发明提供一种技术方案：基于npu芯片arm平台的输电线路异物识别检测系统，包括基于npu芯片arm平台的无人机载鸟巢目标识别系统，其特征在于：基于npu芯片arm平台的无人机载鸟巢目标识别系统包含有数据增广模块，数据增广模块输出端信号连接有模型量化训练模块，模型量化训练模块输出端信号连接有模型保存模块，模型保存模块输出端信号连接有模型转换模块，模型转换模块输出端信号连接有模型加载模块，模型加载模块输出端信号连接有检测结果模块，模型加载模块输入端信号连接有获取识别目标模块；数据增广模块采用通过采用将两张图像使用不同权重叠加的方法，产生更多种类的样本数据,叠加公式如下：[0041][0042]其中imgnew为重叠后的图像，img1和img2分别为样本中两张不同的图像，和β为图像叠加的权重参数；基于npu芯片arm平台的无人机载鸟巢目标识别系统采用ssd-densenet的神经网络结构进行电力线路鸟巢目标检测，该模型结构包含特征提取器和检测器两个部分，特征提取器使用densenet网络结构，并对其进行了改进，即去掉最后的全局平均池化、全连接层和softmax层；检测器采用ssd算法模型结构，利用从6个不同尺度的特征层中提取的深层次特征信息来检测目标位置；[0043]ssd-densenet模型结构主要由两个部分组成：特征提取器和检测器；[0044]特征提取器采用了densenet网络结构，densenet网络结构由多个密集连接块和若干个过渡层组成，其中每个密集连接块都包含了若干个密集连接的卷积层，以及每个过渡层都包含了一个卷积层和一个池化层；[0045]检测器则采用ssd网络结构，用于检测图像中的目标，检测器由一系列卷积层和预测层组成，其中卷积层用于在特征图上进行卷积，得到不同大小的目标框，而预测层则用于预测目标框的类别和置信度；ssd检测器在每个特征图上预测一组目标框，每个目标框包括类别置信度和位置信息，最终将所有特征图上的目标框合并在一起，得到最终的目标检测结果；[0046]模型压缩模块用于提高神经网络模型对鸟巢目标的识别速率，达到目标实时检测的要求，需要对模型进行适当的压缩，减少神经网络的参数，包含以下几种神经网络压缩方法：[0047]参数量剪枝：通过删除不必要的网络连接或参数来减少模型的大小，可以使用人工设计的方法或自动化方法实现；[0048]权重量化：将网络的权重转换为低精度数据类型，如8位整数或浮点数，从而减少模型的大小；[0049]知识蒸馏：利用一个较大的教师模型的知识来训练一个较小的学生模型，从而在保持模型精度的同时减少模型的大小；[0050]网络结构搜索：使用自动化算法搜索最优的网络结构，同时满足模型的大小和性能要求；[0051]分组卷积：将卷积层中的输入和输出通道分组，从而减少计算量和模型大小；[0052]前向计算的量化：通过量化神经网络的激活值，从而减少计算量和模型大小；[0053]通过设置压缩比，压缩特征提取网络每一层的特征数量，从而减少网络的参数和计算量；[0054]模型量化模块采用训练时量化方法,使用浮点数训练网络，得到一个精度较高的模型；在训练好的模型的基础上，对网络的权重和激活进行动态量化；动态量化的方式有很多种，其中一种常见的方法是使用k-means聚类算法，将权重或激活量化为多个离散的值；在训练时,利用tensorflow的量化库，在训练和预测时通过在模型图中自动插入模拟量化操作来实现；并采用逐通道量化方法，将模型的权重和激活输出做8bit量化；[0055]训练时量化方法中网络训练及参数设置，神经网络使用主流的pytorch框架，在训练过程中，采用xavier初始化神经网络权重参数，根据前一层输入节点数和后一层输出节点数来初始化权重；每一次迭代神经网络对25张图像进行计算，一共进行30次迭代,使用adamw算法优化神经网络，adamw算法能够极大提高模型的泛化能力；学习率初始化设置为0.001，在训练过程中使用adagrad算法对学习率进行动态调整；[0056]基于npu芯片arm平台的无人机载鸟巢目标识别系统中的服务器端训练好的ssd-densenet模型通过调用otg接口加载进入arm平台，无人机在巡视电力线路时，摄像头捕捉电力线路信息，传输到arm平台，无人机捕捉的电力线路图像信息通过ssd-densenet模型标注出鸟巢目标的位置，arm平台实时输出无人机捕获的电力图像，并显示电力线路鸟巢目标检测的位置。[0057]为了获取丰富的无人机视角下的输电线路覆盖物数据，本文使用了无人机搭载的相机或激光雷达等设备对电力线路进行遥感拍摄或扫描，采集了不同背景下的365张电力线路鸟巢覆盖物图像，每张图像中包含的鸟巢数量不同；为了进行训练和测试，使用随机划分方法将这些图像分为训练集和测试集；其中，训练集包含300张图像，测试集包含65张图像；同时为了进行有监督训练使用labelimage工具箱对鸟巢数据进行人工标注，并用矩形标注框将每个鸟巢标记出来，然后将标记后的数据保存为xml文件，并与对应的图片进行配对；α和β为两个不同背景下的障碍物叠加后生成的图像如图3所示，其中将α和β的值分别设置为0.8和0.2；从图3中可以看出，两张图像叠加在一起后生成了更加复杂的背景，相比初始图像增加了很多噪声；图4所示为原始图像叠加不同的背景生产的图像，通过对比可以看出，不同的图像叠加后产生的新图像之间的噪声是不同的，图像的多样性增加了；[0058]在本文中，将图像模型的压缩比设置为0.3，并使用相同的网络和参数来分别训练原始数据和经过增广的数据；图5的表中列出了相应的结果，通过对比可以发现，在经过数据增广的训练后，模型在相同的测试集上的精确率和召回率都有所提升，如图6和图7所示；这表明，提出的数据增广方法对于电力线路鸟巢目标的检测是有效的；[0059]通过将ssd-densenet网络的压缩值调整为0.7、0.5和0.3，并进行10万次迭代，在不同的arm平台上测试帧率，结果如图8的表所示，证明了我们的方法的有效性；根据表格数据，不同arm平台处理图像的时间存在显著差异，这取决于设备的性能；在骁龙845平台上，图像处理的速度明显更快，而在骁龙710平台上，图像处理的速度则相对较慢；当压缩比为0.5和0.3时，能够达到帧率10帧/s以上,基本上能够满足目标实时检测的需求；[0060]本文测试了不同压缩比对识别鸟巢目标召回率和精准率的影响，结果如图9中表所示；当压缩比为0.7时精确度最高，当压缩比为0.3时，召回率的最高；当压缩比越大，网络每一层的特征层数越多，学习特征的能力越强，考虑到在arm端速度的影响，当压缩比为0.7时，不能够满足实时性的要求；当压缩比为0.5时的效果比压缩比0.3的效果要差一些，可能的原因是数据量比较小，较大的模型无法很好的学习目标的特征；通过对比不同的压缩比的速度、精确率和召回率；最终选择当压缩比为0.3时的网络模型；[0061]如图10所示，无人机在巡检电力线路时从获取的图像中检测出了鸟巢目标，通过无人机载ssd-densenet网络模型，高空无人机视角正确识别出一些较大的鸟巢目标，用矩形框标注出鸟巢目标的位置；如图11所示矩形框内不存在鸟巢目标，黑色矩形框为鸟巢目标的实际位置；图11中覆盖在电力线路的鸟巢与无人机相距较远，鸟巢目标在图像中的像素范围较小，当图像压缩至分辨率640×320时，鸟巢目标在图像中占的像素更小，导致神经网络无法有效获取目标特征结构，无法检测出鸟巢目标的位置；同时鸟巢的颜色与背景颜色非常接近，再加上目标很小，使得神经网络将覆盖物误判为背景，导致没有识别到正确的鸟巢目标。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!