一种基于深度学习的桑葚菌核病严重度的检测方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及植物病情预测领域，具体为一种基于深度学习的桑葚菌核病严重度的检测方法。背景技术：2.桑树是一种多年生的经济型植物，在亚洲、欧洲、美洲和非洲广泛种植，过去5000多年里被用于丝绸产业，但近10多年来，以生产桑椹为主要目的的果桑产业快速发展，初步估计全国的果桑栽植面积已达到15,000hm2以上。然而在产业发展中，桑椹菌核病来势猛、发病快，在美国、韩国、日本以及中国果桑种植区普遍发生，发病率高达30％～90％，有些地方成千亩果桑园因病害导致桑果绝产，给果桑产业造成毁灭性危害。怎样快速的识别该病害，并对症下药，将直接影响果桑的质量与产量。近年来，随着计算机视觉技术的快速发展，基于计算机视觉的病虫害的自动化识别的研究也比较多。运用信息化、智能化的技术对生长过程中的桑果进行病害等级识别分类，从而实时监测桑葚果园的发病情况，对后续桑葚菌核病精准防治和精准施药具有重要的意义。3.现有技术中有采用生成对抗网络(generative adversarial networks，简称gan)技术来扩充农作物病虫害数据库，并采用基于移动端app的深度学习识别模型等技术作为未来农作物病虫害识别技术研究的方向与目标；现有技术中还有一种基于yolo卷积神经网络的番茄病虫害检测算法，同时建立了一个专家标注病虫害信息的真实自然环境下的番茄病虫害图像数据库；现有技术中还提出了一种改进的lenet-5模型.采用2018年ai challenger农作物病虫害检测中的番茄病虫害数据集，通过数据增强的方式对数据集进行扩充，使训练集的数量142800张；现有技术中还有仿照alexnet模型搭建了5个卷积层和2个全连接层和1个softmax分类层的模型结构；另外还有基于vgg-16的基础上，对cnn提取的特征进行bilinear处理，得到multi-branches b-cnn模型；现有技术中，将已经训练成熟的vgg-19模型优化番茄病虫害检测模型的参数进行迁移学习，并提取出番茄病虫害叶片图片的多层特征图；现有技术中还提到基于alexnet和inception提出了一中改进的cnn进行病虫害种类识别以及以测报灯下害虫图像数据库(约18万张)、田间病虫害图像数据库(约32万张)为基础，构建了基于深度学习方法的病虫害种类特征自动学习、特征融合、识别和位置回归计算框架，并研发了移动式病虫害智能化感知设备和自动识别系统。4.桑葚果实目标检测及其病虫害严重程度等级分类问题，在计算机领域中归为目标检测问题。其本质是在给定的图片中精确的找出桑果所在的位置，并识别出该桑果的病虫害严重等级类别。但区别于一般农作物的单目标图像分类问题，桑葚果实菌核病严重度检测问题属于多目标检测，检测困难度增加。且因桑果在其生长周期内，未成熟和成熟的果实、发病和未发病的果实，在形状形态及纹理上均有很大的相似之处，相比不同农作物之间的识别检测或不同害虫之间识别检测问题(图形学特征差别较大)有着很大的区别，其识别检测较困难。桑果在生长中，往往果实层叠在一起，加大了识别果实大小和位置的难度。此外，传统桑葚菌核病识别方法效率低，成本高。技术实现要素：5.鉴于现有技术中所存在的问题，本发明公开了一种基于深度学习的桑葚菌核病严重度的检测方法，采用的技术方案是，包括如下步骤：步骤1，获取桑果图片，并对图片分辨率进行转换；步骤2，提取三种不同尺寸的图像特征，获得特征层；步骤3，对所述步骤2获得的特征层进行特征检测并预测目标边界框、概率和类别，通过目标边界框获得特征图；步骤4，对所述步骤3中预测出的所有目标边界框位置和置信度进行非极大值抑制；步骤5，输出预测结果。6.作为本发明的一种优选技术方案，所述步骤1中，将图像分辨率大小转换为416×416。7.作为本发明的一种优选技术方案，所述步骤2中，使用darknet53主干特征提取网络结构提取13×13×75、26×26×75、52×52×75三种不同尺寸的图像特征。8.作为本发明的一种优选技术方案，所述步骤3中，通过yolo模型的yolo_head检测头对特征层进行检测，并由yolo模型进行边界的识别和结果预测。9.作为本发明的一种优选技术方案，所述yolo模型采用yolov3模型，yolo v3在同类型模型中拥有很高的精确率。10.作为本发明的一种优选技术方案，所述yolo模型将特征图划分为网格，每个网络点负责一个区域的检测，yolo网络在特征图中分别通过(4+1+c)×k个大小为1×1的卷积核进行预测，其中k为预设边界框的个数，c为预测目标的类别数。11.作为本发明的一种优选技术方案，所述步骤4中，将预测框的置信度定义为得分，取出每一类得分大于设定阈值的框和得分进行排序；利用框的位置和得分进行非极大抑制，最后可以得出概率最大的边界框，也就是最后显示出的框。12.作为本发明的一种优选技术方案，所述步骤1中通过迁移学习的方式训练模型的网络。13.作为本发明的一种优选技术方案，所述利用在pascal voc2007数据集上预训练的darknet53模型的权重文件，保留darknet53模型的卷积层结构，修改检测头的最后一层网络。14.本发明的有益效果：本发明通过使用yolov3模型进行自动化检测，使用在pascal voc2007数据集上预训练的darknet53模型权重进行迁移学习，降低模型训练成本，使用yolov3模型的检测头检测桑果图片，对特征进行识别后评分，识别效率高，识别准确，查准率和查全率高，成本低。附图说明15.图1为yolov3模型网络结构图；16.图2为darknet53网络结构图；17.图3为yolo_head的预测值组成；18.图4为本发明yolo_head预测框的示意图；19.图5为本发明检测系统功能结构图；20.图6为桑葚果实菌核病严重度检测识别系统开发部署流程图。21.图7为桑果菌核病严重程度分类标准的照片；22.图8为桑果菌核病严重程度系统检测识别结果的照片。具体实施方式23.实施例124.本实施例所用的桑果照片及视频主要采集于的湖北省农科院桑葚种植基地，采集的时间为2021年4月12日(武汉)、4月19日及4月29日(孝感)。如图7所示，对桑果菌核病严重程度分为以下5类：1)ds0正常果实；2)ds1 1级果实，症状面积约为0～20％；3)ds3 3级果实，症状面积约为21％～50％；5)ds5 5级果实，症状面积约为51％～90％；7)ds7 7级果实，症状面积约为91％～100％；25.经过视频图片提取、随机抽取和人工筛选(剔除过于模糊以及重复度较大的图片)，然后使用labelimg软件对桑果图片进行人工标注，形成图片和标签数据集，如图8所示。最终形成了约10000张图片用作深度学习算法模型的训练和验证，以及12880张图片作为模型检测效果测试。26.yolo(you only look once)是一种端到端的目标检测模型。该算法的基本思想是将图像划分成多个网格，然后为每一个网格同时预测边界框并给出相应概率。如果某个待检测目标的中心落在图像中所划分的一个单元格内，那么该单元格负责预测该目标位置和类别。yolov3是yolo算法改进后的第三个版本，同时具备较快的检测速度和较高的检测精度。其核心模块主要包含darknet53主干特征提取网络、上采样堆叠以及损失函数。图1为yolov3的网络模型结构图。27.yolov3模型的检测流程是，首先对图像分辨率大小转换为416×416，然后输入darknet53主干特征提取网络结构提取三种不同尺度的图像特征，接着对每个特征层进行预测目标边界框、概率和类别，最后对所有预测出的目标边界框的位置和得分进行非极大值抑制筛选，最后输出最终预测结果。28.yolov3中采用了darknet53作为主干网络，如图2所示，darknet53拥有53个卷积层结构(图2所示结构中去掉了最后的全连接层)，每个卷积层由一个conv2d二维卷积层、一个batchnorm正则化层和一个leakyrelu激活层构成(图2右上方)。从图2中看出，darknet53就是重复堆叠下采样卷积+n*残差块(n为残差块的个数)而组成。每个残差块(图2右下方)由两条支路组成，一条支路将上一层输出的特征图进行1×1卷积和3×3卷积操作，另一条支路将上一层输出的特征图进行恒等映射，两者相加得到新的特征层。29.yolov3的yolo_head检测头结构(如图1右半部分所示)由1×1卷积层和3×3卷积层交替使用，1×1卷积操作用来减少通道数，3×3卷积操作用来提取特征并增加通道数，整体特征图的宽高保持不变。yolo_head检测头的输出通道数为75，大小为13×13像素宽高的特征图由yolo_head1检测输出为13×13×75的结果；大小为26×26像素宽高的特征图由yolo_head2检测输出为26×26×75的结果；大小为52×52像素宽高的特征图由yolo_head3检测输出为52×52×75的结果。30.上述的这些检测结果还需要进一步的解码。yolov3的预测原理是分别将整幅图分为13×13、26×26、52×52的网格，每个网络点负责一个区域的检测。yolov3网络在三个特征图中分别通过(4+1+c)×k个大小为1×1的卷积核进行预测，k为预设边界框(bounding box prior)的个数(在每个预测特征层中k默认取3)，c为预测目标的类别数，yolo_head有13x13,26x26,52x52共3个检测头，每个检测头输出25个通道，即4+1+20。31.目标检测中模型不仅需要学习目标的类别，更需要学习到目标的位置和大小。通过根据经验在图像上预设好不同大小和不同长宽比的先验框，就有更高的概率获得对于目标物体有良好匹配度的预测框，即得到更大的交并比(intersection over union,iou)，使得模型更好更快的收敛。32.以13×13网格为例，yolo_head1输出的结果13×13×75＝13×13×(4+1+20)，其中等式右边括号内的4为tx，ty，tw，th4个值，(tx，ty)是先验框的中心位置的调整参数，(bx，by)是预测框的中心位置；(tw，th)是先验框的宽高调整参数，(bw，bh)是预测框的宽和高；1为pobj，用来计算预测边框内有目标物体的概率；20为20个不同类别的pclass，用来计算每个目标种类的概率，如图4所示。33.假定先验框中心所在网格的左上角坐标为(cx，cy)，先验框的宽和高为(pw,ph),预测结果值解码的计算公式如下：bx＝σ(tx)+cxby＝σ(ty)+cyypobj＝σ(pobj)pclass＝σ(pclass)预测边界框中心的坐标位置为bx＝σ(tx)+cx，by＝σ(ty)+cy，其中σ为sigmoid激活函数；预测边界框的宽和高分别为预测边界框内有无目标的置性度为pobj＝σ(pobj)；20个class目标类别，每个类别的置性度分别为pclass＝σ(pclass)。34.三个预测层的特征图大小以及每个特征图上预设边界框的尺寸如下：35.筛选最大概率的预测结果：1、将预测框的置信度定义为得分，取出每一类置信度大于0.5的框，并根据置信度得分进行排序；2、利用框的位置和得分进行非极大抑制。最后可以得出概率最大的边界框，也就是最后显示出的框。36.由于硬件算力、学习率函数、学习率初始值等超参数设置等原因，从新自训练主干网络通常需要大量的时间，且训练得到的模型参数效果不一定比预训练模型的效果好。为了使桑葚果实检测模型加快收敛并具有更强的泛化能力，故选择使用迁移学习技术，利用在pascal voc2007数据集上预训练的darknet53模型的权重文件。pascal voc2007是衡量图像分类识别能力基准的一个标准数据集。数据集共包含20个类别共计9963张图像。37.本实施例保留了darknet53模型的卷积层结构，修改了13×13，26×26，52×52三种检测头的最后一层网络，将最后一层卷积核的通道数量从75修改为了30，因此检测头的预测输出通道由3×(4+1+20)变为了3×(4+1+5)。训练时，为了不改变darknet53主干网络的权值，首先冻结主干网络，训练检测头；待收敛后，解冻主干网络，训练模型的全部网络。38.本实施例所使用的操作系统为windows10，处理器为amd r7-3700x 8核16线程，内存为64gb，配备nvidia rtx3090 24gb gpu。使用python 3.8与pytorch 1.9深度学习框架，图像处理使用pil图像库。同时使用cuda 11.3利用显卡加速运算。39.模型训练首先冻结主干网络，每次训练选取的样本数量为8，共1250次，进行30次迭代训练，使用adam优化算法和steplr学习率衰减策略，初始学习率为0.001，调整间隔为1个迭代周期，调整倍数为0.92，即每次迭代训练之后，如果模型性能没有提升，学习率则降低为原来的0.92倍；完成之后再解冻主干网络，设置初始学习率为0.0001，其余参数保持不变，继续进行30次迭代训练。40.为了验证yolov3模型的效果，在相同参数设置下将本模型与同样采用迁移学习技术的fasterrcnn、efficientdet、yolov4原始模型进行比较。41.精确率precision是从预测结果的角度来统计的，是说预测为正样本的数据中，有多少个是真正的正样本，即“查准率”，计算公式如下：precision＝tp/(tp+fp)上公式中的tp+fp即为所有的预测为正样本的数据，tp即为预测正确的正样本个数。42.精确率对比结果如下： yolo v4yolo v3efficientdetfasterrcnn菌核病果实精确率0.780.840.580.67健康果实精确率0.920.920.840.63平均精确率0.810.860.630.6643.通过上表比较可知，yolov3模型对健康果实、菌核病果实以及平均精确率上效果均为最优。44.再进行召回率(recall)的对比，召回率recall是在总的正样本中，模型找回的正样本，即“查全率”，计算公式如下：recall＝tp/(tp+fn)式中的tp+fn即为所有正样本的数据，tp为预测正确的正样本个数，召回率对比如下： yolo v4yolo v3efficientdetfasterrcnn菌核病果实召回率0.610.700.260.74健康果实召回率0.840.870.740.93平均召回率0.650.740.360.7845.由上表可知，yolov3模型的平均召回率略低于fasterrcnn模型，优于其他模型。46.进行平均精度ap和平均精度均值map的对比47.ap(average precision)为平均精度，使用积分的方式来计算pr曲线与坐标轴围成的面积。计算公式如下：48.mean average precision(map)是平均精度的均值，具体指的是不同召回率下的精度均值。在目标检测中，一个模型通常会检测很多种物体，那么每一类都能计算出一个ap值，而多个类别的ap值的平均就是map。49.ap衡量的是模型分别在每个类别上的好坏，map衡量的是模型在所有类别整体上的好坏。值的范围为[0,1]，约接近1则模型效果越好。 yolo v4yolo v3efficientdetfasterrcnn菌核病果实平均精度0.640.760.420.71健康果实平均精度0.910.930.850.88平均精度均值0.700.790.510.74[0050]由上表可知，yolov3模型的平均精确率ap以及平均精确率均值map均超越了其他模型。[0051]使用yolov3模型对健康桑葚果实和不同程度菌核病果实检测效果对比，结果如下： 健康ds1级ds3级ds5级ds7级精确度0.920.800.780.870.93召回率0.870.520.660.770.85平均精度0.930.590.710.820.91f1分数0.890.630.710.820.89[0052]由上表可知，yolov3模型在精确率、召回率、平均精确率以及f1分数上均有着较为相似的分布。从总体上看，yolov3对各等级桑果的检测效果得分从高往低排序是：ds0》ds7》ds5》ds3》ds1。经分析，造成此类规律的原因可能是在训练和测试的样本中，健康桑果的样本量较大，而最轻微发病的ds1级病果的样本量较小，所以识别效果得分较低。而且从桑果纹理及色泽上，ds1级的病果大多与健康桑果极为相似，仅有局部细微的差别。[0053]如图5、图6所示，本实施例还公开了基于上述算法模型，开发的桑葚果实菌核病严重度检测识别系统，系统采用了flask+vue技术进行前后端开发。flask是基于python语言的web后端开发框架，vue是基于javascript语言的用户界面前端开发框架。[0054]检测系统包括用户管理、识别检测和防治百科；识别检测的流程如下：先进行项目准备，再进行前端开发和后端开发，其中前端开发包括页面设计和编写、交互接口编写、前后端联调测试，后端开发包括接口服务设计、接口服务编写、前后端联调测试，前端开发完成后进行前端部署，后端开发完成后进行后端部署，前端部署和后端部署过程包括拷贝程序代码、安装运行环境、启动服务进程，部署完成后，即可通过web浏览器访问。[0055]识别检测模块是该系统的核心功能，随机选择一张桑果图片进行测试，检测结果包含了所有桑果菌核病的严重程度、桑果的宽高大小、置信度。[0056]针对桑葚果实菌核病严重程度人工检测效率低下的问题，本技术方案提出了采用yolov3模型进行自动化检测，使用在pascal voc2007数据集上预训练的darknet53模型权重进行迁移学习，并与efficientdet、fasterrcnn、yolov4四种原始模型进行了对比试验。经对比，yolov3模型的map值相对其他模型提高了7.1％～40％，其针对各种程度病果的平均ap相对其他模型提高了7％～80％，查准率和查全率也为最优或者次优。因此yolov3模型针对桑果菌核病检测任务具有较好的鲁棒性和可靠性。[0057]同时基于yolov3模型开发了一款在线桑葚果实菌核病检测识别系统，该系统可对拍摄的桑果图像和视频进行识别，可为桑葚种植中实现自动化病害监测和实时精准施药提供了可靠的软件处理平台。[0058]上述虽然对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，而不具备创造性劳动的修改或变形仍在本发明的保护范围以内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!