一种多任务实时烟雾检测方法与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明为计算机视觉和深度学习领域，具体涉及一种多任务实时烟雾检测方法。本质上是目标检测与图像分割的问题。背景技术：2.火灾是一种十分常见的灾害，对人民的生命安全和财产会造成极大的威胁。在火灾发生的初期，往往伴随着烟雾的出现，因此，如何准确的识别烟雾对预防火灾的发生具有至关重要的意义。在目前的图像烟雾检测任务中，如何在监控平台实现低延时、高精度的烟雾检测并报警，是一个具有挑战性的话题。此外，烟雾总是呈现半透明的状态，导致背景与自身高度复杂的混合，稀疏或细小的烟雾在视觉上并不明显，其边界往往模糊不清，这些烟雾自身的特点给烟雾检测任务造成了极大的困难。3.近年来，随着深度学习技术的蓬勃发展，已有许多图像分割与目标检测的方法，它们在许多领域都发挥着重要的作用。然而，这些方法大都无法满足实时性的要求，并且针对烟雾这种特定场景下的识别效果并不能满足社会生产需求，因此如何提升烟雾检测算法的精度同时满足实时性的要求，是一个亟待解决的问题。技术实现要素：4.本发明所要解决的是烟雾在图像中存在边界模糊不清等问题，增加了从背景中提取烟雾图像的难度。为了有效解决烟雾边界模糊不清的问题，将图像分割与图像检测相结合，增加图像中烟雾部分细节特征，提高检测精度。5.本发明采用的技术方案为：6.一种多任务实时烟雾检测方法，包括以下步骤：7.步骤1，从摄像头子码流或者视频中读入图片；8.步骤2，对读入的图片进行图像缩放和图像去噪预处理操作；9.步骤3，采用多任务学习网络对预处理后的图片进行处理分析，多任务学习网络包括两个分支：轻量化烟雾检测网络分支和实时烟雾分割网络分支；10.在轻量化烟雾检测网络分支中，图片经过三个卷积层结构，每层卷积核大小为3×3，然后连接batchnormalization归一化层和relu激活函数，得到原图片尺寸八分之一的特征图fs；然后将特征图fs经过一个金字塔池化模块，按照四种不同的比例将特征图划分为不同的子区域，在每个子区域内执行池化，获取不同尺度特征，最后将输出的池化特征经过上采样操作后与fs进行叠加，得到新的特征图fc；11.在实时烟雾分割网络分支中，图片经过连续三个下采样操作，生成原图片尺寸十六分之一的特征图，记为f1，将f1继续经过一次下采样操作，输出记为f2，尺寸为原图片尺寸的三十二分之一，将f2继续经过一次全局池化获得f3；然后将f1和f2分别经过高效通道注意力模块变为一维通道特征图，将一维通道特征图与一个卷积核大小为k的卷积层进行卷积操作，k表示本地跨信道交互的覆盖范围，分别获得新的一维注意力图，分别将一维注意力图对应与f1和f2相乘，获得新的注意力特征图f1n和f2n，将f3经过上采样操作与f2n进行特征叠加，叠加后再经过上采样操作与f1n进行叠加，叠加后再经过上采样操作得到特征f1n+2n+3，将f1n+2n+3与轻量化烟雾检测网络的输出fc进行叠加得到特征fcon，叠加后的特征fcon通过特征融合模块的通道注意力机制生成通道注意力图，然后与fcon相乘后得到fcon_a，再与fcon叠加，生成新的特征图进行损失函数计算；12.步骤4，将步骤3得到的烟雾分割结果和烟雾检测结果相结合，判断是否有烟雾产生。13.本发明相比现有技术具有如下优点：14.1具有较高的检测精度。增加了烟雾区域边缘细节特征，提升了检测准确率；15.2具有较高的检测效率。减少了算法模型的参数量，降低了模型算力需求，提高了检测效率。附图说明16.图1是本发明方法的流程图。具体实施方式17.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。18.本实施例提供一种多任务实时烟雾检测方法，具体步骤如图1所示，包括以下步骤：19.(1)从摄像头码流或者视频中读入图片，完成数据的采集。20.(2)对读入的图片采用图像缩放和图像去噪操作，提高最终的检测精度。21.(3)采用多任务学习网络对图片进行处理分析，首先将输入图片转换为4维张量[n,c,h,w]，其中n表示输入的数量，c表示特征图的通道数,h,w分布表示特征图的高宽。将图片以张量的形式分别同时输入到实时烟雾分割网络和轻量化烟雾检测网络两个分支中。[0022]对于实时烟雾分割网络，采用基于bisenet双路径图像分割网络，该网络包括空间路径和上下文路径，并且在空间路径中引入了金字塔池化模块，目的在于提升网络的多尺度特征提取能力，在上下文路径中引入了轻量级通道注意力模块，目的在于减少算法的复杂度满足实时性的要求，最后将两个路径输出的特征图通过特征融合模块进行特征融合，得到烟雾分割结果。对于轻量化烟雾检测网络，采用基于anchor-free策略的fcos范式网络，anchor-free策略可以有效减少网络参数，同时将其骨干网络设置为mobilenetv2并且去掉了全连接层，这一改进措施在满足检测精度的基础上大大提升了烟雾检测的速度，同时引入特征金字塔模块，可以有效增强检测网络的多尺度性能，进而提升检测精度。具体结构如下：[0023]在轻量化烟雾检测网络分支中，图片经过三个卷积层结构，每层卷积核大小为3×3，然后连接batchnormalization归一化层和relu激活函数，得到原图片尺寸八分之一的特征图fs；然后将特征图fs经过一个金字塔池化模块，按照四种不同的比例将特征图划分为不同的子区域，在每个子区域内执行池化，获取不同尺度特征，最后将输出的池化特征经过上采样操作后与fs进行叠加，得到新的特征图fc；[0024]在实时烟雾分割网络分支中，图片经过连续三个下采样操作，生成原图片尺寸十六分之一的特征图，记为f1，将f1继续经过一次下采样操作，输出记为f2，尺寸为原图片尺寸的三十二分之一，将f2继续经过一次全局池化获得f3；然后将f1和f2分别经过高效通道注意力模块变为一维通道特征图，将一维通道特征图与一个卷积核大小为k的卷积层进行卷积操作，k表示本地跨信道交互的覆盖范围，分别获得新的一维注意力图，分别将一维注意力图对应与f1和f2相乘，获得新的注意力特征图f1n和f2n，将f3经过上采样操作与f2n进行特征叠加，叠加后再经过上采样操作与f1n进行叠加，叠加后再经过上采样操作得到特征f1n+2n+3，将f1n+2n+3与轻量化烟雾检测网络的输出fc进行叠加得到特征fcon，叠加后的特征fcon通过特征融合模块的通道注意力机制生成通道注意力图，然后与fcon相乘后得到fcon_a，再与fcon叠加，生成新的特征图进行损失函数计算；[0025]本实施例两种网络的训练图片共有9300张，其中7000张用作训练，2300张用作测试。所有采集的图片均为24位rgb图像，分辨率从256×256到1920×1080，并且以统一命名方式排列。[0026]网络的训练采用交叉熵与dice融合损失函数计算误差，并采用随机梯度下降法进行权重更新。[0027](4)将步骤(3)得到的烟雾分割结果与烟雾检测结果相结合，判断是否有烟雾产生，如果有则输出报警信息以及位置信息，供后续专家系统分析使用。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!