一种图像分割方法、系统、电子设备及存储介质与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及图像分割领域，更具体地，涉及一种图像分割方法、系统、电子设备及存储介质。背景技术：2.图像分割是自动驾驶感知中最重要的技术之一,利用图像语义分割的结果可以得到车辆的可行驶区域信息、前方障碍物信息等。采用传统方法或深度学习方法进行图像语义分割会因为数据量不丰富，模型学习能力有限等造成分割结果不精确。因此，如何提高图像分割的准确率是自动驾驶中的难点之一。技术实现要素：3.本发明针对现有技术中存在的技术问题，提供一种图像分割方法、系统、电子设备及存储介质。4.根据本发明的第一方面，提供了一种图像分割方法，包括：5.采集不同场景下的自动驾驶图像数据，并对所述自动驾驶图像数据进行数据增强处理，获取训练数据集；6.基于所述训练数据集对dlinknet网络模型进行训练；7.基于训练后的dlinknet网络模型提取待处理图像数据中每一个像素的特征值；8.对待处理图像数据中每一个像素的特征值进行聚类后处理，获取所述待处理图像数据的图像分割结果，所述图像分割结果是指从所述待处理图像数据中分割出目标对象。9.根据本发明的第二方面，提供一种图像分割系统，包括：10.获取模块，用于采集不同场景下的自动驾驶图像数据，并对所述自动驾驶图像数据进行数据增强处理，获取训练数据集；11.训练模块，用于基于所述训练数据集对dlinknet网络模型进行训练；12.提取模块，用于基于训练后的dlinknet网络模型提取待处理图像数据中每一个像素的特征值；13.聚类模块，用于对待处理图像数据中每一个像素的特征值进行聚类后处理，获取所述待处理图像数据的图像分割结果，所述图像分割结果是指从所述待处理图像数据中分割出目标对象。14.根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现图像分割方法的步骤。15.根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现图像分割方法的步骤。16.本发明提供的一种图像分割方法、系统、电子设备及存储介质，对通过模型提取的分割特征进行聚类后处理，得到更为精确的图像分割结果，解决现有方法中由于数据量不丰富，模型学习能力有限等造成分割结果不精确的问题。提高自动驾驶中图像分割的精度。附图说明17.图1为本发明提供的一种图像分割方法的流程示意图；18.图2为图像分割方法的整体流程示意图；19.图3为本发明提供的一种图像分割系统的结构示意图；20.图4为本发明提供的一种可能的电子设备的硬件结构示意图；21.图5为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。具体实施方式22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。23.图1为本发明提供的一种图像分割方法，主要包括以下步骤：24.s1，采集不同场景下的自动驾驶图像数据，并对所述自动驾驶图像数据进行数据增强处理，获取训练数据集。25.作为实施例，所述采集不同场景下的自动驾驶图像数据，并对所述自动驾驶图像数据进行数据增强处理，获取训练数据集，包括：采集不同场景下的多张自动驾驶图像数据，将所有或部分自动驾驶图像数据进行旋转或翻转，将旋转或翻转后的自动驾驶图像数据以及原始自动驾驶图像数据均加入训练数据集；对所述训练数据集中的每一张自动驾驶图像数据中的目标对象进行多边形轮廓标注，生成含有目标类型和位置信息的mask图片作为标签。26.可理解的是，在对模型训练之前，需要获取训练数据集，采集不同场景下的自动驾驶图像数据，对部分自动驾驶图像数据进行数据增强(旋转及翻转)处理，扩充原有数据集，形成训练数据集，训练数据集中包括旋转和翻转后的自动驾驶图像数据和原始的自动驾驶图像数据。27.对训练数据集中的每一张自动驾驶图像数据进行标注，本发明中采用闭合多边形对自动驾驶图像数据中的目标对象的轮廓进行标注，标注完成后获得含有目标类别和位置信息的xml文件，将其进行格式转换生成png格式的mask图片文件作为标签，可用于dlinknet网络模型的训练。28.s2，基于所述训练数据集对dlinknet网络模型进行训练。29.可理解的是，本发明中采用dlinknet网络模型作为训练模型，该网络模型采用编解码器结构、膨胀卷积和预训练编码器来完成图像分割任务，主干网络基于残差网络(resnet)，neck部分基于膨胀卷积，head部分基于反卷积结构。30.在训练的过程中，对dlinknet网络模型构建损失函数，基于损失函数和所述训练数据集，对所述dlinknet网络模型进行训练。31.其中，损失函数为交叉熵损失函数，当dlinknet网络模型为二分类模型时，交叉熵损失函数的表达式为：[0032][0033]其中，yi表示样本i的标签，正类为1，负类为0，pi表示样本i预测为正类的概率。[0034]当dlinknet网络模型为多分类模型时，交叉熵损失函数的表达式为：[0035][0036]其中，m表示dlinknet网络模型输出的类别的数量；[0037]yic为符号函数，如果第i个样本真实类别等于c则取1，否则取0，pic为观测样本i属于类别c的预测概率。[0038]可理解的是，dlinknet网络模型的功能是对自动驾驶图像数据中的目标对象进行分割，也就是对自动驾驶图像数据中的每一个像素进行分类，每一个像素点属于目标对象还是背景还是其它的。[0039]根据图像分割任务的需求，dlinknet网络模型可以为二分类模型，也可以为多分类模型，可分别定义二分类模型的损失函数和多分类模型的损失函数。[0040]基于训练数据集和损失函数，对dlinknet网络模型进行训练，得到训练后的网络模型。[0041]s3，基于训练后的dlinknet网络模型提取待处理图像数据中每一个像素的特征值。[0042]s4，对待处理图像数据中每一个像素的特征值进行聚类后处理，获取所述待处理图像数据的图像分割结果，所述图像分割结果是指从所述待处理图像数据中分割出目标对象。[0043]可理解的是，基于训练后的dlinknet网络模型提取待处理图像数据中每一个像素的特征值，为了获得更加精确的图像分割结果，对模型提取的待处理图像数据中每一个像素的特征值进行后处理，后处理方法采用基于聚类的后处理方法。[0044]其中，fcm算法是一种基于划分的聚类算法，它的思想就是使得被划分到同一簇的对象之间相似度最大，而不同簇之间的相似度最小。模糊c均值算法是普通c均值算法的改进，普通c均值算法对于数据的划分是硬性的，而fcm则是一种柔性的模糊划分。[0045]对待处理图像数据的每一个像素的特征值进行聚类的步骤包括：[0046]a、获取待聚类样本d＝[d0,d1,d2,…,dm]，d表示各个像素的特征值，m表示像素的个数，各个像素的特征值均为浮点数；[0047]b、将d中元素进行均匀分布的初始化，使其满足约束条件，将初始化后的元素集合设为o,o＝[θ0,θ1,…,θm],n为初始化后元素的个数，各个初始化后的元素值为0到1之间的浮点数；[0048]c、根据o和迭代公式计算出聚类中心集合z，z＝(z0,z1,z2,…,zj),zj表示各个类别的聚类中心，j表示类别个数；[0049]d、基于所述聚类中心集合z，对元素集合o进行聚类，基于聚类结果计算目标函数j；[0050]e、比较目标函数是否满足预设条件，若满足，输出聚类结果，即为图像分割结果；若不满足，则重复执行c、d和e，直到目标函数值满足预设条件。[0051]其中，所述预设条件为目标函数值小于第一设定阈值或者当前目标函数值与上一次迭代的目标函数值的变化值小于第二设定阈值。[0052]通过上述的步骤a到步骤e不断循环进行聚类，直到目标函数值满足条件，输出图像分割结果。[0053]其中，基于聚类中心集合z，对元素集合o进行聚类，基于聚类结果计算目标函数j，包括：[0054]定义待聚类数据集大小为m，聚类中心点个数为c，uij为第i个数据对第j个中心点的隶属度并且0《uij《1，[0055]类似于k-means算法中的距离概念来定义目标函数，如下：[0056][0057]其中α为超参数，||xi-cj||表示第i个数据到第j个中心的距离，显然为了让分类更加合理，j应尽可能的小，当j不再减小或减小幅度不大时算法结束。[0058]本发明通过拉格朗日乘数法合并函数和约束条件本发明通过拉格朗日乘数法合并函数和约束条件基于距离概念计算目标函数j：[0059][0060]其中，ω1为加权系数。[0061]本发明对输入参数cj和uij求导，从而得到目标函数达到最小值的条件。[0062]首先对cj进行求导：[0063][0064][0065]然后对uij进行求导：[0066][0067][0068]就可以得到j最小时cj和uij对应的值，进行迭代前对cj和uij其中一个设置初始值，初始值随机。[0069]需要说明的是，在利用dlinknet网络模型对图像数据进行分割后，再对网络模型的分割结果进行聚类，可以将各个像素点的离群点进行修正也可以使得模型提取的特征类间差距更大，类内差距更小，最终使得分割效果更好。[0070]其中，在得到聚类结果后，之后包括：基于交并比miou和平均准确率macc评价指标评价聚类结果。交并比miou为聚类后的图像分割结果与实际图像分割结果之间的交并比，其计算公式为：[0071][0072]其中，i表示实际值，j表示预测值，pij表示将i预测为j的像素个数。[0073]平均准确率macc为所有类别的平均准确率,计算公式为：[0074][0075]其中，pi表示类别预测正确的个数，ni表示类别预测错误的个数，n为所有类别数。[0076]可理解的是，在通过聚类方法得到聚类结果后，基于交并比miou和平均准确率macc评价指标评价聚类结果，如果评价聚类结果良好，则输出聚类结果，即图像分割结果；如果评价聚类结果不佳，[0077]则重新进行聚类处理，直到得到比较良好的分割结果。[0078]通过上述后处理方法后的输出作为最终结果返回，将其映射到原始图像数据上即可获得效果更好的图像分割结果。其中，表1展示了没有聚类后处理和加入了聚类后处理的图像分割后的评价指标值。[0079]表1图像分割效果[0080][0081][0082]从表1中可以看出，加入聚类后处理的图像分割在精度上有所提高，miou提高3.7％，macc提高2.2％。[0083]参见图2，示出了本发明的图像分割方法的整个步骤，首先，获取图像分割训练数据集，对训练数据集中的部分图像数据进行数据增强，以扩充训练数据集。对扩充训练数据集中的每一张图像数据进行标注，以获取图像分割标签。[0084]基于扩充训练数据集和对应的标签，对dlinknet网络模型进行训练，获取训练后的dlinknet网络模型。基于训练后的dlinknet网络模型提取待处理图像数据中每一个像素的特征值，对每一个像素的特征值进行聚类，得到最后的聚类结果，即图像分割结果，相比不进行聚类后处理，图像分割精确性更好。[0085]参见图3，提供了本发明的一种图像分割系统，该系统包括获取模块301、训练模块302、提取模块303和聚类模块304，其中：[0086]获取模块301，用于采集不同场景下的自动驾驶图像数据，并对所述自动驾驶图像数据进行数据增强处理，获取训练数据集；[0087]训练模块302，用于基于所述训练数据集对dlinknet网络模型进行训练；[0088]提取模块303，用于基于训练后的dlinknet网络模型提取待处理图像数据中每一个像素的特征值；[0089]聚类模块304，用于对待处理图像数据中每一个像素的特征值进行聚类后处理，获取所述待处理图像数据的图像分割结果，所述图像分割结果是指从所述待处理图像数据中分割出目标对象。[0090]可以理解的是，本发明提供的一种图像分割系统与前述各实施例提供的图像分割方法相对应，图像分割系统的相关技术特征可参考图像分割方法的相关技术特征，在此不再赘述。[0091]请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提了一种电子设备400，包括存储器410、处理器420及存储在存储器410上并可在处理器420上运行的计算机程序411，处理器420执行计算机程序411时实现图像分割方法的步骤。[0092]请参阅图5，图5为本发明提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质500，其上存储有计算机程序511，该计算机程序511被处理器执行时实现图像分割方法的步骤。[0093]本发明实施例提供的一种图像分割方法、系统、电子设备及存储介质，首先采集图像数据，数据增广后进行标注，采用翻转及旋转等进行数据预处理；接着将预处理后的数据送入dlinknet网络模型中进行训练。训练完成后，可以利用训练完成后的dlinknet网络模型对图像数据进行图像分割，然后通过聚类后处理得到更为准确且完整的图像分割结果。通过以上步骤，可以解决由于数据量不丰富，模型学习能力有限等造成分割结果不精确的问题。[0094]需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。[0095]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。[0096]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0097]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0098]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0099]尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。[0100]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!