异常分类模型的训练方法、异常监控方法、设备及介质与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术异常分类模型的训练方法、异常监控方法、设备及介质【技术领域】1.本技术涉及一种异常分类模型的训练方法、自动扶梯的异常监控方法、设备及介质，属于图像识别技术领域。背景技术：2.自动扶梯能够向上或向下倾斜运送乘客。随着自动扶梯的广泛使用，自动扶梯使用时的安全事故频发。基于此，需要对自动扶梯上的异常进行监控。3.传统的自动扶梯的异常监控方式包括：将采集到的自动扶梯的图像输入预先训练的神经网络模型中，以得到监控结果。其中，神经网络模型为残差神经网络(residual net，resnet)或者稠密卷积网络(dense convolutional network，densenet)等深度学习网络模型。4.然而，深度学习网络模型的网络结构复杂、模型参数较多、内存占用较大，这就会导致监控结果的推理速度较慢，对设备的硬件要求较高的问题。技术实现要素：5.本技术提供了一种异常分类模型的训练方法、自动扶梯的异常监控方法、设备及介质，可以解决传统的自动扶梯的异常监控方式由于使用深度学习网络模型，导致的监控结果的推理速度较慢，对设备的硬件要求较高的问题。本技术提供如下技术方案：6.第一方面，提供一种异常分类模型的训练方法，所述方法包括：7.获取自动扶梯的样本图像和所述样本图像对应的至少一张掩膜标签图像，所述掩膜标签图像用于指示所述样本图像是否包括对应种类的异常目标；8.将所述样本图像输入预先创建的卷积神经网络，得到网络分类图像，所述卷积神经网络包括输入层、与所述输入层相连的多个相互级联的特征提取结构、与最后一个特征提取结构相连的非线性变换结构、以及与所述非线性变换结构相连的输出层；所述非线性变换结构用于将所述特征提取结构输出的特征图的特征像素值转换为与所述掩膜标签图像的像素值区间相匹配的掩膜像素值，得到所述网络分类图像；9.将所述网络分类图像和所述样本图像对应的掩膜标签图像输入预设损失函数，得到损失结果；10.基于所述损失结果调整所述卷积神经网络的网络参数，以训练得到异常分类模型，以使用所述异常分类模型进行自动扶梯的异常监控。11.可选地，每个特征提取结构包括n个级联的卷积结构、与最后一个卷积结构相连的m个空洞卷积结构、以及与所述空洞卷积结构相连的卷积块；所述n和所述m均为正整数；12.每个卷积结构包括多个级联的卷积块、以及与最后一个卷积块相连的最大池化层；所述级联的卷积块用于对上一层的输入进行特征提取。13.可选地，所述n为3，所述m为1；14.第一个卷积结构包括2个级联的卷积块，且各个卷积块的输入通道数为3、输出通道数为32，卷积核尺寸为5×5；15.第二个卷积结构包括3个级联的卷积块，且各个卷积块的输入通道数为32、输出通道数为64，卷积核尺寸为5×5；16.第三个卷积结构包括4个级联的卷积块，且各个卷积块的输入通道数为64、输出通道数为64，卷积核尺寸为5×5；17.所述空洞卷积结构的输入通道数为64、输出通道数为1024，卷积核尺寸为3×3，扩张率为4；18.与所述空洞卷积结构相连的卷积块输入通道数为1024、输出通道数为所述异常目标的分类数，卷积核尺寸为1×1。19.可选地，所述异常目标包括至少两种，所述获取自动扶梯的样本图像和所述样本图像对应的至少一张掩膜标签图像，包括：20.对于每张样本图像，使用标签工具对所述样本图像中的各个异常目标进行标注，得到标签文件；21.对所述标签文件进行解析，以将所述标签文件中标注区域对应的像素值设置为标签像素值，得到所述样本图像对应的样本掩膜特征图像，不同异常目标对应的标签像素值不同；22.基于所述标签像素值将所述样本掩膜特征图像分成各种异常目标分别对应的掩膜标签图像；每种异常目标对应的掩膜标签图像通过第一掩膜像素值指示所述异常目标所在区域，通过第二掩膜像素值指示除所述异常目标之外的其它区域，所述第一掩膜像素值和所述第二掩膜像素均位于所述掩膜标签图像的像素值区间内。23.可选地，所述将所述网络分类图像和所述样本图像对应的掩膜标签图像输入预设损失函数，得到损失结果之前，还包括：24.对所述掩膜标签图像进行异常目标的连通域确定；25.在确定出的连通域中像素点的数量大于或等于数量阈值的情况下，确定所述掩膜标签图像用于指示具有所述异常目标；26.在确定出的连通域中像素点的数量小于数量阈值的情况下，确定所述掩膜标签图像用于指示不具有所述异常目标。27.可选地，所述预设损失函数包括均方差损失函数，相应地，所述损失结果包括所述均方差损失函数输出的均方差损失结果。28.另一方面，提供一种自动扶梯的异常监控方法，所述方法包括：29.获取对待监控的自动扶梯进行图像采集得到的目标图像；30.将所述目标图像输入至上述方面提供的异常分类模型中，得到至少一张掩膜特征图像；31.确定所述掩膜特征图像是否存在异常目标连通域；32.若存在，则所述目标图像包括异常目标并进行告警处理。33.可选地，所述异常目标包括第一异常目标和第二异常目标，所述掩膜特征图像包括第一掩膜特征图像和第二掩膜特征图像，所述异常目标分类模型的输出层包括第一输出层和第二输出层，所述第一输出层输出的第一掩膜特征图像用于指示是否包括所述第一异常目标；所述第二输出层输出第二掩膜特征图像用于指示是否包括所述第二异常目标；34.所述方法还包括：35.在所述第一掩膜特征图像指示包括所述第一异常目标的情况下，确定所述目标图像包括第一异常目标；36.在所述第二掩膜特征图像指示包括所述第二异常目标的情况下，确定所述目标图像包括第二异常目标。37.第二方面，提供一种电子设备，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的异常分类模型的训练方法，或实现第二方面提供的自动扶梯的异常监控方法。38.第三方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的异常分类模型的训练方法，或实现第二方面提供的自动扶梯的异常监控方法。39.本技术的有益效果至少包括：通过获取自动扶梯的样本图像和样本图像对应的至少一张掩膜标签图像，掩膜标签图像用于指示样本图像是否包括对应种类的异常目标；将样本图像输入预先创建的卷积神经网络，得到网络分类图像，卷积神经网络包括输入层、与输入层相连的多个相互级联的特征提取结构、与最后一个特征提取结构相连的非线性变换结构、以及与非线性变换结构相连的输出层；将网络分类图像和样本图像对应的掩膜标签图像输入预设损失函数，得到损失结果；基于损失结果调整卷积神经网络的网络参数，以训练得到异常分类模型，以使用异常分类模型进行自动扶梯的异常监控；可以解决传统的自动扶梯的异常监控方式由于使用深度学习网络模型，导致的监控结果的推理速度较慢，对设备的硬件要求较高的问题；由于非线性变换结构将特征提取结构输出的特征图的特征像素值转换为与掩膜标签图像的像素值区间相匹配的掩膜像素值，使得异常分类模型能够在特征图的级别上对目标图像中的异常目标的分类，与传统的神经网络模型相比，非线性变换结构的计算量远远小于传统的神经网络模型中特征提取结构之后的特征融合层、分类层等的计算量，可以使得异常分类模型更加轻量化，提高异常分类模型的推理速度，并降低对设备的硬件要求。40.另外，通过将特征提取结构设置为简单的网络层级联即可实现特征提取，可以简化网络结构。同时，通过结合最大池化层来降低特征图的分辨率，可以减少特征提取结构的计算量，提高计算速度。同时，结合空洞卷积扩大特征图的感受野，可以提高特征图的准确度。41.另外，通过使用均方误差损失函数对卷积神经网络的网络参数进行调整以得到异常分类模型，使得模型输出的特征图与掩膜标签图像之间的差异表达为图像像素点级别的差异，可以提高模型生成异常目标的掩膜特征图像的精度。42.另外，通过将样本图像中的各种异常目标对应的样本掩膜特征图像自动划分为每种异常目标对应的掩膜标签图像，可以提高掩膜标签图像的生成效率。43.另外，通过获取对待监控的自动扶梯进行图像采集得到的目标图像；将目标图像输入预先训练的异常分类模型，得到至少一张掩膜特征图像，以使用至少一张掩膜特征图像确定是否包括异常目标；可以解决传统的自动扶梯的异常监控方式由于使用深度学习网络模型，导致的监控结果的推理速度较慢，对设备的硬件要求较高的问题；由于非线性变换结构将特征图的特征像素值转换为与掩膜标签图像的像素值区间相匹配的标签像素值，使得异常分类模型能够在特征图的级别上对目标图像中的异常目标的分类，与传统的神经网络模型相比，非线性变换结构的计算量远远小于传统的神经网络模型中特征提取结构之后的特征融合层、分类层等的计算量，可以使得异常分类模型更加轻量化，提高异常分类模型的推理速度，并降低对设备的硬件要求。同时，通过在存在异常目标连通域的情况下进行告警处理，使得用户可以及时感知到异常，以提高异常处理的及时性。44.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，并可依照说明书的内容予以实施，以下以本技术的较佳实施例并配合附图详细说明如后。【附图说明】45.图1是本技术一个实施例提供的异常分类模型的训练方法的流程图；46.图2是本技术一个实施例提供的掩膜标签图像的示意图；47.图3是本技术一个实施例提供的卷积神经网络的示意图；48.图4是本技术一个实施例提供的空洞卷积过程的示意图；49.图5是本技术一个实施例提供的卷积块的示意图；50.图6是本技术一个实施例提供的随迭代次数增加均方差损失结果和交并比变化的示意图；51.图7是本技术一个实施例提供的自动扶梯的异常监控方法的流程图；52.图8是本技术一个实施例提供的异常分类模型的训练装置的框图；53.图9是本技术一个实施例提供的自动扶梯的异常监控装置的框图；54.图10是本技术一个实施例提供的电子设备的框图。【具体实施方式】55.下面结合附图和实施例，对本技术的具体实施方式做进一步详细描述。以下实施例用于说明本技术，但不用来限制本技术的范围。56.可选地，本技术以各个实施例提供的自动扶梯的异常监控方法用于电子设备中为例进行说明，该电子设备为终端或服务器，终端可以为手机、计算机、平板电脑、扫描仪、电子眼、监控摄像头等，本实施例不对电子设备的类型作限定。57.图1是本技术一个实施例提供的异常分类模型的训练方法的流程图，该方法至少包括以下几个步骤：58.步骤101，获取自动扶梯的样本图像和样本图像对应的至少一张掩膜标签图像，掩膜标签图像用于指示样本图像是否包括对应种类的异常目标。59.在一个示例中，获取样本图像，包括：从对自动扶梯的监控视频中获取数据样本；以预设比例对数据样本进行划分得到训练集和验证集，其中，训练集中的数据样本即为样本图像。预设比例可以为8:2、或者7:3等，本实施例不对预设比例的取值作限定。60.在得到训练集后，电子设备还可以对训练集中的数据进行数据增强，以避免样本图像的采集场景比较单一、训练得到的模型性能较差的问题，从而提高样本图像的样本丰富性、以及模型的泛化能力。其中，数据增强的方式包括但不限于：平移、旋转、镜像、添加噪声和/或色彩抖动，本实施例不对数据增强的方式作限定。61.另外，由于异常分类模型处理的图像尺寸比较固定，因此，本实施例中，还需要将样本图像的图像尺寸调整至与异常分类模型相匹配。此时，电子设备使用双线性差值法对各个样本图像进行缩放处理，以使样本图像的尺寸为与异常分类模型相匹配的预设尺寸。其中，预设尺寸可以是512*512像素、或者也可以256*256像素，本实施例不对预设尺寸的取值作限定，图2中以预设尺寸是512*512像素为例进行说明。62.在得到样本图像后，对样本图像进行标注，得到异常目标的坐标位置，从而获得异常目标的类别标签。63.在一个示例中，异常目标包括至少两种，获取自动扶梯的样本图像和样本图像对应的至少一张掩膜标签图像，包括：对于每张样本图像，使用标签工具对样本图像中的各个异常目标进行标注，得到标签文件；对标签文件进行解析，以将标签文件中标注区域对应的像素值设置为标签像素值，得到样本图像对应的样本掩膜特征图像，不同异常目标对应的标签像素值不同；基于标签像素值将样本掩膜特征图像分成各种异常目标分别对应的掩膜标签图像；每种异常目标对应的掩膜标签图像通过第一掩膜像素值指示异常目标所在区域，通过第二掩膜像素值指示除异常目标之外的其它区域，第一掩膜像素值和第二掩膜像素均位于掩膜标签图像的像素值区间内。64.示意性地，掩膜标签图像的像素值区间为[0，1]，第一掩膜像素值为1，第二掩膜像素值为0。[0065]比如：以标签工具为labelme工具、异常目标为大件行李及婴儿车为例。电子设备利用labelme工具对每张样本图像中的大件行李及婴儿车这两类异常目标进行标注，生成.json文件。之后，解析生成的.josn文件能够得到样本图像和该样本图像对应的标签文件，该标签文件将标记区域内的像素值转为标签值，即背景区域内像素值设为0，大件行李区域内的像素值设为1，婴儿车区域内的像素值设为2，从而生成该样本图像的样本掩膜特征图像。最后，将每张样本掩膜特征图像分成两张掩膜标签图像，第一张代表是否有大件行李，如果有，则大件行李对应区域内的像素值为1，其他背景区域为0；第二张代表是否有婴儿车，如果有，则婴儿车对应区域内的像素值为1，其他背景区域为0。[0066]参考图2，将样本图像进行标注后，得到两张样本掩膜特征图像，第一张代表是否有大件行李、第二张代表是否有婴儿车，如果有，则大件行李及婴儿车对应区域的像素值为1，其它区域的像素值为0。相应地，使用样本掩膜特征图像训练得到的异常分类模型得到的监控结果也包括两张掩膜特征图像，第一张代表是否有大件行李、第二张代表是否有婴儿车，具体参见下文描述。[0067]步骤102，将样本图像输入预先创建的卷积神经网络，得到网络分类图像，卷积神经网络包括输入层、与输入层相连的多个相互级联的特征提取结构、与最后一个特征提取结构相连的非线性变换结构、以及与非线性变换结构相连的输出层；非线性变换结构用于将特征提取结构输出的特征图的特征像素值转换为与掩膜标签图像的像素值区间相匹配的掩膜像素值，得到网络分类图像。[0068]传统的自动扶梯的异常监控方式中使用的神经网络模型，特征提取结构之后通常会连接多层网络层，比如：多尺度特征融合层、和/或分类层等，此时，即便特征提取结构使用轻量级的网络结构，但是由于该特征提取结构之后的网络层依然较多，因此，使得整体的神经网络模型依然较大。[0069]基于此，本实施例中创造性地将特征提取结构之后的各个网络层替换为非线性变换结构，将特征图的特征像素值转换为与掩膜标签图像的像素值区间相匹配的掩膜像素值，使得使用卷积神经网络训练得到的异常分类模型能够在特征图的级别上对异常目标进行分类，同时与上述传统的神经网络模型相比，该异常分类模型更加轻量化。[0070]其中，非线性变换结构为基于非线性函数实现的一层网络层，其计算量远远小于传统的神经网络模型中特征提取结构之后的特征融合层、分类层等的计算量。[0071]示意性地，以掩膜标签图像的像素值区间为[0，1]、且特征提取结构输出的特征图中每个像素点的像素值均大于0为例，非线性变换结构为双曲正切函数(tanh)函数。根据tanh函数的曲线特性可知，在函数的输入值大于0的情况下，函数的输出值的取值范围为[0，1]。基于此，将特征提取结构输出的特征图中的各个像素值输入tanh函数后，转换后得到的各个像素值对应的像素得分值均属于[0，1]。[0072]可选地，为了进一步地使得异常分类模型轻量化，每个特征提取结构包括n个级联的卷积结构、与最后一个卷积结构相连的m个空洞卷积结构、以及与空洞卷积结构相连的卷积块；n和m均为正整数。[0073]其中，每个卷积结构包括多个级联的卷积块、以及与最后一个卷积块相连的最大池化层；级联的卷积块用于对上一层的输入进行特征提取；最大池化层用于降低卷积块提取得到的特征图的分辨率。[0074]空洞卷积结构用于在不改变分辨率的情况下，扩大上一层输出的特征图的感受野并获得多尺度语义信息。[0075]与空洞卷积结构相连的卷积块用于减少空洞卷积结构输出的特征图的通道数，减少后的通道数基于异常目标的分类数确定。[0076]本实施例中，特征提取结构仅通过简单的网络层级联即可实现特征提取，可以简化网络结构。同时，通过结合最大池化层来降低特征图的分辨率，可以减少特征提取结构的计算量，提高计算速度。同时，结合空洞卷积扩大特征图的感受野，可以提高特征图的准确度。[0077]在一个示例中，异常分类模型的结构参考图3所示，异常分类模型包括特征提取结构31和非线性变换结构32。图3中以特征提取结构31中的n为3，m为1为例进行说明，第一个卷积结构包括2个级联的卷积块，且各个卷积块的输入通道数为3、输出通道数为32，卷积核尺寸为5×5，具体地，第一个卷积结构的输入可以为rgb三通道图；第二个卷积结构包括3个级联的卷积块，且各个卷积块的输入通道数为32、输出通道数为64，卷积核尺寸为5×5；第三个卷积结构包括4个级联的卷积块，且各个卷积块的输入通道数为64、输出通道数为64，卷积核尺寸为5×5；空洞卷积结构的输入通道数为64、输出通道数为1024，卷积核尺寸为3×3，扩张率为4；与空洞卷积结构相连的卷积块输入通道数为1024、输出通道数为异常目标的分类数，卷积核尺寸为1×1。最后，特征提取结构31输出的特征图经非线性结构32计算后，得到网络分类图像。[0078]根据图3可知，在异常目标包括至少两种的情况下，每种异常目标对应一张网络分类图像，不同种类的异常目标对应不同的网络分类图像。每种异常目标对应的网络分类图像用于指示是否存在对应的异常目标。相应地，输出层包括至少两个，每个输出层对应输出一种异常目标对应的网络分类图像，不同种类的异常目标对应的输出层不同。[0079]图3中以异常目标包括大件行李和婴儿车为例，此时，卷积核尺寸为1×1的卷积块的输出通道数为2。在其它实施例中，异常目标也可以设置成其它类型，比如：异常目标包括自动扶梯围裙板和梯级之间的间隙存在异物、自动扶梯上下梯级之间存在异物、乘客的脚与自动扶梯上的毛刷接触、和/或乘客的站立位置与自动扶梯围裙板之间的距离小于预设距离阈值等，本实施例不对异常目标的划分方式作限定。[0080]参考图4所示的空洞卷积的计算过程，一个输入尺寸是5像素×5像素的特征图41，经过卷积和为3×3的空洞卷积42后输出的特征图43尺寸仍为5像素×5像素，但是其感受野较大。[0081]可选地，参考图5，每个卷积块包括依次相连的卷积层51、批量归一化层52和非线性修正线性单元(rectified linear unit，relu)层53，其中，卷积层51用于进行特征提取，批量归一化层52和非线性relu层53用于提高异常分类模型在训练时的收敛速度。[0082]根据图5所示的卷积块，由于卷积块包括relu层，而relu函数的取值范围为大于或等于0的值，因此，特征提取层输出的特征图中各个像素点的像素值均大于或等于0。此时，特征图的像素值可能会大于1，这与掩膜标签图像的像素值区间不符。基于此，本实施例中，使用tanh函数计算特征图的像素值的像素得分值，使得转换后的像素值均位于掩膜标签图像的像素值区间内。[0083]步骤103，将网络分类图像和样本图像对应的掩膜标签图像输入预设损失函数，得到损失结果。[0084]由于掩膜标签图像是对样本图像中的标注区域进行像素变换得到的，因此，掩膜标签图像的尺寸与样本图像的尺寸相同。但是，卷积神经网络中由于最大池化层的存在会缩小样本图像的尺寸，导致最终输出的网络分类图像的尺寸小于样本图像的尺寸。基于此，在将样本图像对应的掩膜标签图像输入预设损失函数之前，需要按照卷积神经网络缩小样本图像的比例缩小掩膜标签图像。比如：在图3所示的网络模型中会对输入的图像缩小1/8，因此，在将样本图像对应的掩膜标签图像输入预设损失函数之前，会将该掩膜标签图像缩小至原始图像的1/8。[0085]具体地，由于每个异常目标都对应一个网络分类图像，因此，对于每个网络分类图像，将该网络分类图像和该网络分类图像对应的掩膜标签图像输入预设损失函数，以分别计算每个网络分类图像的损失结果。[0086]在一个示例中，预设损失函数包括均方差损失函数，相应地，损失结果包括均方差损失函数输出的均方差损失结果。[0087]示意性地，均方差损失函数通过下式表示：[0088][0089]其中，n代表网络分类图像和掩膜标签图像中的像素点总数，xi表示网络分类图像的每个像素点的像素得分值，yi表示掩膜标签图像对应像素点的标签值。[0090]在其它实施例中，预设损失函数也可以包括其它类型的损失函数，如1范数损失、交叉熵损失等，本实施例不对预设损失函数的实现方式作限定。[0091]可选地，由于使用标签工具标注得到的样本掩膜特征图像可能存在标注错误，导致将样本图像上误选中的区域作为某个异常目标的标注区域，此时，会生成该异常目标对应的掩膜标签图像。为了提高掩膜标签图像的准确性，需要对误操作生成的掩膜标签图像进行过滤。由于误选中的区域通常较小，基于此，将网络分类图像和样本图像对应的掩膜标签图像输入预设损失函数，得到损失结果之前，还包括：对掩膜标签图像进行异常目标的连通域确定；在确定出的连通域中像素点的数量大于或等于数量阈值的情况下，确定掩膜标签图像用于指示具有异常目标；在确定出的连通域中像素点的数量小于数量阈值的情况下，确定掩膜标签图像用于指示不具有异常目标。[0092]可选地，对掩膜标签图像进行异常目标的连通域确定，包括：使用two-pass算法计算掩膜标签图像中具有相同像素值、且位置相邻的前景像素点的连通域，得到异常目标的连通域。其中，前景像素点的像素值为第一掩膜像素值，前景像素点之外的背景像素点的像素值为第二掩膜像素值，比如：第一掩膜像素值为1、第二掩膜像素值为0，则像素值为1的各个像素点构成异常目标的连通域。[0093]另外，在未确定出掩膜标签图像中的异常目标的连通域的情况下，确定掩膜标签图像用于指示不具有异常目标。[0094]步骤104，基于损失结果调整卷积神经网络的网络参数，以训练得到异常分类模型，以使用异常分类模型进行自动扶梯的异常监控。[0095]具体地，电子设备每次采用最小批量法计算损失结果和更新权重，在训练时采用adam优化算法和steplr学习率策略对卷积神经网络进行迭代训练，得到异常分类模型。在迭代训练过程中，模型输出的特征图(即网络分类图像)与掩膜标签图像之间的差异表达为图像像素点级别的差异，通过不断拟合掩膜标签图像，使得特征图中的像素得分值逐渐接近掩膜标签图像中的标签值(即像素值)，以此实现图像对异常目标的分割，进一步地通过特征图的像素值表示出样本图像中是否含有异常目标。[0096]可选地，电子设备还可以在训练得到当前的网络模型后，使用验证集对当前得到的网络模型进行验证。[0097]可选地，在训练过程的迭代次数达到预设次数后，还可以获取当前训练得到的网络模型的模型性能。示意性地，电子设备在训练过程的迭代次数达到预设次数的情况下，电子设备计算各个异常目标的网络分类图像和真实值的交集与并集的比值，得到交并比(intersection-over-union，iou)，基于该交并比确定模型性能。其中，交并比与模型性能呈正相关关系。[0098]参考图6，以预设次数为100次为例，根据图6可知，在训练100个批次(epoch)后，训练集的均方差损失结果逐渐降低至0.001左右，iou得分值上升至0.99左右；验证集loss逐渐降低至0.005左右，iou得分值上升至0.83左右。[0099]可选地，在训练得到异常分类模型后，电子设备还可以使用独立的测试集对该异常分类模型的网路性能进行测试，得到异常分类模型的分类结果和检测速度。[0100]具体地，将测试集中的图像尺寸缩放至与异常分类模型相匹配的预设尺寸512*512后，输入训练好的异常分类模型，并输出网络的检测速度。本实施例中，模型存储占用可以缩小至58.9m，单张图片在gtx1660 gpu上的模型推理时间如下表1所示，其推理时间较短。[0101]表一：[0102]batch_size124816min_time(ms)2.9971.4490.7500.3750.125max_time(ms)6.0043.5012.5000.6250.188avg_time(ms)3.8841.9891.0120.4460.144[0103]综上所述，本实施例提供的异常分类模型的训练方法，通过获取自动扶梯的样本图像和样本图像对应的至少一张掩膜标签图像，掩膜标签图像用于指示样本图像是否包括对应种类的异常目标；将样本图像输入预先创建的卷积神经网络，得到网络分类图像，卷积神经网络包括输入层、与输入层相连的多个相互级联的特征提取结构、与最后一个特征提取结构相连的非线性变换结构、以及与非线性变换结构相连的输出层；将网络分类图像和样本图像对应的掩膜标签图像输入预设损失函数，得到损失结果；基于损失结果调整卷积神经网络的网络参数，以训练得到异常分类模型，以使用异常分类模型进行自动扶梯的异常监控；可以解决传统的自动扶梯的异常监控方式由于使用深度学习网络模型，导致的监控结果的推理速度较慢，对设备的硬件要求较高的问题；由于非线性变换结构将特征提取结构输出的特征图的特征像素值转换为与掩膜标签图像的像素值区间相匹配的掩膜像素值，使得异常分类模型能够在特征图的级别上对目标图像中的异常目标的分类，与传统的神经网络模型相比，非线性变换结构的计算量远远小于传统的神经网络模型中特征提取结构之后的特征融合层、分类层等的计算量，可以使得异常分类模型更加轻量化，提高异常分类模型的推理速度，并降低对设备的硬件要求。[0104]另外，通过将特征提取结构设置为简单的网络层级联即可实现特征提取，可以简化网络结构。同时，通过结合最大池化层来降低特征图的分辨率，可以减少特征提取结构的计算量，提高计算速度。同时，结合空洞卷积扩大特征图的感受野，可以提高特征图的准确度。[0105]另外，通过使用均方误差损失函数对卷积神经网络的网络参数进行调整以得到异常分类模型，使得模型输出的特征图与掩膜标签图像之间的差异表达为图像像素点级别的差异，可以提高模型生成异常目标的掩膜特征图像的精度。[0106]另外，通过将样本图像中的各种异常目标对应的样本掩膜特征图像自动划分为每种异常目标对应的掩膜标签图像，可以提高掩膜标签图像的生成效率。[0107]图7是本技术一个实施例提供的自动扶梯的异常监控方法的流程图，该方法至少包括以下几个步骤：[0108]步骤701，获取对待监控的自动扶梯进行图像采集得到的目标图像。[0109]目标图像可以是对自动扶梯进行采集得到的一张图像，或者是对自动扶梯进行拍摄得到的视频流中的一帧图像，本实施例不对目标图像的来源作限定。[0110]可选地，目标图像包括待监控的自动扶梯的全部运行区域，或者也可以包括待监控的自动扶梯的部分运行区域，比如：仅包括待监控的自动扶梯的中间部分的运行区域，本实施例不对采集该自动扶梯的范围作限定。[0111]每张目标图像可以包括一部自动扶梯，或者也可以包括至少两部自动扶梯，本实施例不对每张目标图像包括的自动扶梯的数量作限定。[0112]步骤702，将目标图像输入预先训练的异常分类模型，得到至少一张掩膜特征图像。[0113]其中，异常分类模型是使用上述实施例提供的训练方法训练得到的。[0114]具体地，异常分类模型的模型结构与上述实施例中的卷积神经网络的模型结构相同，均包括输入层、与输入层相连的多个相互级联的特征提取结构、与最后一个特征提取结构相连的非线性变换结构、以及与非线性变换结构相连的输出层；非线性变换结构用于将特征提取结构输出的特征图的特征像素值转换为与掩膜标签图像的像素值区间相匹配的掩膜像素值。由于掩膜标签图像的像素值区间与掩膜特征图像的像素值区间相同，因此，非线性变换结构能够将特征提取结构输出的特征图的特征像素值转换为与掩膜特征图像的像素值区间相匹配的掩膜像素值。[0115]步骤703，确定掩膜特征图像是否存在异常目标连通域。[0116]可选地，确定掩膜特征图像是否存在异常目标连通域，包括：对异常目标对应的掩膜特征图像进行连通域确定；在确定出的连通域中的像素点的数量大于或等于预设阈值的情况下，确定存在异常目标连通域，执行步骤704；在确定出的连通域中的像素点的数量小于预设阈值的情况下，确定不存在异常目标连通域，从而确定掩膜特征图像不存在异常目标。此时，不对异常目标进行告警处理。[0117]其中，对异常目标对应的掩膜特征图像进行连通域确定，包括：使用two-pass算法计算掩膜特征图像中具有相同像素值、且位置相邻的前景像素点的连通域。[0118]步骤704，若存在，则目标图像包括异常目标并进行告警处理。[0119]告警处理的方式包括但不限于：音频输出告警、灯光输出告警方式、和/或消息通知告警等，本实施例不对告警处理的实现方式作限定。[0120]可选地，在异常监控结果指示目标图像包括至少两种异常目标的情况下，电子设备确定至少两种异常目标对应的告警方式，其中，不同异常目标对应的告警方式不同；按照告警方式输出异常告警。[0121]比如：异常目标为大件行李，告警处理方式为输出音频1；异常目标为婴儿车，告警处理方式为输出音频2；异常目标为大件行李和婴儿车，则输出音频3并进行灯光提示。在其它实施例中，告警处理方式的实现方式也可以是其它方式，本实施例在此不再一一列举。[0122]可选地，在存在异常目标的情况下，电子设备还可以输出异常目标的分类。具体地，异常目标包括第一异常目标(如大件行李)和第二异常目标(如婴儿车)，相应地，掩膜特征图像包括第一掩膜特征图像和第二掩膜特征图像。此时，异常目标分类模型的输出层包括第一输出层和第二输出层，第一输出层输出的第一掩膜特征图像用于指示是否包括第一异常目标；第二输出层输出第二掩膜特征图像用于指示是否包括第二异常目标。此时，在第一掩膜特征图像指示包括第一异常目标的情况下，确定目标图像包括第一异常目标；在第二掩膜特征图像指示包括第二异常目标的情况下，确定目标图像包括第二异常目标。[0123]其中，“第一”、“第二”仅表示不同，并不对数量进行限制，在实际实现时，异常目标的分类可以为两种或者两种以上，相应地，输出层也包括两个或两个以上，具体的异常目标的分类原理与上述实施例相同，本实施例在此不再赘述。[0124]综上所述，本实施例提供的自动扶梯的异常监控方法，通过获取对待监控的自动扶梯进行图像采集得到的目标图像；将目标图像输入预先训练的异常分类模型，得到至少一张掩膜特征图像，以使用至少一张掩膜特征图像确定是否包括异常目标；可以解决传统的自动扶梯的异常监控方式由于使用深度学习网络模型，导致的监控结果的推理速度较慢，对设备的硬件要求较高的问题；由于非线性变换结构将特征图的特征像素值转换为与掩膜标签图像的像素值区间相匹配的标签像素值，使得异常分类模型能够在特征图的级别上对目标图像中的异常目标的分类，与传统的神经网络模型相比，非线性变换结构的计算量远远小于传统的神经网络模型中特征提取结构之后的特征融合层、分类层等的计算量，可以使得异常分类模型更加轻量化，提高异常分类模型的推理速度，并降低对设备的硬件要求。[0125]另外，通过在存在异常目标连通域的情况下进行告警处理，使得用户可以及时感知到异常，以提高异常处理的及时性。[0126]另外，通过对不同的异常目标设置不同的告警处理方式，使得用户可以根据对应的告警处理方式确定出当前是何种异常，提高异常确定的及时性。[0127]另外，通过对异常目标对应的掩膜特征图像进行连通域确定，在连通域中的像素点的数量大于或等于预设阈值的情况下，才进行告警处理，可以避免由于异常监控结果中的掩膜特征图像可能存在误分割的较小的指示异常目标的区域，导致的误告警的问题；可以提高异常告警的准确性。[0128]图8是本技术一个实施例提供的异常分类模型的训练装置的框图。该装置至少包括以下几个模块：数据获取模块810、图像计算模块820、损失计算模块830和模型训练模块840。[0129]数据获取模块810，用于获取自动扶梯的样本图像和所述样本图像对应的至少一张掩膜标签图像，所述掩膜标签图像用于指示所述样本图像是否包括对应种类的异常目标；[0130]图像计算模块820，用于将所述样本图像输入预先创建的卷积神经网络，得到网络分类图像，所述卷积神经网络包括输入层、与所述输入层相连的多个相互级联的特征提取结构、与最后一个特征提取结构相连的非线性变换结构、以及与所述非线性变换结构相连的输出层；所述非线性变换结构用于将所述特征提取结构输出的特征图的特征像素值转换为与所述掩膜标签图像的像素值区间相匹配的掩膜像素值，得到所述网络分类图像；[0131]损失计算模块830，用于将所述网络分类图像和所述样本图像对应的掩膜标签图像输入预设损失函数，得到损失结果；[0132]模型训练模块840，用于基于所述损失结果调整所述卷积神经网络的网络参数，以训练得到异常分类模型，以使用所述异常分类模型进行自动扶梯的异常监控。[0133]相关细节参考上述方法实施例。[0134]需要说明的是：上述实施例中提供的异常分类模型的训练装置在进行异常分类模型的训练时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将异常分类模型的训练装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的异常分类模型的训练装置与异常分类模型的训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。[0135]图9是本技术一个实施例提供的自动扶梯的异常监控装置的框图。该装置至少包括以下几个模块：图像获取模块910、图像处理模块920、连通域确定模块930和告警处理模块940。[0136]图像获取模块910，用于获取对待监控的自动扶梯进行图像采集得到的目标图像；[0137]图像处理模块920，用于将所述目标图像输入预先训练的异常分类模型中，得到至少一张掩膜特征图像；[0138]连通域确定模块930，用于确定所述掩膜特征图像是否存在异常目标连通域；[0139]告警处理模块940，用于若存在，则所述目标图像包括异常目标并进行告警处理。[0140]相关细节参考上述方法实施例。[0141]需要说明的是：上述实施例中提供的自动扶梯的异常监控装置在进行自动扶梯的异常监控时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将自动扶梯的异常监控装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的自动扶梯的异常监控装置与自动扶梯的异常监控方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。[0142]图10是本技术一个实施例提供的电子设备的框图。该设备至少包括处理器1001和存储器1002。[0143]处理器1001可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器1001可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。[0144]存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1001所执行以实现本技术中方法实施例提供的异常分类模型的训练方法和自动扶梯的异常监控方法。[0145]在一些实施例中，电子设备还可选包括有：外围设备接口和至少一个外围设备。处理器1001、存储器1002和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。[0146]当然，电子设备还可以包括更少或更多的组件，本实施例对此不作限定。[0147]可选地，本技术还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的异常分类模型的训练方法和自动扶梯的异常监控方法。[0148]可选地，本技术还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的异常分类模型的训练方法和自动扶梯的异常监控方法。[0149]以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。[0150]以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!