显示面板的缺陷检测方法、装置、存储介质及电子设备与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本技术涉及缺陷检测技术领域，具体涉及一种显示面板的缺陷检测方法、装置、存储介质及电子设备。背景技术：2.显示面板作为智能化的一个重要表现，被广泛的用于手机、平板电脑、电视、车载电脑等众多电子设备中。为了确保显示面板能够正常显示，需要对显示面板进行缺陷检测。相关技术中，通常采用人工目视检测的方式来对显示面板可能存在的缺陷进行检测，然而，人工主观判断以及视觉疲劳等因素将影响缺陷检测结果的准确性。技术实现要素：3.本技术实施例提供了一种显示面板的缺陷检测方法、装置、存储介质及电子设备，能够提升对显示面板的缺陷检测的准确性。4.本技术实施例提供的显示面板的缺陷检测方法，包括：5.获取待检测显示面板的面板图像；6.根据所述面板图像，确定所述面板图像的通道注意力增强信息；7.根据所述通道注意力增强信息，确定所述面板图像的空间注意力增强信息；8.根据所述空间注意力增强信息，确定所述面板图像中的缺陷区域。9.本技术实施例提供的显示面板的缺陷检测装置，包括：10.图像获取模块，用于获取待检测显示面板的面板图像；11.信息增强模块，用于根据所述面板图像，确定所述面板图像的通道注意力增强信息；以及根据所述通道注意力增强信息，确定所述面板图像的空间注意力增强信息；以及12.缺陷定位模块，用于根据所述空间注意力增强信息，确定所述面板图像中的缺陷区域。13.本技术实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序被处理器加载时执行如本技术提供的显示面板的缺陷检测方法中的步骤。14.本技术实施例提供的电子设备，包括处理器和存储器，所述存储器存有计算机程序，所述处理器通过加载所述计算机程序，用于执行本技术提供的显示面板的缺陷检测方法中的步骤。15.本技术中，获取待检测显示面板的面板图像，使用该面板图像对待检测显示面板进行缺陷检测，其中，首先确定出面板图像的通道注意力增强信息，然后以该通道注意力增强信息为基础，进一步确定出面板图像的空间注意力增强信息，最后根据空间注意力增强信息确定出面板图像中的缺陷区域。相较于相关技术，本技术并不需要人工目视检测，能够避免人工主观判断以及视觉疲劳，另外，本技术通过在通道维度和空间维度对面板图像进行注意力增强，能够忽略面板图像中与缺陷检测无关的信息而关注于与缺陷检测相关的信息，从而确保根据面板图像所确定出的缺陷区域是准确的，达到提升显示面板的缺陷检测准确性的目的。附图说明16.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。17.图1为本技术实施例提供的显示面板的缺陷检测系统的场景示意图。18.图2本技术实施例提供的显示面板的缺陷检测方法的流程示意图。19.图3是图2中s120细化流程示意图。20.图4是本技术实施例提供的通道注意力模块的细化结构示意图。21.图5是图3中s1220的细化流程示意图。22.图6是图4中第一卷积单元的细化结构示意图。23.图7是图2中s130的细化流程示意图。24.图8是本技术实施例提供的空间注意力模块的结构示意图。25.图9是图7中s1320的细化流程示意图26.图10是yolov3网络中主干网络的结构示意图。27.图11是本技术实施例中将通道注意力模块和空间注意力模块接入图10中主干网络的示意图。28.图12是本技术实施例中缺陷定位模型的结构示意图。29.图13是图2中s140的细化流程示意图。30.图14是本技术实施例中特征金字塔网络的结构示意图。31.图15是本技术实施例中对缺陷分类模型进行训练的三元损失函数的目标示意图。32.图16是本技术实施例中从面板图像中裁剪出缺陷区域的示意图。33.图17是本技术实施例中训练缺陷定位模型的流程示意图。34.图18是本技术实施例中对检测框进行聚类的示意图。35.图19是本技术实施例中训练缺陷分类模型的流程示意图。36.图20是本技术实施例提供的显示面板的缺陷检测装置的结构示意图。37.图21是本技术实施例提供的电子设备的结构示意图。具体实施方式38.需要说明的是，本技术的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本技术具体实施例，其不应被视为限制本技术未在此详述的其他具体实施例。39.本技术以下实施例中所涉及的诸如第一和第二等关系术语仅用于将一个对象或者操作与另一个对象或者操作区分开来，并不用于限定这些对象或操作之间存在着实际的顺序关系。40.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能、感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。41.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括机器学习(machine learning,ml)技术，其中，深度学习(deep learning，dl)是机器学习中一个新的研究方向，它被引入机器学习以使其更接近于最初的目标，即人工智能。目前，深度学习主要应用在计算机视觉、自然语言处理等领域。42.深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音数据的解释有很大的帮助。利用深度学习技术，以及对应的训练数据集，能够训练得到实现不同功能的网络模型，比如，基于一训练数据集能够训练得到用于性别分类的深度学习网络，基于另一训练数据集能够训练得到图像优化的深度学习网络等。43.目前，现有的用于面板缺陷检测的深度学习网络在进行缺陷检测时，往往对大小差异不大、形状规则的缺陷的检测效果较好，但是对大小差异较大、缺陷分散分别的检测效果较差。因此，有必要提升用于面板缺陷检测的深度学习网络的缺陷检测能力。44.为了能够提高对显示面板进行缺陷检测时的准确性，本技术实施例提供一种显示面板的缺陷检测方法、显示面板的缺陷检测装置、存储介质以及电子设备，其中，该显示面板的缺陷检测方法的执行主体可以是本技术实施例中提供的显示面板的缺陷检测装置，或者是本技术实施例提供的电子设备，其中该显示面板的缺陷检测装置可以采用硬件或软件的方式实现。45.请参照图1，本技术还提供一显示面板的缺陷检测系统，如图1所示，该缺陷检测系统包括电子设备1000，电子设备1000中集成有本技术提供的显示面板的缺陷检测装置。比如，当电子设备1000还配置有摄像头时，可以直接通过配置的摄像头对待检测显示面板进行拍摄，从而得到待检测显示面板的面板图像，使用该面板图像对待检测显示面板进行检测，其中，首先确定出面板图像的通道注意力增强信息，然后以该通道注意力增强信息为基础，进一步确定出面板图像的空间注意力增强信息，最后根据空间注意力增强信息确定出面板图像中的缺陷区域。46.电子设备1000可以是任何配置有处理器而具备处理能力的设备，比如智能手机、平板电脑、掌上电脑、笔记本电脑等具备处理器的移动式电子设备，或者台式电脑、电视、服务器等具备处理器的固定式电子设备。47.另外，如图1所示，该显示面板的缺陷检测系统还可以包括存储设备2000，用于存储数据，比如，电子设备1000将获取到面板图像，该面板图像的缺陷区域存入存储设备2000中，此外，还可以将缺陷检测过程中的中间数据也存入存储设备2000中，比如通道注意力增强信息、空间注意力增强信息等中间数据。48.需要说明的是，图1所示的显示面板的缺陷检测系统的场景示意图仅仅是一个示例，本技术实施例描述的显示面板的缺陷检测系统以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着显示面板的缺陷检测系统的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。49.以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。50.请参照图2，图2为本技术实施例提供的显示面板的缺陷检测方法的流程示意图。如图2所示，本技术实施例提供的显示面板的缺陷检测方法的流程可以如下：51.在s110中，获取待检测显示面板的面板图像。52.应当说明的是，待检测显示面板代指需要进行缺陷检测的显示面板，缺陷检测包括检测显示面板中存在缺陷的区域，或者检测显示面板中存在缺陷的区域以及对应的缺陷类别。其中，缺陷类别包括破损缺陷、划痕缺陷等外观缺陷，以及亮点缺陷、线缺陷等功能性缺陷。53.本实施例中，面板图像可以通过摄像头等图像采集设备对待检测显示面板进行拍摄得到，也可以获取预先拍摄好的待检测显示面板的面板图像，其中获取到的面板图像用于后续对待检测显示面板的缺陷检测中。54.在s120中，根据面板图像，确定面板图像的通道注意力增强信息。55.需要说明的是，注意力机制借鉴了人类的视觉注意力机制，人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也即是注意力焦点，从而对该区域投入更多的注意力资源，获得期望的目标细节信息，同时忽略其它无用信息。简而言之，注意力机制的核心目标就是从众多信息中筛选出对当前任务更重要的信息。56.本实施例中，在获取到面板图像后，通过通道注意力机制确定出该面板图像的通道注意力增强信息，该通道注意力增强信息用于在通道维度描述该面板图像中不同特征与缺陷检测相关的权重，权重越大则相关性越大，根据该通道注意力信息即可确定面板图像中对缺陷检测更重要的特征。57.请参照图3，在一可选地实施例中，本技术提供的显示面板的缺陷检测方法应用于缺陷定位模型，该缺陷定位模型包括主干网络和通道注意力模块，根据面板图像，确定面板图像的通道注意力增强信息，包括：58.s1210，将面板图像输入主干网络，得到面板图像的图像特征；59.s1220，将图像特征输入通道注意力模块，得到通道注意力增强信息。60.应当说明的是，主干网络是缺陷定位模型的基础，用于对输入的面板图像进行特征编码，相应编码得到面板图像的图像特征，其中，图像特征包括但不限于形状边缘的特征、颜色深浅的特征等。另外，通道注意力模块被配置为用于对主干网络进行特征编码所得到的图像特征进行通道注意力增强，以得到通道注意力增强信息。此处对主干网络以及通道注意力模块的细化结构不作具体限制，可由本领域技术人员根据实际需要进行配置。61.基于以上缺陷定位模型的主干网络以及通道注意力模块，本实施例在根据面板图像，确定面板图像的通道注意力增强信息时，相应将面板图像输入缺陷定位模型的主干网络，得到该面板图像的图像特征，然后进一步将该图像特征输入通道注意力模块，得到面板图像的通道注意力增强信息。62.请结合参照图4和图5，在一实施例中，提供一可选地通道注意力模块的细化结构，该通道注意力模块包括第一最大池化单元、第一平均池化单元、第一卷积单元、第一融合单元以及第一激活单元，将图像特征输入通道注意力模块，得到通道注意力增强信息，包括：63.s12210，将图像特征输入第一最大池化单元，得到图像特征在通道维度的第一最大池化特征，以及将图像特征输入第一平均池化单元，得到图像特征在通道维度的第一平均池化特征；64.s12220，将第一最大池化特征输入第一卷积单元，得到第一最大池化特征的第一卷积特征，以及将第一平均池化特征输入第一卷积单元，得到第一平均池化特征的第二卷积特征；65.s12230，将第一卷积特征和第二卷积特征输入第一融合单元，得到第一卷积特征和第二卷积特征的和值特征；66.s12240，将和值特征输入第一激活单元，得到通道注意力增强信息。67.基于图4所示的通道注意力模块的细化结构，本实施例在将图像特征输入通道注意力模块，得到通道注意力增强信息时，首先将前述图像特征分别输入第一最大池化单元和第一平均池化单元，一方面，由第一最大池化单元在通道维度对输入的图像特征进行最大池化操作，得到前述图像特征在通道维度的最大池化特征，记为第一最大池化特征；另一方面，由第一平均池化单元在空间维度对输入的图像特征进行平均池化操作，得到前述图像特征在空间维度的平均池化特征，记为第一平均池化特征。68.在得到前述图像特征的第一最大池化特征和第一平均池化特征之后，进一步将第一最大池化特征输入第一卷积单元，由第一卷积单元对输入的第一最大池化特征进行卷积操作，得到第一最大池化特征的卷积特征，记为第一卷积特征。另外，还将第一平均池化特征输入第一卷积单元，由第一卷积单元对输入的第一平均池化特征进行卷积操作，得到第一平均池化特征的卷积特征，记为第二卷积特征。69.在得到第一卷积特征和第二卷积特征之后，进一步将第一卷积特征和第二卷积特征输入第一融合单元进行融合，其中，有第一融合单元将第一卷积特征和第二卷积特征相加，得到第一卷积特征和第二卷积特征的和值特征。70.如上，在将第一卷积特征和第二卷积特征融合得到和值特征之后，进一步将该和值特征输入第一激活单元，由第一激活单元对输入的和值特征进行激活操作，得到面板图像的通道注意力增强信息。71.应当说明的是，本实施例中对以上第一最大池化单元、第一平均池化单元、第一卷积单元、第一融合单元以及第一激活单元的细化结构不作具体限制，可由本领域技术人员根据实际需要进行配置。72.以第一激活单元为例，第一激活单元包括的激活函数可由本领域技术人员根据实际需要进行选择，包括但不限于sigmoid函数、tanh函数、relu函数以及leaky relu函数等，比如，本实施例中第一激活单元采样sigmoid函数作为激活函数。73.在一实施例中，第一卷积单元包括依次连接的第一卷积层、relu函数以及第二卷积层，第二卷积层的通道数与图像特征的通道数相同，且第一卷积层的通道数与预设注意力参数之积与图像特征的通道数相同。74.请参照图6，在一实施例中，提供一可选地第一卷积单元的细化结构，如图6所示，第一卷积单元包括依次连接的第一卷积层、relu函数以及第二卷积层。75.应当说明的是，本实施例中对第一卷积层和第二卷积层的卷积核大小不作具体限制，第一卷积层和第二卷积层的卷积核大小可以配置为不同，也可以配置为相同，具体可由本领域技术人员根据实际需要进行配置。比如，可以配置第一卷积层和第二卷积层均为1x1的卷积核。76.如上，本技术实施例中第一卷积层和第二卷积层之间采用relu函数作为激活函数。77.基于图6所示的第一卷积单元的细化结构，在将第一最大池化特征输入第一卷积单元，得到第一最大池化特征的第一卷积特征时，首先将第一最大池化特征输入第一卷积层，由第一卷积层对输入的第一最大池化特征进行第一次卷积操作，然后将第一次卷积操作后的第一最大池化特征输入relu函数，由relu函数对第一次卷积操作后的第一最大池化特征进行激活操作，最后将激活操作后的第一最大池化特征输入第二卷积层，由第二卷积层对激活操作后的第一最大池化特征进行第二次卷积操作，相应得到第一最大池化特征的第一卷积特征。78.在将第一平均池化特征输入第一卷积单元，得到第一平均池化特征的第二卷积特征时，首先将第一平均池化特征输入第一卷积层，由第一卷积层对输入的第一平均池化特征进行第一次卷积操作，然后将第一次卷积操作后的第一平均池化特征输入relu函数，由relu函数对第一次卷积操作后的第一平均池化特征进行激活操作，最后将激活操作后的第一平均池化特征输入第二卷积层，由第二卷积层对激活操作后的第一平均池化特征进行第二次卷积操作，相应得到第一平均池化特征的第二卷积特征。79.应当说明的是，在本实施例中，第二卷积层的通道数(可以理解为第二卷积层具备的卷积核的个数)与图像特征的通道数相同，且第一卷积层的通道数(可以理解为第一卷积层具备的卷积核的个数)与预设注意力参数之积与图像特征的通道数相同。其中，预设注意力参数可由本领域技术人员根据实际需要取经验值，比如，本实施例中，将其配置为8。80.在s130中，根据通道注意力增强信息，确定面板图像的空间注意力增强信息。81.本实施例中，在确定出面板图像的通道注意力增强信息之后，进一步以该通道注意力增强信息为基础，通过空间注意力机制确定出面板图像的空间注意力增强信息。由于通道注意力增强信息在通道维度描述了面板图像中不同特征与缺陷检测相关的权重，以通道注意力增强信息为基础得到的空间注意力增强信息除了在空间维度描述面板图像中不同特征与缺陷检测相关的权重之外，还在通道维度描述面板图像中不同特征与缺陷检测相关的权重。82.请参照图7，在一可选地实施例中，以上缺陷定位模型还包括空间注意力模块，根据通道注意力增强信息，确定面板图像的空间注意力增强信息，包括：83.s1310，根据通道注意力增强信息和图像特征，获取面板图像的通道注意力增强图像特征；84.s1320，将通道注意力增强图像特征输入空间注意力模块，得到空间注意力增强信息。85.应当说明的是，空间注意力模块被配置为对输入的图像特征进行空间注意力增强，以得到空间注意力增强信息。86.基于以上空间注意力模块，本实施例在根据通道注意力增强信息，确定面板图像的空间注意力增强信息时，首先根据通道注意力增强信息和前述图像特征，得到通道注意力增强图像特征，即将前述图像特征与通道注意力增强信息进行叉乘，将叉乘结果作为前述图像特征的通道注意力增强图像特征。然后，再将通道注意力增强图像特征输入空间注意力模块，得到面板图像的空间注意力增强信息。87.请结合参照图8和图9，在一实施例中，提供一可选地空间注意力模块的细化结构，该空间注意力模块包括第二最大池化单元、第二平均池化单元、第二卷积单元、第二融合单元以及第二激活单元，将通道注意力增强图像特征输入空间注意力模块，得到空间注意力增强信息，包括：88.s13210，将通道注意力增强图像特征输入第二最大池化单元，得到通道注意力增强图像特征在空间维度的第二最大池化特征，以及将通道注意力增强图像特征输入第二平均池化单元，得到通道注意力增强图像特征在空间维度的第二平均池化特征；89.s13220，将第二最大池化特征和第二平均池化特征输入第二融合单元，得到第二最大池化特征和第二平均池化特征的通道拼接特征；90.s13230，将通道拼接特征输入第二卷积单元，得到通道拼接特征的第三卷积特征；91.s13240，将第三卷积特征输入第二激活单元，得到空间注意力增强信息。92.基于图8所示的空间注意力模块的细化结构，本实施例在将通道注意力增强图像特征输入空间注意力模块，得到空间注意力增强信息时，首先将前述通道注意力增强图像特征分别输入第二最大池化单元和第二平均池化单元，一方面，由第二最大池化单元在空间维度对输入的通道注意力增强图像特征进行最大池化操作，得到前述通道注意力增强图像特征在空间维度的最大池化特征，记为第二最大池化特征；另一方面，由第二平均池化单元在空间维度对输入的通道注意力增强图像特征进行平均池化操作，得到前述通道注意力增强图像特征在空间维度的平均池化特征，记为第二平均池化特征。93.在得到前述通道注意力增强图像特征的第二最大池化特征和第二平均池化特征之后，进一步将第二最大池化特征和第二平均池化特征输入第二融合单元，由第二融合单元在通道维度将第二最大池化特征和第二平均池化特征拼接(也即是concat操作)，得到第二最大池化特征和第二平均池化特征的通道拼接特征。94.在得到第二最大池化特征和第二平均池化特征的通道拼接特征之后，进一步将该通道拼接特征输入第二卷积单元，由第二卷积单元对输入的通道拼接特征进行卷积操作，得到通道拼接特征的卷积特征，记为第三卷积特征。95.如上，在得到通道拼接特征的第三卷积特征之后，进一步将第三卷积特征输入第二激活单元，由第二激活单元对输入的第三卷积特征进行激活操作，得到空间注意力增强信息。96.应当说明的是，本实施例中对以上第二最大池化单元、第二平均池化单元、第二卷积单元、第二融合单元以及第二激活单元的细化结构不作具体限制，可由本领域技术人员根据实际需要进行配置。97.以第二激活单元为例，第二激活单元包括的激活函数可由本领域技术人员根据实际需要进行选择，包括但不限于sigmoid函数、tanh函数、relu函数以及leaky relu函数等，比如，本实施例中第二激活单元采样sigmoid函数作为激活函数。98.在一可选地实施例中，第二卷积单元包括5x5卷积层。99.其中，5x5卷积层是指卷积核大小为5x5的卷积层。100.在s140，根据空间注意力增强信息，确定面板图像中的缺陷区域。101.根据以上相关描述可知，通道注意力增强信息用于在通道维度描述面板图像中不同特征与缺陷检测相关的权重，而空间注意力增强信息以通道注意力增强信息为基础得到，能够同时在通道维度和空间维度描述面板图像中不同特征与缺陷检测相关的权重。权重越大表征相关性越大，根据该空间注意力信息即可在通道维度和空间维度确定出面板图像中与缺陷检测相关性较大的特征，也即是对缺陷检测更为重要的特征，从而忽略面板图像中与缺陷检测相关性较小的特征，避免这部分特征对缺陷检测造成干扰，以确保缺陷检测的准确性。102.在一可选地实施例中，主干网络包括依次连接的多个残差模块，将面板图像输入主干网络，得到面板图像的图像特征，包括：103.将面板图像输入主干网络的第一个残差模块，从主干网络前预设个数的残差模块中的任一残差模块得到图像特征。104.本实施例中，缺陷定位模型基于yolo网络模型训练得到，此处对yolo网络模型的版本不作具体限制，比如，本实施例中，yolo网络模型为第3版本，也即是yolov3网络模型，相较于v1和v2，yolov3网络模型调整了网络结构，采用了三个不同尺度的图像特征来进行目标检测，其中采用感受野尺度比较大的图像特征检测尺寸比较大的目标，采用感受野尺度中等的图像特征检测中等尺寸目标，采用感受野尺度比较小的图像特征检测尺寸比较小的目标。105.应当说明的是，yolo网络模型的主干网络包括依次连接的多个残差模块，残差模块由cbl结构和残差结构组成，其中，cbl结构包括卷积层、批量标准化层和leaky relu函数。106.比如，请参照图10，yolov3网络模型包括五个残差模块，分别为res1、res2、res8、res8以及res4。其中，res代表残差模块，res之后的数字代表该残差模块包括的残差结构的个数。107.本实施例中，在将面板图像输入主干网络，得到面板图像的图像特征时，将面板图像输入主干网络的第一个残差模块，从主干网络前预设个数的残差模块中的任一残差模块得到图像特征。应当说明的是，n为正整数，其大小取决于输出用于缺陷检测的图像特征的残差模块，比如，以yolov3网络模型为例，其最后3个残差模块输出的图像特征用于目标检测，相应的，n取值为3，即可以从主干网络前3个残差模块中的任一个残差模块得到用于确定通道注意力增强信息的图像特征。108.示例性地，以yolov3网络模型为例，通道注意力模块和空间注意力模块接入到两个res8、res8之间，从而得到改进的yolov3网络模型，如图11(仅示出了改进的部分，其它部分未示出)所示，此时，为从主干网络的第3个残差模块(也即第一个res8)得到用于从所述主干网络后n个残差模块之前的任一残差模块。109.请结合参照图12和图13，缺陷定位模型除了包括主干网络、通道注意力模块以及空间注意力模块之外，还包括颈部网络和检测头网络，根据空间注意力增强信息，确定面板图像中的缺陷区域，包括：110.s1410，根据空间注意力增强信息和通道注意力增强图像特征，获取面板图像的空间注意力增强图像特征；111.s1420，将空间注意力增强图像特征输入图像特征的来源残差模块的下一残差模块，得到空间注意力增强图像特征的多尺度空间注意力增强图像特征；112.s1430，将多尺度空间注意力增强图像特征输入颈部网络，得到多尺度空间注意力增强图像特征的融合注意力增强特征；113.s1440，将融合注意力增强特征输入检测头网络，得到用于指示缺陷区域的定位结果；114.s1450，根据定位结果确定缺陷区域。115.应当说明的是，颈部网络连接主干网络和检测头网络，用于对主干网络编码得到的多个不同尺度的图像特征进行特征融合，并将融合得到融合图像特征作为检测头网络的输入；检测头网络用于对输入的融合图像特征进行特征解码，相应得到用于描述缺陷区域的位置的定位结果。116.基于以上缺陷定位模型的细化结构，在根据空间注意力增强信息，确定面板图像中的缺陷区域时，首先根据空间注意力增强信息和通道注意力增强图像特征，获取面板图像的空间注意力增强图像特征，即将通道注意力增强图像特征与空间注意力增强信息进行叉乘，将叉乘结果作为空间注意力增强图像特征。117.如上，由于前述用于确定通道注意力增强信息的图像特征从主干网络获取得到，相应将最终增强后的空间注意力增强图像特征输入回主干网络继续进行特征编码，再通过颈部网络和检测头网络实现缺陷定位。118.其中，将空间注意力增强图像特征输入前述图像特征(即用于确定通道注意力增强信息的图像特征)的来源残差模块的下一残差模块继续进行特征编码，从而得到空间注意力增强图像特征的多尺度空间注意力增强图像特征，即多个不同尺度的空间注意力增强图像特征(此处可包括原尺度的空间注意力增强图像特征，也可不包括原尺度的空间注意力增强图像特征)。119.应当说明的是，此处对于获取的尺度的数量不作具体限制，比如，当配置为需求两个不同尺度的空间注意力增强图像特征时，则可以从主干网络的最后两个残差模块得到两个不同尺度的空间注意力增强图像特征，当配置为需求三个不同尺度的空间注意力增强图像特征时，则可以从主干网络的最后三个残差模块得到三个不同尺度的空间注意力增强图像特征。120.比如，请参照图11，其中第一个res8为前述图像特征的来源残差模块，第二个res8即为来源残差模块的下一残差模块，将原尺度的空间注意力增强图像特征输入第二个res8，由res8对原尺度的空间注意力增强图像特征进行特征编码，得到第二尺度的空间注意力增强图像特征(第二尺度小于原尺度)，第二尺度的空间注意力增强图像特征被输入res4，由res4对第二尺度的空间注意力增强图像特征进行特征编码，得到第三尺度的空间注意力增强图像特征(第三尺度小于第二尺度)，至此，得到三种不同尺度的空间注意力增强图像特征，分别为原尺度的空间注意力增强图像特征、第二尺度的空间注意力增强图像特征以及第三尺度的空间注意力增强图像特征。121.如上，在得到多尺度空间注意力增强图像特征之后，将得到的多尺度空间注意力增强图像特征输入颈部网络，由颈部网络进行特征融合，得到融合注意力增强特征。其中，得到融合注意力增强特征的尺度数量取决于检测头网络的层数，比如检测头网络包括3层检测头时，颈部网络相应输出3种尺度的融合注意力增强特征。122.之后，进一步将得到融合注意力增强特征输入检测头网络进行特征解码，得到用于指示缺陷区域的定位结果。比如检测头网络包括3层检测头时，相应将颈部网络输出的3种尺度的融合注意力增强特征分别输入3层检测头进行特征解码，从而得到在不同尺度描述缺陷区域的位置的定位结果。123.由于定位结果描述了缺陷区域的位置，根据得到的定位结果即可确定出面板图像中的缺陷区域。124.在一可选地实施例中，主干网络包括darknet-53网络，颈部网络包括特征金字塔网络，检测头网络包括yolov3检测头网络。125.本实施例中，缺陷定位模型以yolov3网络基础，并增加通道注意力模块和空间注意力模块而得到。126.其中，darknet-53网络是指其为有53层darknet网络的网络，即darknet-53网络由53层darknet网络构成。如图10所示，darknet-53网络可以划分为5个残差模块，分别为res1、res2、res8、res8和res4。比如，请参照图11，按照图示方式将通道注意力模块和空间注意力模块增加至darknet-53网络中。127.请参照图14，特征金字塔网络可以划分为3层，分别为卷积模块*5(表示依次连接的5个卷积模块)、卷积模块和第一卷积层构成的第一特征金字塔层，卷积模块*5(表示依次连接的5个卷积模块)、卷积模块和第二卷积层构成的第二特征金字塔层，卷积模块*5(表示依次连接的5个卷积模块)、卷积模块和第三卷积层构成的第三金字塔层，以及用于横向连接第一特征金字塔层和第二特征金字塔层的卷积模块、上采样模块和concat模块(由图14中表示)，用于横向连接第二特征金字塔层和第三特征金字塔层的卷积模块、上采样模块和concat模块。128.应当说明的是，请结合参照图11，c5表示第一特征金字塔层与res4连接，c4表示第二特征金字塔层与第二个res8连接，c3表示第三特征金字塔层与空间注意力模块连接，p5表示第三尺度的空间注意力增强图像特征经第一特征金字塔层处理后得到融合注意力增强特征，p4表示第二个res8提取的第二尺度的空间注意力增强图像特征经第二特征金字塔层处理后得到的融合注意力增强特征，p3表示原尺度的空间注意力增强图像特征经第三特征金字塔层处理后得到融合注意力增强特征。129.以上对卷积模块、上采样模块、第一卷积层、第二卷积层以及第三卷积层的细化结构不作具体限制，可由本领域技术人员根据实际需要进行设置。130.示例性地，本实施例中，第一卷积层包括512个512通道的1x1卷积，第二卷积层包括512个256通道的1x1卷积，第三卷积层包括256个128通道的1x1卷积。131.卷积模块包括依次连接的卷积层(可由本领域技术人员根据实际需要选择卷积核大小以及个数等)、批量归一化层以及leaky relu函数。132.上采样模块包括1x1卷积层和2倍上采样层，其中1x1卷积层中1x1卷积核个数与输入通道数相同，1x1卷积核通道数为其个数的二分之一。133.在一可选地实施例中，定位结果包括检测框及其定位置信度，根据定位结果确定缺陷区域，包括：134.根据定位置信度达到定位置信度阈值的检测框确定缺陷区域。135.应当说明的是，得到的定位结果可以为多个，即得到多个检测框以及每一检测框的定位置信度，该定位置信度用于描述其对应的检测框所指示的位置存在缺陷区域的概率。其中，对于一检测框，若其对应的定位置信度越大，则说明其指示的位置存在缺陷区域的概率越大，相反，若其对应的定位置信度越小，则说明其指示的位置存在缺陷区域的概率越小。136.本实施例中，根据定位置信度达到定位置信度阈值的检测框确定缺陷区域，即从多个检测框中确定出定位置信度达到定位置信度阈值的检测框，将这些检测框指示的位置确定为缺陷区域。其中，定位置信度阈值可由本领域技术人员根据实际需要取经验值，此处不作具体限制。137.在一可选地实施例中，根据空间注意力增强信息，确定面板图像中的缺陷区域之后，还包括：138.根据缺陷区域，确定缺陷区域的缺陷类别。139.本实施例中，还对确定出的缺陷区域进行缺陷分类，相应确定出缺陷区域的缺陷类别。140.比如，可以通过模板比对的方式来进行缺陷分类，即将缺陷区域与已经标记缺陷类别的缺陷模板图像进行比对，若比对一致，则将比对一致的缺陷模板图像的缺陷类别确定为缺陷区域的缺陷类别。141.可以理解的是，仅以缺陷区域为依据进行缺陷分类，能够避免缺陷区域外的内容对缺陷分类的影响，从而确保缺陷分类的准确性。142.在一可选地实施例中，根据缺陷区域，确定缺陷区域的缺陷类别，包括：143.从面板图像中裁剪出缺陷区域；144.将缺陷区域输入缺陷分类模型，得到用于指示缺陷区域的缺陷类别的分类结果；145.根据分类结果确定缺陷区域的缺陷类别；146.其中，缺陷分类模型采用三元损失函数训练得到，三元损失函数的三元组包括两个相同缺陷类别的样本缺陷图像以及一个不同缺陷类别的样本缺陷图像。147.应当说明的是，本实施例中还预先训练有缺陷分类模型，该缺陷分类模型被配置为对输入的图像进行缺陷分类，得到其对应的缺陷类别。此处，对缺陷分类模型的架构不作具体限定，可由本领域技术人员根据实际需要确定，比如，可以采用densenet201网络作为缺陷分类模型的架构。148.相关技术中，缺陷分类模型往往对缺陷类别数量均匀分布和类间差异较大的缺陷类别有较好的分类效果，但对缺陷类别数量呈现长尾分布、单类包含多种类型、类间差异较小的缺陷类别往往呈现较差的分类效果。因此，本实施例中，在对缺陷分类模型进行训练时，采用三元损失函数对其进行训练，以此来提升缺陷分类模型的泛化能力。149.其中，三元损失函数的三元组包括两个相同缺陷类别的样本缺陷图像以及一个不同缺陷类别的样本缺陷图像，其中，两个相同缺陷类别的样本缺陷图像分别作为基准正例(a)和正例(p)，不同缺陷类别的样本缺陷图像作为负例(n)，目标是a、p和n满足如下公式(1)：150.l＝max(d(a，p)-d(a，n)+margin,0)ꢀꢀꢀꢀꢀ(1)151.其中，d()表示距离函数，比如欧式距离，margin表示距离参数，用于约束a与p和n之间的距离差，可由本领域技术人员根据实际需要取经验值。152.显然的，三元损失函数的目的在于使得a和p的距离尽可能小，同时a和n的距离尽可能大，如图15所示。153.基于以上缺陷分类模型，本实施例中，在根据缺陷区域，确定缺陷区域的缺陷类别时，首先从面板图像中裁剪出缺陷区域，如图16所示。然后，将裁剪出的缺陷区域输入缺陷分类模型，由缺陷分类模型对该缺陷区域进行缺陷分类，得到用于指示缺陷区域的缺陷类别的分类结果。相应的，根据该分类结果，即可确定出缺陷区域的缺陷类别。154.在一可选地实施例中，分类结果包括用于指示缺陷类别的数值及其对应的类别置信度，根据分类结果确定缺陷区域的缺陷类别，包括：155.将类别置信度达到类别置信度阈值的数值所指示的缺陷类别，确定为缺陷区域的缺陷类别。156.本实施例中，分类结果为两部分组成，分别为指示缺陷类别的数值，和该缺陷类别对应的类别置信度。157.比如，缺陷分类模型输出的分类结果包括用于表征缺陷类别a的数值及对应的类别置信度、用于表征缺陷类别b的数值及对应的类别置信度，和用于表征缺陷类别c的数值及对应的类别置信度。其中，若任一数值对应的类别置信度达到其表征缺陷类别的类别置信度阈值(可在训练阶段通过后处理测试得到，比如，对于一缺陷类别，将准确度大于或等于90％时的类别置信度配置为该缺陷类别的类别置信度阈值)，即确定缺陷区域的缺陷类别为该数值所表征的缺陷类别。158.示例性地，可以按照如下方式得到本实施例的缺陷定位模型：159.样本收集阶段：从真实产线收集包括缺陷的样本缺陷图像，得到数据集，比如，可以按照真实数据分布来收集。将数据集划分为训练集和测试集。其中，划分比例可由本领域技术人员根据实际需要进行确定，比如，可以将80％的样本缺陷图像划分为训练集，将20％的样本缺陷图像划分为测试集。160.检测框大小确定阶段：根据面板缺陷的大小，通过k-means聚类方法，生成实际面板缺陷的实际分布，通过实际分布设计检测框，这样更容易让模型回归。比如，请参照图18，通过k-means聚类将整个数据集的检测框用9个检测框近似表示，其中，一黑点代表一检测框，虚线圈定的椭圆区域代表该椭圆区域内的检测框被聚为一类，可以看出，大小相近的检测框被聚类为一个检测框，对于每一类检测框，将位于该类检测框的质心位置的检测框作为聚类得到检测框，即用于代表该类检测框。可以理解的是，因为面板缺陷尺寸不一，因此检测框的尺寸也不尽相同，如小缺陷尺寸为7*7、大缺陷尺寸为2200*2000等。通过k-means聚类的检测框可以更加符合真实数据的分布。161.如上，在通过k-means聚类得到9个检测框后，按照检测框尺寸大小分别配置给yolov3网络中的yolov3检测头网络的三个检测头，作为这些检测头的默认检测框。162.结构确定阶段：对yolov3网络进行改进，在yolov3网络的主干网络接入通道注意力模块和空间注意力模块，得到改进yolov3网络。比如，请参照图11，可以将通道注意力模块和空间注意力模块接入到主干网络的两个res8之间。163.模型训练阶段：利用训练集对改进yolov3网络模型进行训练，并在具有真实分布的测试集上评估其定位准确度，若其定位准确度达到预设定位准确度(可由本领域技术人员根据实际需要进行取经验值)，则将训练后的改进yolov3网络模型作为缺陷定位模型。164.另外，以上缺陷定位模型的推理流程可以如下：165.预处理阶段：对需要进行缺陷检测的面板图像进行优化处理(比如明暗度优化等)，提升其图像质量。166.推理阶段：将优化后的面板图像输入缺陷定位模型，由缺陷定位模型对面板图像进行缺陷定位，得到定位结果，该定位结果包括指示缺陷区域的位置的检测框及其对应的定位置信度。167.后处理阶段：识别对应同一缺陷区域的检测框，保留其中定位置信度最高的检测框。168.示例性地，对于以上缺陷分类模型，可以按照图19所示方式进行训练：169.样本收集阶段：从真实产线收集包括缺陷的样本缺陷图像，得到数据集，比如，可以按照真实数据分布来收集。对数据集中的样本缺陷图像的缺陷类别进行标注，然后按照缺陷类别将数据集划分为训练集和测试集。其中，划分比例可由本领域技术人员根据实际需要进行确定，比如，可以将80％的样本缺陷图像划分为训练集，将20％的样本缺陷图像划分为测试集。170.区域裁剪阶段：通过以上训练得到缺陷定位模型对训练集和测试集进行缺陷定位，相应得到指示缺陷区域的检测框(此处为保留的置信度最高的检测框)，并根据检测框指示的缺陷区域对训练集和测试集进行裁剪。比如，对于一检测框，若其指示的缺陷区域的宽和高均小于299，则按照检测框的中心点为中心，裁剪出299*299的区域，而对于检测框的宽或高大于299*299的情况，则按照检测框最大边长的正方形进行裁剪。171.模型训练阶段：构建三元损失函数(具体请参照以上相关说明)以及densenet201网络，并利用训练集对densenet201网络进行训练，并在具有真实分布的测试集上评估其分类准确度，若其分类准确度达到预设分类准确度(可由本领域技术人员根据实际需要进行取经验值)，则将训练后的densenet201网络作为缺陷分类模型。172.另外，缺陷分类模型的推理流程可以如下：173.裁剪阶段：根据检测框从面板图像中裁剪出缺陷区域。174.分类阶段：将裁剪出的缺陷区域输入缺陷分类模型进行缺陷分类，得到指示缺陷类别的数值及其对应的类别置信度。175.后处理阶段：需要说明的是，在训练阶段，对于每一缺陷类别，还统计分类准确度为90％时对应的类别置信度，将该类别置信度作为该缺陷类别置信度阈值。相应的，在得到缺陷分类模型输出的指示缺陷类别的数值及其对应的类别置信度之后，将其中类别置信度达到类别置信度阈值的数值所指示的缺陷类别，确定为缺陷区域的缺陷类别。176.请参照图20，为更好的执行本技术所提供的显示面板的缺陷检测方法，本技术进一步提供一种显示面板的缺陷检测装置200，如图20所示，该显示面板的缺陷检测装置200包括：177.图像获取模块210，用于获取待检测显示面板的面板图像；178.信息增强模块220，用于根据面板图像，确定面板图像的通道注意力增强信息；以及根据通道注意力增强信息，确定面板图像的空间注意力增强信息；以及179.缺陷定位模块230，用于根据空间注意力增强信息，确定面板图像中的缺陷区域。180.可选地，在一实施例中，显示面板的缺陷检测方法应用于缺陷定位模型，缺陷定位模型包括主干网络和通道注意力模块，信息增强模块220用于：181.将面板图像输入主干网络，得到面板图像的图像特征；182.将图像特征输入通道注意力模块，得到通道注意力增强信息。183.可选地，在一实施例中，通道注意力模块包括第一最大池化单元、第一平均池化单元、第一卷积单元、第一融合单元以及第一激活单元，将图像特征输入通道注意力模块，得到通道注意力增强信息，信息增强模块220用于：184.将图像特征输入第一最大池化单元，得到图像特征在通道维度的第一最大池化特征，以及将图像特征输入第一平均池化单元，得到图像特征在通道维度的第一平均池化特征；185.将第一最大池化特征输入第一卷积单元，得到第一最大池化特征的第一卷积特征，以及将第一平均池化特征输入第一卷积单元，得到第一平均池化特征的第二卷积特征；186.将第一卷积特征和第二卷积特征输入第一融合单元，得到第一卷积特征和第二卷积特征的和值特征；187.将和值特征输入第一激活单元，得到通道注意力增强信息。188.可选地，在一实施例中，第一卷积单元包括依次连接的第一卷积层、relu函数以及第二卷积层，第二卷积层的通道数与图像特征的通道数相同，且第一卷积层的通道数与预设注意力参数之积与图像特征的通道数相同。189.可选地，在一实施例中，缺陷定位模型还包括空间注意力模块，信息增强模块220用于：190.根据通道注意力增强信息和图像特征，获取面板图像的通道注意力增强图像特征；191.将通道注意力增强图像特征输入空间注意力模块，得到空间注意力增强信息。192.可选地，在一实施例中，空间注意力模块包括第二最大池化单元、第二平均池化单元、第二融合单元、第二卷积单元以及第二激活单元，信息增强模块220用于：193.将通道注意力增强图像特征输入第二最大池化单元，得到通道注意力增强图像特征在空间维度的第二最大池化特征，以及将通道注意力增强图像特征输入第二平均池化单元，得到通道注意力增强图像特征在空间维度的第二平均池化特征；194.将第二最大池化特征和第二平均池化特征输入第二融合单元，得到第二最大池化特征和第二平均池化特征的通道拼接特征；195.将通道拼接特征输入第二卷积单元，得到通道拼接特征的第三卷积特征；196.将第三卷积特征输入第二激活单元，得到空间注意力增强信息。197.可选地，在一实施例中，主干网络包括依次连接的多个残差模块，信息增强模块220用于：198.将面板图像输入主干网络的第一个残差模块，从主干网络前预设个数的残差模块中的任一残差模块得到图像特征。199.可选地，在一实施例中，缺陷定位模型还包括颈部网络和检测头网络，缺陷定位模块230用于：200.根据空间注意力增强信息和通道注意力增强图像特征，获取面板图像的空间注意力增强图像特征；201.将空间注意力增强图像特征输入图像特征的来源残差模块的下一残差模块，从前预设个数之后的残差模块得到空间注意力增强图像特征的多尺度空间注意力增强图像特征；202.将多尺度空间注意力增强图像特征输入颈部网络，得到多尺度空间注意力增强图像特征的融合注意力增强特征；203.将融合注意力增强特征输入检测头网络，得到用于指示缺陷区域的定位结果；204.根据定位结果确定缺陷区域。205.可选地，在一实施例中，主干网络包括darknet-53网络，颈部网络包括特征金字塔网络，检测头网络包括yolov3检测头网络。206.可选地，在一实施例中，定位结果包括检测框及其定位置信度，缺陷定位模块230用于：207.根据置信度达到定位置信度阈值的检测框确定缺陷区域。208.可选地，在一实施例中，本技术提供的显示面板的缺陷检测装置200还包括缺陷分类模块，用于：209.根据缺陷区域，确定缺陷区域的缺陷类别。210.可选地，在一实施例中，缺陷分类模块用于：211.从面板图像中裁剪出缺陷区域；212.将缺陷区域输入缺陷分类模型，得到用于指示缺陷区域的缺陷类别的分类结果；213.根据分类结果确定缺陷区域的缺陷类别；214.其中，缺陷分类模型采用三元损失函数训练得到，三元损失函数的三元组包括两个相同缺陷类别的样本缺陷图像以及一个不同缺陷类别的样本缺陷图像。215.可选地，在一实施例中，分类结果包括用于指示缺陷类别的数值及其对应的类别置信度，缺陷分类模块用于：216.将类别置信度达到类别置信度阈值的数值所指示的缺陷类别，确定为缺陷区域的缺陷类别。217.应当说明的是，本技术实施例提供的显示面板的缺陷检测装置200与上文实施例中的显示面板的缺陷检测方法属于同一构思，其具体实现过程详见以上相关实施例，此处不再赘述。218.本技术实施例还提供一种电子设备，包括存储器和处理器，其中处理器通过调用存储器中存储的计算机程序，用于执行本实施例提供的显示面板的缺陷检测方法中的步骤。219.请参照图21，图21为本技术实施例提供的电子设备300的结构示意图。220.该电子设备300可以包括网络接口310、存储器320、处理器330以及屏幕组件等部件。本领域技术人员可以理解，图21中示出的电子设备300结构并不构成对电子设备300的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。221.网络接口310可以用于进行设备之间的网络连接。222.存储器320可用于存储计算机程序和数据。存储器320存储的计算机程序中包含有可执行代码。计算机程序可以划分为各种功能模块。处理器330通过运行存储在存储器320的计算机程序，从而执行各种功能应用以及数据处理。223.处理器330是电子设备300的控制中心，利用各种接口和线路连接整个电子设备300的各个部分，通过运行或执行存储在存储器320内的计算机程序，以及调用存储在存储器320内的数据，执行电子设备300的各种功能和处理数据，从而对电子设备300进行整体控制。224.在本技术实施例中，电子设备300中的处理器330会按照如下的指令，将一个或一个以上的计算机程序对应的可执行代码加载到存储器320中，并由处理器330来执行本技术提供的显示面板的缺陷检测方法中的步骤，比如：225.获取待检测显示面板的面板图像；226.根据面板图像，确定面板图像的通道注意力增强信息；227.根据通道注意力增强信息，确定面板图像的空间注意力增强信息；以及228.根据空间注意力增强信息，确定面板图像中的缺陷区域。229.应当说明的是，本技术实施例提供的电子设备300与上文实施例中的显示面板的缺陷检测方法属于同一构思，其具体实现过程详见以上相关实施例，此处不再赘述。230.本技术还提供一种计算机可读的存储介质，其上存储有计算机程序，当其存储的计算机程序在本技术实施例提供的电子设备的处理器上执行时，使得电子设备的处理器执行以上任一适于电子设备的显示面板的缺陷检测方法中的步骤。其中，存储介质可以是磁碟、光盘、只读存储器(read only memory，rom)或者随机存取器(random access memory，ram)等。231.以上对本技术所提供的一种显示面板的缺陷检测方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!