文本遮挡区域检测方法、装置、电子设备及存储介质与流程

计算;推算;计数设备的制造及其应用技术1.本公开涉及图像处理技术领域，具体涉及计算机视觉、图像识别、文本处理技术领域，可应用于图片或视频中的文本遮挡区域检测等场景，尤其涉及一种文本遮挡区域检测方法、装置、电子设备及存储介质。背景技术：2.在一些网站或应用程序(如贴吧)的界面中，用户可以发布图片、视频等信息。当图片或视频中出现的文本涉及到一些隐私信息或敏感信息时，用户通常会采用一些图案(如表情、涂鸦等)来进行遮挡。这些图案在图片或视频中所在的区域可以称为文本遮挡区域。3.网站或应用程序的提供方在审核用户发布的图片、视频等信息是否符合发布要求时，需要先检测用户发布的图片、视频等信息中是否存在文本遮挡区域，以进行进一步处理，如去除文本遮挡区域的遮挡图案。4.目前的文本遮挡区域检测方式检测速度慢、且误检率高。技术实现要素：5.本公开提供了一种文本遮挡区域检测方法、装置、电子设备及存储介质，可以提高文本遮挡区域检测的速度、降低误检率。6.根据本公开的第一方面，提供了一种文本遮挡区域检测方法，所述方法包括：获取待检测的第一图像。合并第一图像中像素值之间的距离小于预设距离阈值的像素点，并重复执行合并第一图像的像素点的步骤直至满足预设条件，得到多个聚类像素值。根据每个聚类像素值对第一图像进行实例分割，得到与多个聚类像素值一一对应的多个颜色实例分割区域。根据每个颜色实例分割区域和第一图像中的文本框的交叠关系，从多个颜色实例分割区域中确定第一图像中的文本遮挡区域。7.根据本公开的第二方面，提供了一种文本遮挡区域检测装置，所述装置包括：获取单元、聚类单元、分割单元、以及检测单元。8.获取单元，用于获取待检测的第一图像。聚类单元，用于合并第一图像中像素值之间的距离小于预设距离阈值的像素点，并重复执行合并第一图像的像素点的步骤直至满足预设条件，得到多个聚类像素值。分割单元，用于根据每个聚类像素值对第一图像进行实例分割，得到与多个聚类像素值一一对应的多个颜色实例分割区域。检测单元，用于根据每个颜色实例分割区域和第一图像中的文本框的交叠关系，从多个颜色实例分割区域中确定第一图像中的文本遮挡区域。9.根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。10.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据第一方面所述的方法。11.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述的方法。12.本公开通过获取待检测的第一图像；合并第一图像中像素值之间的距离小于预设距离阈值的像素点，并重复执行合并第一图像的像素点的步骤直至满足预设条件，得到多个聚类像素值；根据每个聚类像素值对第一图像进行实例分割，得到与多个聚类像素值一一对应的多个颜色实例分割区域；根据每个颜色实例分割区域和第一图像中的文本框的交叠关系，从多个颜色实例分割区域中确定第一图像中的文本遮挡区域，可以实现对不同类型的文本遮挡区域进行统一的检测。使用本公开提供的方法对第一图像进行文本遮挡区域检测时，可以具有较低的误检率。而且，本公开提供的方法通过提高颜色聚类过程的聚类速度，大大提高了文本遮挡区域检测的速度。13.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明14.附图用于更好地理解本方案，不构成对本公开的限定。其中：15.图1为本公开实施例提供的文本遮挡区域检测方法的流程示意图；16.图2为本公开实施例提供的图1中s102的一种实现方式的流程示意图；17.图3为本公开实施例提供的图1中s103的一种实现方式的流程示意图；18.图4为本公开实施例提供的第一图像的示意图；19.图5为本公开实施例提供的图4所示的第一图像的二值化图像的示意图；20.图6为本公开实施例提供的图1中s103的另一种实现方式的流程示意图；21.图7为本公开实施例提供的图4所示的第一图像中的文本框的示意图；22.图8为本公开实施例提供的图5所示的二值化图像中提取的颜色实例分割区域的示意图；23.图9为本公开实施例提供的文本遮挡区域检测方法的另一流程示意图；24.图10为本公开实施例提供的文本遮挡区域检测装置的组成示意图；25.图11为本公开实施例提供的文本遮挡区域检测装置的另一组成示意图；26.图12为本公开实施例提供的文本遮挡区域检测装置的又一组成示意图；27.图13为本公开实施例提供的文本遮挡区域检测装置的又一组成示意图；28.图14示出了可以用来实施本公开的实施例的示例电子设备1400的示意性框图。具体实施方式29.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。30.在一些网站或应用程序(如贴吧)的界面中，用户可以发布图片、视频等信息。网站或应用程序的提供方通常需要对用户发布的图片、视频等信息进行审核，以确定其是否符合发布要求。例如，网站或应用程序的提供方可以采用一些光学字符识别(optical character recognition，ocr)算法，识别用户发布的图片、视频等信息中是否存在一些隐私信息或敏感信息(如敏感词或敏感人名等)，以确定用户发布的图片、视频等信息是否符合发布要求。31.当图片或视频中出现的文本涉及到一些隐私信息或敏感信息时，用户通常会采用一些图案(如表情、涂鸦等)来进行遮挡。这些图案在图片或视频中所在的区域可以称为文本遮挡区域。对于这类包含文本遮挡区域的图片或视频，ocr算法无法实现准确的识别。因此，网站或应用程序的提供方对用户发布的图片、视频等信息进行审核时，还需要判断用户发布的图片、视频等信息中是否存在文本遮挡区域，以进行进一步处理，如去除文本遮挡区域的遮挡图案。32.在实际场景中，用户所使用的遮挡图案众多且颜色不一，文本遮挡区域存在各种不同的类型。目前的文本遮挡区域检测方式无法实现对不同类型的文本遮挡区域进行统一的识别，且目前的文本遮挡区域检测方式检测速度慢、误检率高。33.在此背景技术下，本公开实施例提供了一种文本遮挡区域检测方法，可以适用于对图像中的文本遮挡区域进行检测的场景。使用该方法对图像进行文本遮挡区域检测时，可以具有较低的误检率，而且该方法通过提高文本遮挡区域检测中颜色聚类过程的聚类速度，可以大大提高文本遮挡区域检测的速度。34.可选地，本公开实施例提供的文本遮挡区域检测方法的执行主体可以是手机、平板电脑、笔记本电脑、台式计算机等终端设备，也可以是服务器或其他具有图像处理能力的计算设备，例如，服务器可以是为网站或应用程序提供服务的后台服务器。本公开对文本遮挡区域检测方法的执行主体不作限制。35.一些实施例中，服务器可以是单独的一个服务器，或者，也可以是由多个服务器构成的服务器集群。部分实施方式中，服务器集群还可以是分布式集群。本公开对服务器的具体实现方式也不作限制。36.应当理解，在本公开各实施例中，字符“/”一般表示前后关联对象是一种“或”的关系。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。37.图1为本公开实施例提供的文本遮挡区域检测方法的流程示意图。如图1所示，该方法可以包括：38.s101、获取待检测的第一图像。39.其中，第一图像可以是指用户想要发布在一些网站或应用程序的界面中的图片，或者，视频中的某一帧图像。网站或应用程序的提供方可以对第一图像进行审核，以确定第一图像是否符合发布要求。40.例如，用户想要在贴吧里边发布一张图片时，可以先将图片提交给贴吧的后台服务器，贴吧的后台服务器可以按照预设的ocr算法对图片进行识别，以确定图片是否符合发布要求。该图片即s101中所述的第一图像。41.又例如，用户想要在某个短视频应用里边发布一个视频时，可以先将视频提交给短视频应用的后台服务器，短视频应用的后台服务器可以按照预设的ocr算法对视频中的每一帧图像进行识别，以确定视频是否符合发布要求。该视频中的每一帧图像均可以是s101中所述的第一图像。42.本公开对第一图像为图片或者视频中的图像并不作限制。43.s102、合并第一图像中像素值之间的距离小于预设距离阈值的像素点，并重复执行合并第一图像的像素点的步骤直至满足预设条件，得到多个聚类像素值。44.可选地，本公开实施例中所述的像素值之间的距离可以是余弦距离、欧式距离等，本公开对此不作限制。在下述各实施例的示例中，将以像素值之间的距离为欧式距离为例进行说明。45.一些实施例中，s102中合并第一图像中像素值之间的距离小于预设距离阈值的像素点的步骤，可以包括：以2个像素点为计算单位，计算2个像素点的像素值之间的距离，当2个像素点的像素值之间的距离小于预设距离阈值时，将2个像素点合并，直至遍历第一图像中的所有像素点。其中，2个像素点合并后，2个像素点的像素值相同。46.重复执行合并第一图像的像素点的步骤直至满足预设条件可以是指：在按照前述像素点的合并方式遍历完一次第一图像的像素点后，继续按照前述像素点的合并方式遍历第一图像的像素点进行合并，直至满足预设条件后停止像素点合并。47.s102中重复执行合并第一图像的像素点的步骤直至满足预设条件后，第一图像中部分像素点的像素值相同，第一图像中所有像素点的像素值一共可以包括多个，这些像素值可以称为聚类像素值。48.例如，假设第一图像中原本包括224*224(*表示乘)个像素点，224*224个像素点的像素值部分相同，第一图像中一共有100个像素值。对第一图像执行s102后，像素点的像素值一共剩下8个，则这8个像素值可以称为聚类像素值。49.一种可能的实现方式中，合并第一图像中像素值之间的距离小于预设距离阈值的像素点，可以包括：对第一图像中的任意两个目标像素点，当两个目标像素点的像素值之间的距离小于预设距离阈值时，分别将两个目标像素点的像素值赋值为两个目标像素点的像素值的均值。50.例如，对于像素点1和像素点2，当像素点1和像素点2的像素值之间的欧式距离小于预设距离阈值时，可以分别将像素点1和像素点2的像素值赋值为像素点1和像素点2的像素值的均值。51.另外一些可能的实现方式中，当两个目标像素点的像素值之间的距离小于预设距离阈值时，也可以分别将两个目标像素点的像素值赋值为根据两个目标像素点的像素值计算得到的某个值。52.例如，根据两个目标像素点的像素值计算得到的值可以是两个目标像素点的像素值中的最大值、最小值等，在此不作限制。53.可选地，上述预设距离阈值可以是根据色调-饱和度-明度(hue-saturation-value，hsv)标准颜色空间的值所确定的，在此对预设距离阈值的大小不作限制。54.本实施例中，预设条件可以包括：第一图像中任意两个像素点之间的距离小于预设距离阈值(这里预设距离阈值也可以替换为大于或小于预设距离阈值的某个值)，或者，重复执行合并每个第二图像的像素点的步骤的迭代次数达到预设次数。例如，预设次数可以是10次、15次等，在此对预设次数的大小不作限制。55.示例性地，预设距离阈值可以根据rgb颜色空间颜色大的区分度来确定，如预设距离阈值可以是300。56.另外一些实施例中，s102中所述的预设距离阈值包括第一距离阈值和第二距离阈值，预设条件包括第一预设条件和第二预设条件。图2为本公开实施例提供的图1中s102的一种实现方式的流程示意图。如图2所示，s102可以包括：57.s201、将第一图像分割为多个第二图像。58.例如，假设第一图像的尺寸为224*224，则可以将第一图像按16*16的尺寸分割为14*14个小图，每个小图即第二图像。59.可选地，将第一图像分割为多个第二图像后，还可以对每个第二图像进行尺寸变换(reshape)，将第二图像变换为为(img_w*img_h，3)的图像数据。其中，img_w表示第二图像的宽，img_h表示第二图像的高，3表示第二图像的颜色通道数为3，即r、g、b三个通道。60.s202、合并每个第二图像中像素值之间的距离小于第一距离阈值的像素点，并重复执行合并每个第二图像的像素点的步骤直至满足第一预设条件。61.s202与上一实施例中所述的合并第一图像中像素值之间的距离小于预设距离阈值的像素点的步骤类似。62.例如，s202中合并每个第二图像中像素值之间的距离小于第一距离阈值的像素点的步骤，可以包括：对每个第二图像，以2个像素点为计算单位，计算2个像素点的像素值之间的距离，当2个像素点的像素值之间的距离小于第一距离阈值时，将2个像素点合并，直至遍历第二图像中的所有像素点。其中，2个像素点合并后，2个像素点的像素值相同。63.重复执行合并每个第二图像的像素点的步骤直至满足第一预设条件可以是指：对每个第二图像，在按照前述像素点的合并方式遍历完一次第二图像的像素点后，继续按照前述像素点的合并方式遍历第二图像的像素点进行合并，直至满足第一预设条件后停止像素点合并。64.s202中重复执行合并每个第二图像的像素点的步骤直至满足第一预设条件后，第二图像中部分像素点的像素值相同，第二图像中所有像素点的像素值一共可以包括多个。65.可选地，与上一实施例中所述的预设条件类似，第一预设条件可以包括：每个第二图像中任意两个像素点之间的距离小于第三距离阈值，或者，重复执行合并每个第二图像的像素点的步骤的迭代次数达到第一次数。66.示例性地，第一次数可以根据第一图像的尺寸和第二图像的数量来确定。例如，第一图像的尺寸为224*224，将第一图像按16*16的尺寸分割为14*14个第二图像时，第一次数可以是224除以14的值减1，即16-1＝15次。67.其中，第三距离阈值可以等于第一距离阈值，或者第三距离阈值也可以小于或大于第一距离阈值。第一次数可以是上一实施例中所述的预设次数。第一距离阈值的确定方式与上述预设距离阈值的确定方式类似，不再赘述。68.可选地，s202中合并每个第二图像中像素值之间的距离小于第一距离阈值的像素点的步骤，可以包括：对每个第二图像中的任意两个目标像素点，当两个目标像素点的像素值之间的距离小于第一距离阈值时，分别将两个目标像素点的像素值赋值为两个目标像素点的像素值的均值，或者根据两个目标像素点的像素值计算得到的某个值。69.在重复执行合并每个第二图像的像素点的步骤直至满足第一预设条件后，执行s203。70.s203、合并多个第二图像中像素值之间的距离小于第二距离阈值的像素点，并重复执行合并多个第二图像的像素点的步骤直至满足第二预设条件。71.s203与s202类似，其区别在于s202执行时针对的对象是每个第二图像，而s203执行时针对的对象是多个第二图像。具体地，s202中合并的两个像素点一定是来自同一个第二图像，而s203中合并的两个像素点可能是来自同一个第二图像，也可能是来自不同的第二图像。72.例如，s203中合并多个第二图像中像素值之间的距离小于第二距离阈值的像素点的步骤，可以包括：对多个第二图像，以2个像素点为计算单位，计算2个像素点的像素值之间的距离，当2个像素点的像素值之间的距离小于第二距离阈值时，将2个像素点合并，直至遍历多个第二图像(即所有第二图像)中的所有像素点。其中，2个像素点合并后，2个像素点的像素值相同。73.重复执行合并多个第二图像的像素点的步骤直至满足第二预设条件可以是指：对多个第二图像，在按照前述像素点的合并方式遍历完一次多个第二图像的像素点后，继续按照前述像素点的合并方式遍历多个第二图像的像素点进行合并，直至满足第二预设条件后停止像素点合并。74.s203中重复执行合并多个第二图像的像素点的步骤直至满足第二预设条件后，多个第二图像中部分像素点的像素值相同，多个第二图像中所有像素点的像素值一共可以包括多个，这些像素值可以称为聚类像素值。75.可选地，与第一预设条件类似，第二预设条件可以包括：多个第二图像中任意两个像素点之间的距离小于第四距离阈值，或者，重复执行合并多个第二图像的像素点的步骤的迭代次数达到第二次数。76.其中，第四距离阈值可以等于第二距离阈值，或者第四距离阈值也可以小于或大于第二距离阈值。第二次数也可以是上一实施例中所述的预设次数。第二距离阈值的确定方式与第一距离阈值的确定方式类似，不再赘述。77.可选地，s203中合并多个第二图像中像素值之间的距离小于第二距离阈值的像素点的步骤，可以包括：对多个第二图像中的任意两个目标像素点，当两个目标像素点的像素值之间的距离小于第二距离阈值时，分别将两个目标像素点的像素值赋值为两个目标像素点的像素值的均值，或者根据两个目标像素点的像素值计算得到的某个值。78.一些可能的实现方式中，上述第一距离阈值可以等于第二距离阈值。也即，s202和s203中合并像素点的条件可以相同。本实现方式中第一距离阈值和第二距离阈值相同可以减少该文本遮挡区域检测算法中的参数。79.一些可能的实现方式中，第三距离阈值可以等于第四距离阈值，第一次数等于第二次数。本实现方式中第三距离阈值和第四距离阈值相同、以及第一次数和第二次数相同，也可以减少该文本遮挡区域检测算法中的参数。80.与上一实施例中s102的实现方式相比，本实施例中结合图2所给出的s102的实现方式，通过将第一图像分割为多个第二图像再进行后续的合并像素点的处理，可以有效提高s102中的运算速度，从而提高整个文本遮挡区域检测的速度。81.可以理解，上述s102的说明中给出的关于s102的实现方式实际上是对第一图像中的颜色进行了聚类，s102得到的多个聚类像素值可以认为是多个聚类结果。82.相较于常见的k-meas聚类算法而言，本公开实施例中所述的关于s102的实现方式可以认为是一种对颜色进行聚类的快速凝聚聚类算法，该快速凝聚聚类算法无需事先设置颜色类别数，且聚类速度有很大提升。83.在执行s102得到多个聚类像素值后，可以执行s103。84.s103、根据每个聚类像素值对第一图像进行实例分割，得到与多个聚类像素值一一对应的多个颜色实例分割区域。85.图3为本公开实施例提供的图1中s103的一种实现方式的流程示意图。如图3所示，一种实现方式中，s103可以包括：86.s301、根据每个聚类像素值，对第一图像进行二值化处理，得到每个聚类像素值对应的二值化图像。87.示例性地，s301可以包括：将聚类像素值转换为hsv格式，得到聚类像素值对应的hsv值；将聚类像素值对应的hsv值，基于hsv颜色对照表进行映射，以确定聚类像素值对应的颜色上界值和颜色下界值；根据颜色上界值和颜色下界值，对第一图像进行二值化处理，得到二值化图像。其中，聚类像素值对应的hsv值是聚类像素值对应颜色的hsv分量，通过事先给定的严格的范围hsv颜色对照表可以确定聚类像素值对应的颜色上界值和颜色下界值。88.s302、从每个聚类像素值对应的二值化图像中提取连通区域，得到每个聚类像素值对应的颜色实例分割区域。89.例如，以第一图像为某个聊天应用的聊天界面的截图为例，图4为本公开实施例提供的第一图像的示意图。如图4所示，第一图像可以包括聊天用户的头像、聊天内容、以及两个笑脸表情等。图5为本公开实施例提供的图4所示的第一图像的二值化图像的示意图。假设采用某个聚类像素值对图4所示的第一图像进行二值化处理后，得到如图5所示的二值化图像。则s301中从图5所示的二值化图像中提取的连通区域可以包括：笑脸表情所在的区域(即图5中和笑脸表情轮廓相同的白色区域)、聊天用户的头像所在的区域(即图5中和聊天用户的头像轮廓相同的白色区域)等，笑脸表情所在的区域以及聊天用户的头像所在的区域即颜色实例分割区域。90.图6为本公开实施例提供的图1中s103的另一种实现方式的流程示意图。如图6所示，另一种实现方式中，s103可以包括：91.s601、根据每个聚类像素值对第一图像进行颜色降维，得到颜色降维后的第一图像。92.示例性地，s601中可以新生成画布，在新生成的画布上根据每个聚类像素值对第一图像中的各像素点进行赋值，如：像素点的像素值接近于哪个聚类像素值，则赋值为该聚类像素值。完成赋值后得到的图像即颜色降维后的第一图像。颜色降维后的第一图像只有聚类像素值几种rgb值。93.例如，假设第一图像的尺寸为(224，224，3)，第1个224表示第一图像的宽、第2个224表示第一图像的高、3表示第一图像的通道，第一图像的颜色(或者称为各像素点的像素值)集合a，s102中得到的多个聚类像素值(或称为聚类中心点颜色)表示为集合b，集合a和集合b分别如下：94.a＝[[(r1,g1,b1),(r2,g2,b2)…(r224,g224,b224)],[(rr1,gg1,bb1)…(rr224,gg224,bb224)],[…]]，也即第一图像包括224*224个像素点。[0095]b＝[(r1,g1,b1),(r2,g2,b2),(r3,g3,b3),(r4,g4,b4),(r5,g5,b5)]，也即s102中得到5个聚类像素值。[0096]则，s601中根据集合b中的每个聚类像素值对集合a(即第一图像的颜色)进行颜色降维，得到颜色降维后的第一图像中只包括(r1,g1,b1)、(r2,g2,b2)、(r3,g3,b3)、(r4,g4,b4)、以及(r5,g5,b5)5种颜色。[0097]s602、根据每个聚类像素值，对颜色降维后的第一图像进行二值化处理，得到每个聚类像素值对应的二值化图像。[0098]s603、从每个聚类像素值对应的二值化图像中提取连通区域，得到每个聚类像素值对应的颜色实例分割区域。[0099]s602和s603具体可以参考s301和s302，不再赘述。[0100]相较于图3所示的s103的实现方式而言，图6所示的s103的实现方式中根据每个聚类像素值对第一图像进行颜色降维，可以降低后续对第一图像进行颜色实例分割的难度，提高后续颜色实例分割过程的处理速度。也即，根据每个聚类像素值，对颜色降维后的第一图像进行二值化处理时，可以具有更快的处理速度。例如，对于颜色众多的一些第一图像，通常难以通过颜色进行颜色实例分割，而图6所示的s103的实现方式则可以有效降低颜色实例分割的难度，提高颜色实例分割的处理速度。[0101]另外，按照图6所示的s103的实现方式对第一图像进行降维后，再进行颜色实例分割，还可以有效降低整个文本遮挡区域检测的误检率。[0102]在得到与多个聚类像素值一一对应的多个颜色实例分割区域后，可以执行s104。[0103]s104、根据每个颜色实例分割区域和第一图像中的文本框的交叠关系，从多个颜色实例分割区域中确定第一图像中的文本遮挡区域。[0104]示例性地，以图4所示的第一图像为例，图7为本公开实施例提供的图4所示的第一图像中的文本框的示意图。如图7所示，图7中示出的黑色虚线框即为图4所示的第一图像中的文本框。[0105]以图5所示的二值化图像为例，图8为本公开实施例提供的图5所示的二值化图像中提取的颜色实例分割区域的示意图。如图8所示，图8中示出的白色虚线框所在的区域即为图5所示的二值化图像中提取的颜色实例分割区域。[0106]对图7中所示的每个文本框，可以根据图8所示的颜色实例分割区域和图7中所示的文本框的交叠关系，确定图8所示的颜色实例分割区域是否为文本遮挡区域。[0107]可选地，s104可以包括：获取颜色实例分割区域和文本框的交叠区域的面积与文本框的面积的第一比值、交叠区域的面积与颜色实例分割区域的面积的第二比值、以及交叠区域的面积与颜色实例分割区域和文本框的面积之和的第三比值；当第一比值、第二比值、以及第三比值中的最大值大于预设交叠比阈值时，确定颜色实例分割区域为文本遮挡区域；当第一比值、第二比值、以及第三比值中的最大值小于或等于预设交叠比阈值时，确定颜色实例分割区域没有遮挡文本框。[0108]本公开实施例中，第一比值、第二比值、以及第三比值中的最大值也可以称为颜色实例分割区域和文本框的交叠比或重叠度(intersection over union，iou)。[0109]示例性地，第一比值可以通过下述公式(1)计算得到。[0110]iou1＝det_1∩det_2/det_1ꢀꢀꢀꢀꢀꢀ公式(1)[0111]公式(1)中，iou1表示第一比值；det_1∩det_2表示颜色实例分割区域和文本框的交叠区域的面积；det_1表示文本框的面积。[0112]第二比值可以通过下述公式(2)计算得到。[0113]iou2＝det_1∩det_2/det_2ꢀꢀꢀꢀꢀꢀ公式(2)[0114]公式(2)中，iou2表示第二比值；det_1∩det_2表示颜色实例分割区域和文本框的交叠区域的面积；det_2表示颜色实例分割区域的面积。[0115]第三比值可以通过下述公式(3)计算得到。[0116]iou3＝det_1∩det_2/det_1∪det_2ꢀꢀꢀꢀ公式(3)[0117]公式(3)中，iou3表示第三比值；det_1∩det_2表示颜色实例分割区域和文本框的交叠区域的面积；det_1∪det_2表示颜色实例分割区域和文本框的面积之和。[0118]颜色实例分割区域和文本框的交叠比可以通过下述公式(4)计算得到。[0119]iou＝max(iou1，iou2，iou3)ꢀꢀꢀꢀ公式(4)[0120]公式(4)中，iou表示颜色实例分割区域和文本框的交叠比；max(iou1，iou2，iou3)表示取iou1、iou2、以及iou3中的最大值。[0121]在计算得到iou后，可以比较iou和预设交叠比阈值，当iou大于预设交叠比阈值时，说明颜色实例分割区域和文本框相交的面积比例达到一定程度，可以确定颜色实例分割区域为文本遮挡区域；当iou小于或等于预设交叠比阈值时，确定颜色实例分割区域没有遮挡文本框。[0122]示例性地，预设交叠比阈值的大小与目标图像的业务场景相关。示例性地，预设交叠比阈值可以是0.1至0.2范围内的某个值，如：0.2。本公开实施例中，预设交叠比阈值的大小可以根据业务需要进行调整，预设交叠比阈值设置的越小，筛选出来的文本遮挡区域越多。[0123]可以理解的，第一图像中可能包括多个检测框，s104中根据每个颜色实例分割区域和第一图像中的文本框的交叠关系，从多个颜色实例分割区域中确定第一图像中的文本遮挡区域，实际上是将颜色实例分割区域分别与第一图像中包括的每个检测框均进行了比较。对某个颜色实例分割区域而言，当该颜色实例分割区域与第一图像中包括的每个检测框的交叠比均小于或等于预设交叠比阈值时，可以确定该颜色实例分割区域不是文本遮挡区域；当该颜色实例分割区域与第一图像中包括的至少一个检测框的交叠比大于预设交叠比阈值时，可以确定该颜色实例分割区域是文本遮挡区域。[0124]本公开实施例提供的该文本遮挡区域检测方法，通过获取待检测的第一图像；合并第一图像中像素值之间的距离小于预设距离阈值的像素点，并重复执行合并第一图像的像素点的步骤直至满足预设条件，得到多个聚类像素值；根据每个聚类像素值对第一图像进行实例分割，得到与多个聚类像素值一一对应的多个颜色实例分割区域；根据每个颜色实例分割区域和第一图像中的文本框的交叠关系，从多个颜色实例分割区域中确定第一图像中的文本遮挡区域，可以实现对不同类型的文本遮挡区域进行统一的检测。使用该方法对第一图像进行文本遮挡区域检测时，可以具有较低的误检率。而且，该方法通过提高颜色聚类过程的聚类速度，大大提高了文本遮挡区域检测的速度。[0125]一些实施例中，上述当第一比值、第二比值、以及第三比值中的最大值大于预设交叠比阈值时，确定颜色实例分割区域为文本遮挡区域的步骤，可以包括：当第一比值、第二比值、以及第三比值中的最大值大于预设交叠比阈值时，将颜色实例分割区域对应的图像输入预设的二分类模型，得到二分类模型输出的识别结果。识别结果包括颜色实例分割区域是文本遮挡区域或者不是文本遮挡区域。当识别结果为颜色实例分割区域是文本遮挡区域时，确定颜色实例分割区域为文本遮挡区域。[0126]也即，本实施例中，当第一比值、第二比值、以及第三比值中的最大值大于预设交叠比阈值时，还可以将颜色实例分割区域对应的图像输入预设的二分类模型，以校验颜色实例分割区域为文本遮挡区域的检测结果是否正确。当检测结果正确时，才确定颜色实例分割区域为文本遮挡区域。[0127]可选地，本公开实施例中，还可以获取样本集合，样本集合包括多个第一样本图像和多个第二样本图像，第一样本图像具有遮挡标签，遮挡标签用于指示第一样本图像为文本遮挡区域对应的图像；然后，可以采用样本集合对神经网络进行训练，得到上述二分类模型。[0128]例如，第一样本图像可以是一些常见的或者用户通常使用的遮挡图案的图像，第二样本图像可以是文本的图像。[0129]上述该二分类模型具有根据输入的图像确定输入的图像是否是文本遮挡区域的功能。如：将颜色实例分割区域对应的图像输入预设的二分类模型后，二分类模型可以输出对颜色实例分割区域对应的图像的分类标签，当分类标签为遮挡标签(如1)时，表示识别结果为颜色实例分割区域是文本遮挡区域；当分类标签为空(如0)时，表示识别结果为颜色实例分割区域不是文本遮挡区域。[0130]本实施例中，通过二分类模型进一步校验颜色实例分割区域为文本遮挡区域的检测结果是否正确，可以筛选掉一些颜色实例分割区域并非文字遮挡或者是颜色实例分割或ocr中误检的文本遮挡区域，提高文本遮挡区域的检测精度，降低文本遮挡区域检测的误检率。[0131]可选地，训练上述二分类模型时所采用的神经网络可以是resnet50网络。在训练该二分类模型时，可以采用加权focal_loss作为损失函数，该损失函数可以表示为下述公式(5)。[0132]fl＝-a(1-p)rlog(p)ꢀꢀꢀꢀꢀꢀꢀ公式(5)[0133]公式(5)中，fl表示损失；a为样本权重，取值可以为0.25；r的取值可以为2；p表示训练过程中二分类模型的输出结果。[0134]在训练二分类模型时，可以根据该损失函数对二分类模型的参数进行调整，以使得二分类模型预测的概率值偏向于0～1的两端。[0135]可选地，又一种实现方式中，s103可以包括：根据每个聚类像素值对第一图像进行颜色降维，得到颜色降维后的第一图像；根据每个聚类像素值，对颜色降维后的第一图像进行二值化处理，得到每个聚类像素值对应的二值化图像；对二值化图像依次进行腐蚀处理、膨胀处理和腐蚀处理；从每个聚类像素值对应的二值化图像中提取连通区域，得到每个聚类像素值对应的颜色实例分割区域。[0136]也即，本实现方式中，从每个聚类像素值对应的二值化图像中提取连通区域之前，可以先对二值化图像依次进行腐蚀处理、膨胀处理和腐蚀处理。[0137]其中，膨胀和腐蚀是相反的操作，对二值化图像依次进行腐蚀处理可以分离二值化图像的各个区域，再经过膨胀处理和腐蚀处理，能够有效填充区域内细小空洞、平滑边界、优化对第一图像进行颜色分割的结果。例如，对二值化图像依次进行腐蚀处理、膨胀处理和腐蚀处理，可以使得后续提取到的连通区域的轮廓更加清晰。[0138]可选地，本公开实施例中，在根据每个颜色实例分割区域和第一图像中的文本框的交叠关系，从多个颜色实例分割区域中确定第一图像中的文本遮挡区域之前，该文本遮挡区域检测方法还包括：对第一图像进行光学字符识别文本行检测，得到第一图像中的文本框。[0139]对第一图像进行光学字符识别文本行检测的过程可以采用成熟的ocr算法，在此不再赘述。[0140]可选地，本公开实施例中，在合并第一图像中像素值之间的距离小于预设距离阈值的像素点之前，该文本遮挡区域检测方法还包括：将第一图像压缩为预设尺寸，并将第一图像的格式转换为rgb格式。[0141]将第一图像压缩为预设尺寸，并将第一图像的格式转换为rgb格式的步骤也可以认为是对第一图像进行预处理的步骤。示例性地，预设尺寸可以是224*224。通过将第一图像压缩为预设尺寸，并将第一图像的格式转换为rgb格式，可以有效提高后续对第一图像进行文本遮挡区域检测的速度。[0142]示例性地，图9为本公开实施例提供的文本遮挡区域检测方法的另一流程示意图。下面结合图9，以一个相对完整的实现流程，对本公开实施例提供的文本遮挡区域检测方法进行示例性说明。如图9所示，该文本遮挡区域检测方法可以包括：[0143]s901、读取图片。[0144]s901可以参考前述实施例中所述的s101。[0145]s902、图片预处理。[0146]s902可以参考前述实施例中将第一图像压缩为预设尺寸，并将第一图像的格式转换为rgb格式的步骤。[0147]s903、快速凝聚聚类。[0148]s903可以参考前述实施例中所述的s102。[0149]s904、颜色降维。[0150]s904可以参考前述实施例中所述的s601。[0151]s905、实例分割。[0152]s905可以参考前述实施例中所述的s301-s302或者s602-s603。[0153]s906、ocr文本行检测。[0154]s906可以参考前述实施例中对第一图像进行光学字符识别文本行检测，得到第一图像中的文本框的步骤。[0155]s907、遮挡区域选择。[0156]s907可以参考前述实施例中所述的获取颜色实例分割区域和文本框的交叠区域的面积与文本框的面积的第一比值、交叠区域的面积与颜色实例分割区域的面积的第二比值、以及交叠区域的面积与颜色实例分割区域和文本框的面积之和的第三比值；当第一比值、第二比值、以及第三比值中的最大值大于预设交叠比阈值时，初步确定颜色实例分割区域为文本遮挡区域的步骤。[0157]s908、分类。[0158]s908可以参考前述实施例中所述的采用二分类校验颜色实例分割区域为文本遮挡区域的检测结果是否正确的步骤。[0159]示例性实施例中，本公开实施例还提供一种文本遮挡区域检测装置，可以用于实现如前述实施例所述的文本遮挡区域检测方法。[0160]图10为本公开实施例提供的文本遮挡区域检测装置的组成示意图。如图10所示，该装置可以包括：获取单元1001、聚类单元1002、分割单元1003、以及检测单元1004。[0161]其中，获取单元1001，用于获取待检测的第一图像；[0162]聚类单元1002，用于合并第一图像中像素值之间的距离小于预设距离阈值的像素点，并重复执行合并第一图像的像素点的步骤直至满足预设条件，得到多个聚类像素值。[0163]分割单元1003，用于根据每个聚类像素值对第一图像进行实例分割，得到与多个聚类像素值一一对应的多个颜色实例分割区域；[0164]检测单元1004，用于根据每个颜色实例分割区域和第一图像中的文本框的交叠关系，从多个颜色实例分割区域中确定第一图像中的文本遮挡区域。[0165]可选地，预设距离阈值包括第一距离阈值和第二距离阈值，预设条件包括第一预设条件和第二预设条件。聚类单元1002，具体用于将第一图像分割为多个第二图像；合并每个第二图像中像素值之间的距离小于第一距离阈值的像素点，并重复执行合并每个第二图像的像素点的步骤直至满足第一预设条件；在重复执行合并每个第二图像的像素点的步骤直至满足第一预设条件后，合并多个第二图像中像素值之间的距离小于第二距离阈值的像素点，并重复执行合并多个第二图像的像素点的步骤直至满足第二预设条件。[0166]可选地，第一预设条件，包括：每个第二图像中任意两个像素点之间的距离小于第三距离阈值，或者，重复执行合并每个第二图像的像素点的步骤的迭代次数达到第一次数。第二预设条件，包括：多个第二图像中任意两个像素点之间的距离小于第四距离阈值，或者，重复执行合并多个第二图像的像素点的步骤的迭代次数达到第二次数。[0167]可选地，第一距离阈值等于第二距离阈值。[0168]可选地，第三距离阈值等于第四距离阈值，第一次数等于第二次数。[0169]可选地，第三距离阈值等于第一距离阈值，第四距离阈值等于第二距离阈值。[0170]可选地，分割单元1003，具体用于根据每个聚类像素值对第一图像进行颜色降维，得到颜色降维后的第一图像；根据每个聚类像素值，对颜色降维后的第一图像进行二值化处理，得到每个聚类像素值对应的二值化图像；从每个聚类像素值对应的二值化图像中提取连通区域，得到每个聚类像素值对应的颜色实例分割区域。[0171]可选地，分割单元1003，还用于对二值化图像依次进行腐蚀处理、膨胀处理和腐蚀处理。[0172]可选地，检测单元1004，具体用于获取颜色实例分割区域和文本框的交叠区域的面积与文本框的面积的第一比值、交叠区域的面积与颜色实例分割区域的面积的第二比值、以及交叠区域的面积与颜色实例分割区域和文本框的面积之和的第三比值；当第一比值、第二比值、以及第三比值中的最大值大于预设交叠比阈值时，确定颜色实例分割区域为文本遮挡区域；预设交叠比阈值的大小与目标图像的业务场景相关。[0173]可选地，检测单元1004，具体用于当第一比值、第二比值、以及第三比值中的最大值大于预设交叠比阈值时，将颜色实例分割区域对应的图像输入预设的二分类模型，得到二分类模型输出的识别结果；识别结果包括颜色实例分割区域是文本遮挡区域或者不是文本遮挡区域；当识别结果为颜色实例分割区域是文本遮挡区域时，确定颜色实例分割区域为文本遮挡区域。[0174]图11为本公开实施例提供的文本遮挡区域检测装置的另一组成示意图。如图11所示，该装置还可以包括：训练单元1005。[0175]训练单元1005，用于获取样本集合，样本集合包括多个第一样本图像和多个第二样本图像，第一样本图像具有遮挡标签，遮挡标签用于指示第一样本图像为文本遮挡区域对应的图像；采用样本集合对神经网络进行训练，得到二分类模型。[0176]图12为本公开实施例提供的文本遮挡区域检测装置的又一组成示意图。如图12所示，该装置还可以包括：文本检测单元1006。[0177]文本检测单元1006，用于对第一图像进行光学字符识别文本行检测，得到第一图像中的文本框。[0178]可选地，聚类单元1002，具体用于对第一图像中的任意两个目标像素点，当两个目标像素点的像素值之间的距离小于预设距离阈值时，分别将两个目标像素点的像素值赋值为两个目标像素点的像素值的均值。[0179]图13为本公开实施例提供的文本遮挡区域检测装置的又一组成示意图。如图13所示，该装置还可以包括：预处理单元1007。[0180]预处理单元1007，用于在聚类单元1002合并第一图像中像素值之间的距离小于预设距离阈值的像素点之前，将第一图像压缩为预设尺寸，并将第一图像的格式转换为rgb格式。[0181]本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。[0182]根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。[0183]示例性实施例中，电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上实施例所述的方法。[0184]示例性实施例中，可读存储介质可以是存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据以上实施例所述的方法。[0185]示例性实施例中，计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据以上实施例所述的方法。[0186]图14示出了可以用来实施本公开的实施例的示例电子设备1400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。[0187]如图14所示，电子设备1400包括计算单元1401，其可以根据存储在只读存储器(rom)1402中的计算机程序或者从存储单元1408加载到随机访问存储器(ram)1403中的计算机程序，来执行各种适当的动作和处理。在ram 1403中，还可存储设备1400操作所需的各种程序和数据。计算单元1401、rom 1402以及ram 1403通过总线1404彼此相连。输入/输出(i/o)接口1405也连接至总线1404。[0188]电子设备1400中的多个部件连接至i/o接口1405，包括：输入单元1406，例如键盘、鼠标等；输出单元1407，例如各种类型的显示器、扬声器等；存储单元1408，例如磁盘、光盘等；以及通信单元1409，例如网卡、调制解调器、无线通信收发机等。通信单元1409允许电子设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。[0189]计算单元1401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1401的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1401执行上文所描述的各个方法和处理，例如文本遮挡区域检测方法。例如，在一些实施例中，文本遮挡区域检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1408。在一些实施例中，计算机程序的部分或者全部可以经由rom 1402和/或通信单元1409而被载入和/或安装到电子设备1400上。当计算机程序加载到ram 1403并由计算单元1401执行时，可以执行上文描述的文本遮挡区域检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文本遮挡区域检测方法。[0190]本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。[0191]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。[0192]在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。[0193]为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。[0194]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。[0195]计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。[0196]应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。[0197]上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!