一种无监督低光照人脸检测模型训练方法及检测方法

计算;推算;计数设备的制造及其应用技术1.本发明属于数字图像低光照增强领域和人脸检测领域，涉及一种高低阶视觉结合的无监督低光照人脸检测模型训练方法及检测方法。背景技术：2.低光照是一种常见的图像降质，光照不足通常由低光照拍摄环境、相机故障、参数设置错误等原因造成。低光照环境下的人脸检测一直受到学术界和工业界的关注。传统的人脸检测模型训练需要大规模标注训练集，但在低光照环境下，数据难以标注，并且业内已有大量正常光照人脸检测训练数据集，新搭建低光照人脸检测数据集会重复消耗人力物力。如何充分利用已有的具备标注的正常光照人脸检测训练数据集，并在不额外引入低光照标注的条件下训练低光照人脸检测模型，即无监督式地训练低光照人脸检测模型，具有广泛的现实意义和应用价值。3.传统无监督低光照人脸检测方法可以分为三类。基于提亮的方法对低光照图像进行提亮，从而提升在正常光照图像上训练的人脸检测模型的性能。基于压暗的方法降低正常光照人脸检测训练数据的亮度，人工地合成低光照人脸数据，然后在合成训练数据集上搭建并训练检测模型。基于域迁移的方法采用经典的域迁移技术，将正常光照图像视作源域，将低光照图像视作目标域，然后将在正常光照图像域上训练的模型迁移到低光照图像域。4.但是，基于提亮或压暗的方法忽略了正常光照与低光照图像之间的高维语义差异，基于域迁移的方法无法解决正常光照与低光照图像域之间的巨大域间隙。已有的无监督低光照人脸检测方法效果不佳，均无法满足实际应用的需求。技术实现要素：5.针对上述问题，本发明的目的在于提供一种高低阶视觉结合的无监督低光照人脸检测模型训练方法及检测方法，通过结合低阶视觉迁移和高阶视觉迁移综合地提升人脸检测性能，总流程如附图1所示。6.本发明采用的技术方案如下：7.一种无监督低光照人脸检测方法，包括以下步骤：8.1)收集已标注的正常光照训练数据与无标注的低光照训练数据；9.2)将低光照训练数据进行提亮；10.3)获取提亮后的低光照数据的噪声与色偏分布，将噪声与色偏分布应用于正常光照数据，得到降质后的正常光照人脸训练数据；11.4)多任务高阶视觉模型迁移，利用步骤2)所得提亮后的低光照数据，步骤3)所得降质后的正常光照人脸训练数据和步骤1)所得原始的正常光照人脸训练数据，训练人脸检测模型。在原始的正常光照人脸训练数据上进行人脸检测学习和基于拼图的自监督学习，在提亮后的低光照数据上进行对比学习与基于拼图的自监督学习，并在降质后的正常光照人脸训练数据和原始的正常光照人脸训练数据上联合进行对比学习。12.5)对于待检测的低光照人脸检测图像，首先进行提亮，然后输入训练后的低光照人脸检测模型，模型输出人脸检测结果。13.与现有技术相比，本发明的积极效果为：14.本发明显著提升低光照人脸检测性能，在dark face低光照人脸检测基准测试集上，能够将通用人脸检测器dual shot face detector的平均精确度(mean of average precision)由16.1提升至44.4。附图说明15.图1为高低阶视觉结合的无监督低光照人脸检测模型训练流程图；16.图2为正常光照数据降质流程图；17.图3为多任务高阶视觉模型迁移示意图。具体实施方式18.为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。19.本实施例公开一种无监督低光照人脸检测方法，具体说明如下：20.步骤1：搜集并搭建正常光照人脸检测训练数据集h；搜集低光照图像，组成低光照训练数据集l。其中，正常光照人脸检测训练数据集中的人脸图像样本上包含人脸标注框，低光照训练数据集中的人脸图像样本上无需包含人脸标注框。21.步骤2：对低光照训练数据集l进行提亮，使其亮度接近正常光照图像。提亮技术可使用基于视网膜大脑皮层理论的低光照增强模型retinexnet。提亮过程中不进行去噪。22.步骤3：对集合h中的正常光照图像进行降质，流程如附图2所示。23.首先对提亮后的低光照训练数据集e(l)使用高斯模糊进行模糊化，得到的新数据集记作e(l)blur。高斯模糊使用卷积核大小为25，方差为75。同样对正常光照训练数据集h进行高斯模糊，得到的新数据集记作hblur。24.然后，使用图像转换模型学习从e(l)blur到e(l)的图像映射，并应用于hblur，新得到的数据集记作hnoise。图像转换模型可以使用深度学习图像翻译模型pix2pix。25.最后，对hnoise进行色彩扰动。对于每一张图像，以(-0.6,+0.2)的扰动范围随机调整亮度，以(-0.4,+0.4)的扰动范围随机调整对比度，以(-0.4,+0.4)的扰动范围随机调整饱和度，以(-0.2,+0.2)的扰动范围随机调整色相。色彩扰动后的数据集记作d(h)。26.步骤4：搭建人脸检测模型，利用构建的数据集e(l)、h和d(h)训练模型。人脸检测使用通用人脸检测器dual shot face detector，也可以替换为其他检测模型。模型首先在h上进行人脸检测标准训练作为预训练，然后在e(l)、h和d(h)上进行多任务高阶视觉模型迁移学习。人脸检测模型多任务高阶视觉模型迁移学习的总损失函数项为：[0027][0028]其中，损失函数权重λdet设置为1，设置为0.05，设置为0.05，λe(l)↑设置为0.05。训练批大小为8，首先使用1e-4学习率训练20k迭代轮次，然后使用1e-5学习率训练40k迭代轮次。[0029]ldet为人脸检测模型原有的检测训练损失函数progressive anchor loss，表示人脸检测模型在带有标注的正常光照训练数据集上进行标准训练。[0030]其余三项为高阶视觉迁移损失函数，其训练方式如附图3所示。[0031]1)为基于拼图自监督学习的域迁移损失函数。拼图自监督学习将图像分为3×3的9个图像块，对图像块进行顺序打乱，并训练模型恢复图像块原本的顺序。对一张提亮后的低光照图像e(ln)，记其打乱图像块顺序后为e(ln)jig。将e(ln)jig输入人脸检测模型，得到深层特征记e(ln)jig图像块打乱的顺序在所有图像块排列组合方案中的字典序号为对于以vgg为骨架的人脸检测模型dual shot face detector，深层特征可采用融合conv3_3、conv4_3、conv5_3、conv_fc7、conv6_2、conv7_2六层的多层特征。在特征提取后，使用多层感知器作为拼图自监督分类器，多层感知器采用“全连接层-线性整流函数-全连接层”的网络结构。[0032]类似地，对正常光照图像数据集中的一张图像hn，记其打乱图像块顺序后为(hn)jig。将(hn)jig输入人脸检测模型，得到深层特征记(hn)jig图像块打乱的顺序在所有图像块排列组合方案中的字典序号为基于拼图自监督学习的域迁移损失函数同时预测低光照与正常光照图像的块打乱顺序：[0033][0034]其中，lc为交叉熵分类损失函数。[0035]2)为在正常光照图像上跨噪声与色彩扰动的对比学习损失函数：[0036][0037]其中，lq为infonce损失函数，d*(hn)表示以50％的概率在数据集d(h)中采样图像d(hn)，以50％的概率从数据集h中采样图像hn。损失函数中的加号与减号代表对比学习中的正样本与负样本，d*(hn)+代表d*(hn)的对比学习正样本，d*(hn)-代表d*(hn)的对比学习负样本。对比学习采用基于动量的对比学习策略moco。类似于基于拼图的自监督学习，对比学习中的分类器同样采用“全连接层-线性整流函数-全连接层”的多层感知器，特征同样采用融合conv3_3、conv4_3、conv5_3、conv_fc7、conv6_2、conv7_2六层的多层特征。[0038]3)le(l)↑为在提亮后的低光照图像上的对比学习损失函数：[0039]le(l)↑＝lq(e(ln),e(ln)+,e(ln)-)，[0040]其中，e(ln)+代表e(ln)的对比学习正样本，e(ln)-代表e(ln)的对比学习负样本。le(l)↑采用与相同的对比学习策略、分类器结构和特征选取方式。[0041]步骤5：推理阶段，对于待检测的低光照人脸图像，首先使用步骤2中的低光照增强技术进行提亮，然后输入给步骤4训练得到的低光照人脸检测模型。[0042]以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!