跨域的深度伪造检测模型训练方法、深度伪造检测方法和系统与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本说明书涉及深度伪造检测领域，尤其涉及一种跨域的深度伪造检测模型训练方法、深度伪造检测方法和系统。背景技术：2.近年来，随着互联网技术的飞速发展，内容生成方式越来越便捷，使得网络上的内容越来越多。而这些内容中往往包含着存在风险的内容，比如，虚假或伪造的内容。这些风险内容往往会造成巨大的误导作用，因此需要对内容进行深度伪造检测。现有的深度伪造检测方式主要通过深度学习网络训练得到的，依赖于训练样本所属的领域。而随着深度伪造检测技术不断的应用到更多的领域，会遇到多种表征差别迥异的场景特性，不同场景的内容呈现不同的特点。现有技术中的深度伪造检测技术在跨场景情况下的性能下降明显。因此，需要一种新的跨域的深度伪造检测模型训练方法、深度伪造检测方法和系统来提升跨场景使用性能。技术实现要素：3.本说明书提供一种跨场景使用性能更好的跨域的深度伪造检测模型训练方法、深度伪造检测方法和系统。4.第一方面，本说明书提供一种跨域的深度伪造检测模型训练方法，包括：确定源标注标签预测模型，所述源标注标签预测模型是基于源域的源样本图像及其对应的源标注标签对标签预测模型预训练得到的；基于目标域的多个目标样本图像，通过目标域迁移算法对所述源标注标签预测模型进行数据迁移，得到目标标签预测模型，所述目标域迁移算法是基于无源域自适应算法以及最大期望算法得到的；将所述多个目标样本图像输入至所述目标标签预测模型，得到所述多个目标样本图像对应的多个目标标注标签；以及将所述多个目标样本图像及所述多个目标标注标签作为训练样本，对初始深度伪造检测模型进行训练，得到所述目标域对应的目标深度伪造检测模型。5.在一些实施例中，所述标签预测模型包括特征提取网络以及标签预测网络，所述特征提取网络被配置为对输入的图像进行特征提取，输出图像特征；以及所述标签预测网络被配置为基于所述图像特征进行标签预测，输出预测标签，所述源标注标签预测模型在训练时，是将所述源样本图像输入至所述标签预测模型，将标签预测损失作为损失函数，对所述标签预测模型进行训练得到的。6.在一些实施例中，所述预测标签为像素级别的稠密标签，所述预测标签的类型包括深度伪造类别标签，标记所述图像中的每个像素对应的深度伪造类别。7.在一些实施例中，所述预测标签的类型还包括篡改标签，标记所述图像中的每个像素是否被篡改，包括有篡改和无篡改。8.在一些实施例中，所述预测标签的类型还包括关键点标签，标记所述图像中的关键点。9.在一些实施例中，所述特征提取网络包括多个专家特征编码模型以及特征融合模型，所述多个专家特征编码模型被配置为对所述图像进行特征提取，生成对应的多个独立特征，所述多个独立特征互补；以及所述特征融合模型被配置为对所述多个独立特征进行特征融合，生成融合特征，其中，所述图像特征包括所述多个独立特征和/或所述融合特征，所述预测标签包括所述多个独立特征对应的独立预测标签和/或所述融合特征对应的融合预测标签。10.在一些实施例中，所述标签预测损失包括所述独立预测标签对应的独立预测损失和/或所述融合预测标签对应的融合预测损失。11.在一些实施例中，所述标签预测损失还包括所述独立预测标签与所述融合预测标签的一致性损失。12.在一些实施例中，所述基于目标域的多个目标样本图像，通过目标域迁移算法对所述源标注标签预测模型进行数据迁移，得到目标标签预测模型，包括：基于所述多个目标样本图像，对初始目标标签预测模型进行训练，得到所述目标标签预测模型，在每一轮训练中：将所述多个目标样本图像输入至所述初始目标标签预测模型中，得到多个初始预测标签；对所述多个初始预测标签进行聚类，得到n个类别，其中n为大于1的整数；将所述n个类别中的每个类别所包含的初始预测标签的平均值作为其对应的平均预测标签；确定所述多个目标样本图像中的每个目标样本图像的标注标签，所述标注标签包括当前目标样本图像对应的初始预测标签与其所属类别的平均预测标签加权和；以及将所述初始预测标签与其对应的标注标签之间的损失作为损失函数，进行训练。13.在一些实施例中，所述初始目标标签预测模型为所述源标注标签预测模型。14.在一些实施例中，所述初始目标标签预测模型包括：训练好的所述特征提取网络；目标迁移网络，被配置为对所述特征提取网络输出的所述图像特征进行特征迁移，得到目标域目标特征；以及训练好的所述标签预测网络，被配置为基于所述目标域目标特征进行标签预测，输出所述目标样本图像对应的目标预测标签，对所述初始目标标签预测模型进行训练包括对所述目标迁移网络进行训练。15.在一些实施例中，所述初始深度伪造检测模型包括特征编码器以及深度伪造预测网络，所述特征编码器被配置为对输入的图像进行特征提取；以及所述深度伪造预测网络被配置为基于所述特征编码器提取的特征进行深度伪造检测，并输出深度伪造预测结果，所述对初始深度伪造检测模型进行训练，包括：将所述深度伪造预测结果的损失作为损失函数，进行迭代。16.在一些实施例中，所述初始深度伪造检测模型还包括置信度估计网络，被配置为基于所述特征编码器提取的特征进行置信度计算，得到所述深度伪造预测结果对应的置信度预测结果，所述对初始深度伪造检测模型进行训练，还包括：将所述置信度预测结果的损失作为损失函数，进行迭代。17.第二方面，本说明书还提供一种深度伪造检测方法，包括：确定目标域内的待检测图像；将所述待检测图像输入至目标深度伪造检测模型中，得到目标预测结果，其中，所述目标深度伪造检测模型是通过本说明书第一方面所述的深度伪造检测模型训练方法训练得到；以及基于所述目标预测结果，确定所述待检测图像是否为深度伪造图像。18.在一些实施例中，所述目标预测结果为像素级别的预测结果，包括深度伪造分类概率。19.在一些实施例中，所述基于所述目标预测结果，确定所述待检测图像的深度伪造检测结果，包括：确定所述待检测图像中所有像素的深度伪造分类概率的平均值；以及在所述平均值大于预设的第一阈值时，确定所述待检测图像为深度伪造图像，否则，确定所述待检测图像为正常图像。20.在一些实施例中，所述目标预测结果还包括篡改预测结果，表征所述待检测图像中的每个像素是否被篡改。21.在一些实施例中，所述基于所述目标预测结果，确定所述待检测图像的深度伪造检测结果，包括：确定所述待检测图像中所有像素的深度伪造分类概率的平均值；确定所述待检测图像中被篡改的像素面积；以及在所述平均值大于预设的第一阈值，且所述像素面积大于预设的第二阈值时，确定所述待检测图像为深度伪造图像，否则，确定所述待检测图像为正常图像。22.在一些实施例中，所述目标预测结果还包括置信度概率。23.在一些实施例中，所述基于所述目标预测结果，确定所述待检测图像的深度伪造检测结果，包括：确定所述待检测图像中所有像素的深度伪造分类概率的平均值；确定所述待检测图像中被篡改的像素面积；以及在所述平均值大于预设的第一阈值，且所述像素面积大于预设的第二阈值，以及所述置信度概率小于预设的第三阈值时，确定所述待检测图像为深度伪造图像，否则，确定所述待检测图像为正常图像。24.第三方面，本说明书还提供一种深度伪造检测系统，包括：25.至少一个存储介质，存储有至少一个指令集，用于进行深度伪造检测；以及26.至少一个处理器，同所述至少一个存储介质通信连接，至少一个存储介质，存储有至少一个指令集，用于进行深度伪造检测；以及至少一个处理器，同所述至少一个存储介质通信连接，其中，当所述深度伪造检测系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行本说明书第二方面所述的深度伪造检测方法。27.由以上技术方案可知，本说明书提供的跨域的深度伪造检测模型训练方法、深度伪造检测方法和系统，基于sfda算法以及em算法，将源域上训练好的标签预测模型迁移至目标域中，以对目标域中的目标样本图像进行标签预测，得到对应的目标标注标签，从而利用目标域中的目标样本图像和目标标注标签对深度伪造检测模型进行训练，以使深度伪造检测模型跨域自适应至目标域中。同时，标签预测模型是像素级别的稠密标签预测，相对于稀疏标签来说，稠密标签包含更多的信息量，使得模型在跨域适配阶段可以获取更多的信息，从而提升模型的跨域适配性能。本说明书提供的跨域的深度伪造检测模型训练方法、深度伪造检测方法和系统在无需获取目标域的标签的情况下，提升了深度伪造检测模型的跨域自适应的性能，从而提升了深度伪造检测模型在目标域中的检测准确性。28.本说明书提供的跨域的深度伪造检测模型训练方法、深度伪造检测方法和系统的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的跨域的深度伪造检测模型训练方法、深度伪造检测方法和系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。附图说明29.为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。30.图1示出了根据本说明书的实施例提供的一种深度伪造检测系统的应用场景示意图；31.图2示出了根据本说明书的实施例提供的一种计算设备的硬件结构示意图；32.图3示出了根据本说明书的实施例提供的一种深度伪造检测模型训练方法的流程示意图；33.图4示出了根据本说明书的实施例提供的一种标签预测模型的结构示意图；34.图5示出了根据本说明书的实施例提供的一种深度伪造检测方法的流程示意图。具体实施方式35.以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。36.这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。37.考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。38.本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。39.为了方便描述，本说明书将对以下描述将会出现的术语进行如下解释：40.deepfakes(虚假/伪造内容生成)：指通过文本或者图像/视频生成方法，生成虚假的不符合事实的文本或者图像/视频内容，并发布到内容平台。多模态的虚假/伪造内容可以造成巨大的误导作用。41.深度伪造检测(deepfakes检测)：指利用深度学习、机器学习等技术检测图像/文本等内容是否为deepfakes模型生成，也可以理解为检测生成的内容是否为虚假/伪造的内容。42.稠密标签：在本方法中，指图像deepfakes内容的标签，区别于离散的类别标签，稠密标签信息量更大，例如pixel-wise的类别标签，稠密关键点以及篡改mask等。43.sfda：source free domain adaptation，无源域自适应算法，指不依赖源域数据的跨场景适配方法，由于隐私等一些因素，源域的数据在训练完基础模型后就难以获取，因此需要在无源域数据的情况下进行跨场景适配。44.域：指场景。45.跨域自适应：模型/方法从一个场景(域)迁移到另一场景进行应用时，能够适应该另一个场景。46.本说明书的场景也可称之为域。不同域呈现不同的特点，比如，内容发布场景和人脸识别场景中的图像所呈现的特点是不同的。再比如，在人脸识别中，不同场景下的人脸图像的特点也是不同的。比如，刷脸门禁对周围环境的光线要求不高，且不需要用户做配合动作，而刷脸支付需要较强的光线，同时需要用户高度配合。若直接将在刷脸门禁场景中训练的深度伪造检测模型应用到刷脸支付上，则对刷脸支付场景的适配性会很差，准确率将大打折扣。47.目前常见的深度伪造检测算法都是基于深度学习数据驱动的，因此存在跨场景性能下降明显的问题。常见的深度伪造跨场景适配方法可以被分为两种类型。第一种类型是基于源域数据的跨域自适应方法。这类方法需要基础模型、有标签的源域数据以及无标签的目标域数据。然后通过对目标域数据和源域数据的分布分析和拟合来进行跨域自适应。这类方法性能一般较好，但是由于需要依赖有标签的源域数据，往往会涉及到隐私问题，没有场景的普适性，只适用于少量的场景。第二种类型则是仅基于目标域数据的跨域自适应方法(即sfda)。这类方法只需要基础模型和无标签的目标域数据即可。但是由于目标域的数据没有标签，特别是没有大量的稠密标签，导致适配阶段信息量过少。因此，这类方法适配得到的模型性能一般较弱。48.在对本说明书具体实施例说明之前，先对本说明书的应用场景进行如下介绍：49.本说明书提供的跨域的深度伪造检测模型的训练方法可以应用在任意的跨域使用场景中。比如，从内容审核场景跨域至内容发布场景，对待发布的内容进行深度伪造检测；再比如，从内容审核场景跨域至人脸识别场景，对待识别的人脸进行深度伪造检测，等等，在此就不再一一赘述。50.需要说明的是，本说明书提供的跨域的深度伪造检测模型的训练方法不仅可以应用于深度检测模型的跨域训练，也可以应用在其他检测模型的跨域训练中，比如，活体识别模型的跨域训练、人脸识别模型的跨域训练，等等。51.本说明书提供的深度伪造检测方法可以应用在任意的内容检测场景中，比如，在内容审核场景中，可以通过本说明书的深度伪造检测方法对内容平台中待审核的内容进行内容检测；在内容发布场景中，可以通过本说明书的深度伪造检测方法对待发布的内容进行内容检测；在内容分享场景中，可以通过本说明书的深度伪造检测方法对待分享的内容进行内容检测；在人脸识别场景中，可以通过本说明书的深度伪造检测方法对待检测的人脸进行深度伪造检测；还可以应用在任意的内容检测场景中，在此就不再一一赘述。52.本领域技术人员应当明白，以上只是示例性说明，本说明书所述的跨域的深度伪造检测模型训练方法、深度伪造检测方法和系统应用于其他跨域使用场景也在本说明书的保护范围内。53.图1示出了根据本说明书的实施例提供的一种深度伪造检测系统001的应用场景示意图。深度伪造检测系统001(以下简称系统001)可以应用于任意场景的深度伪造检测，比如，内容审核场景下的深度伪造检测、内容发布场景下的深度伪造检测、内容分享场景下的深度伪造检测，等等，如图1所示，系统001可以包括目标用户100、客户端200、服务器300以及网络400。54.目标用户100可以为触发对待检测图像进行深度伪造检测的用户，目标用户100可以在客户端200进行深度伪造检测的操作。55.客户端200可以为响应于目标用户100的深度伪造检测操作对待检测图像进行检测的设备。在一些实施例中，所述深度伪造检测方法可以在客户端200上执行。此时，客户端200可以存储有执行本说明书描述的深度伪造检测方法的数据或指令，并可以执行或用于执行所述数据或指令。在一些实施例中，客户端200可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。如图1所示，客户端200可以与服务器300进行通信连接。在一些实施例中，服务器300可以与多个客户端200进行通信连接。在一些实施例中，客户端200可以通过网络400与服务器300交互，以接收或发送消息等，比如接收待检测图像等。在一些实施例中，客户端200可以包括移动设备、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容，或其任意组合。在一些实施例中，所述移动设备可包括智能家居设备、智能移动设备、虚拟现实设备、增强现实设备或类似设备，或其任意组合。在一些实施例中，所述智能家居装置可包括智能电视、台式电脑等，或任意组合。在一些实施例中，所述智能移动设备可包括智能手机、个人数字辅助、游戏设备、导航设备等，或其任意组合。在一些实施例中，所述虚拟现实设备或增强现实设备可能包括虚拟现实头盔、虚拟现实眼镜、虚拟现实手柄、增强现实头盔、增强现实眼镜、增强现实手柄或类似内容，或其中的任何组合。例如，所述虚拟现实设备或所述增强现实设备可能包括谷歌眼镜、头戴式显示器、vr等。在一些实施例中，所述机动车中的内置装置可包括车载计算机、车载电视等。在一些实施例中，客户端200可以包括图像采集设备，用于采集待检测图像。在一些实施例中，所述图像采集设备可以是二维图像采集设备(比如rgb摄像头)，也可以是二维图像采集设备(比如rgb摄像头)和深度图像采集设备(比如3d结构光摄像头、激光探测器，等等)。在一些实施例中，客户端200可以是具有定位技术的设备，用于定位客户端200的位置。56.在一些实施例中，客户端200可以安装有一个或多个应用程序(app)。所述app能够为目标用户110提供通过网络400同外界交互的能力以及界面。所述app包括但不限于：网页浏览器类app程序、搜索类app程序、聊天类app程序、购物类app程序、视频类app程序、理财类app程序、即时通信工具、邮箱客户端、社交平台软件等等。在一些实施例中，客户端200上可以安装有目标app。所述目标app能够为客户端200采集待检测图像。在一些实施例中，所述目标用户100还可以通过所述目标app触发深度伪造检测请求。所述目标app可以响应于所述深度伪造检测请求，执行本说明书描述的深度伪造检测方法。所述深度伪造检测方法将在后面的内容中详细介绍。57.服务器300可以是提供各种服务的服务器，例如对客户端200上采集待检测图像进行深度伪造检测提供支持的后台服务器。在一些实施例中，所述深度伪造检测方法可以在服务器300上执行。此时，服务器300可以存储有执行本说明书描述的深度伪造检测方法的数据或指令，并可以执行或用于执行所述数据或指令。在一些实施例中，服务器300可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。服务器300可以与多个客户端200通信连接，并接收客户端200发送的数据。58.网络400用以在客户端200和服务器300之间提供通信连接的介质。网络400可以促进信息或数据的交换。如图1所示，客户端200和服务器300可以同网络400连接，并且通过网络400互相传输信息或数据。在一些实施例中，网络400可以是任何类型的有线或无线网络，也可以是其组合。比如，网络400可以包括电缆网络，有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(lan)、广域网(wan)、无线局域网(wlan)、大都市市区网(man)、广域网(wan)、公用电话交换网(pstn)、蓝牙tm网络、zigbeetm网络、近场通信(nfc)网络或类似网络。在一些实施例中，网络400可以包括一个或多个网络接入点。例如，网络400可以包括有线或无线网络接入点，如基站或互联网交换点，通过该接入点，客户端200和服务器300的一个或多个组件可以连接到网络400以交换数据或信息。59.应该理解，图1中的客户端200、服务器300和网络400的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端200、服务器300和网络400。60.需要说明的是，所述深度伪造检测方法可以完全在客户端200上执行，也可以完全在服务器300上执行，还可以部分在客户端200上执行，部分在服务器300上执行。61.图2示出了根据本说明书的实施例提供的一种计算设备600的硬件结构图。在一些实施例中，计算设备600可以执行本说明书描述的跨域的深度伪造检测模型的训练方法。在一些实施例中，计算设备600可以执行本说明书描述的深度伪造检测方法。执行所述深度伪造检测模型的训练方法的计算设备与执行所述深度伪造检测方法的计算设备可以是同一个计算设备600，也可以是两个独立的计算设备600。所述深度伪造检测模型的训练方法和所述深度伪造检测方法在本说明书中的其他部分介绍。在一些实施例中，当计算设备600执行所述深度伪造检测方法时，当所述深度伪造检测方法在客户端200上执行时，计算设备600可以是客户端200；当所述深度伪造检测方法在服务器300上执行时，计算设备600可以是服务器300；当所述深度伪造检测方法部分在客户端200上执行，部分在服务器300上执行时，计算设备600可以是客户端200和服务器300的组合。在一些实施例中，当计算设备600执行所述深度伪造检测模型的训练方法时，所述计算设备600可以是客户端200，也可以是服务器300，也可以是客户端200和服务器300的组合，还可以是客户端200和服务器300之外的其他设备。62.如图2所示，计算设备600可以包括至少一个存储介质630和至少一个处理器620。在一些实施例中，计算设备600还可以包括通信端口650和内部通信总线610。同时，计算设备600还可以包括i/o组件660。63.内部通信总线610可以连接不同的系统组件，包括存储介质630、处理器620和通信端口650。64.i/o组件660支持计算设备600和其他组件之间的输入/输出。65.通信端口650用于计算设备600同外界的数据通信，比如，通信端口650可以用于计算设备600同网络400之间的数据通信。通信端口650可以是有线通信端口也可以是无线通信端口。66.存储介质630可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘632、只读存储介质(rom)634或随机存取存储介质(ram)636中的一种或多种。存储介质630还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码，所述计算机程序代码可以包括执行本说明书提供的深度伪造模型训练方法和/或深度伪造检测方法的程序、例程、对象、组件、数据结构、过程、模块等等。67.至少一个处理器620可以同至少一个存储介质630以及通信端口650通过内部通信总线610通信连接。至少一个处理器620用以执行上述至少一个指令集。当计算设备600运行时，至少一个处理器620读取所述至少一个指令集，并且根据所述至少一个指令集的指示，执行本说明书提供的深度伪造模型训练方法和/或深度伪造检测方法。处理器620可以执行深度伪造模型训练方法和/或深度伪造检测方法包含的所有步骤。处理器620可以是一个或多个处理器的形式，在一些实施例中，处理器620可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(risc)，专用集成电路(asic)，特定于应用的指令集处理器(asip)，中心处理单元(cpu)，图形处理单元(gpu)，物理处理单元(ppu)，微控制器单元，数字信号处理器(dsp)，现场可编程门阵列(fpga)，高级risc机器(arm)，可编程逻辑器件(pld)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明问题，在本说明书中计算设备600中仅描述了一个处理器620。然而，应当注意，本说明书中计算设备600还可以包括多个处理器，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中计算设备600的处理器620执行步骤a和步骤b，则应该理解，步骤a和步骤b也可以由两个不同处理器620联合或分开执行(例如，第一处理器执行步骤a，第二处理器执行步骤b，或者第一和第二处理器共同执行步骤a和b)。68.图3示出了根据本说明书的实施例提供的一种深度伪造检测模型训练方法p100的流程示意图。如前，计算设备600可以执行本说明书的深度伪造检测模型训练方法p100。具体地，处理器620可以读取存储在其本地存储介质中的指令集，然后根据指令集的规定，执行本说明书的深度伪造检测模型训练方法p100。所述方法p100是一种跨域训练方法，即从一种使用场景跨域至另一种使用场景。69.如图3所示，方法p100可以包括：70.s120：确定源标注标签预测模型。71.所述源标注标签预测模型是基于源域的源样本图像及其对应的源标注标签对标签预测模型预训练得到的。所述源域可以是已知样本数据及标签的场景。即所述源域的源样本图像及其对应的源标注标签是已知的。所述源样本图像可以是在源域中获取的样本数据。所述源标注标签可以是在源域中的源样本图像对应的标签。在一些实施例中，所述源标注标签预测模型可以是已经训练好的模型，可以直接获取，比如，当源域中的源样本图像和源标注标签不方便直接获取时，可以直接获取已经训练好的源标注标签预测模型使用。在一些实施例中，也可以直接获取源样本图像以及源标注标签，并使用源样本图像和源标注标签对标签预测模型进行训练，从而得到源标注标签预测模型。72.所述源样本图像可以是任意形式的样本数据，比如文本数据，再比如图像数据，等等。在深度伪造检测中，所述源样本图像可以是图像数据。为了方便展示，我们将以源样本图像为图像数据为例进行描述。73.在一些实施例中，所述源标注标签可以是对源样本图像的标注。在深度伪造检测中，所述源标注标签可以是对源样本图像是否属于深度伪造的标注。在一些实施例中，所述源标注标签可以是对图像的整体标注。在一些实施例中，所述源标注标签可以是对图像中的每个像素的标注，即所述源标注标签是像素级别的稠密标签。所述稠密标签中的信息量更大，在进行模型训练时可以获取更高的适配性，从而提升模型的准确性。74.在一些实施例中，所述源标注标签可以包括深度伪造类别标注标签。所述深度伪造类别标注标签可以表征所述源样本图像中的每个像素对应的深度伪造类别。在一些实施例中，所述深度伪造类别可以包括属于深度伪造和不属于深度伪造两种。在一些实施例中，所述深度伪造类别可以包括多种，比如，换脸伪造、表情迁移伪造、动作迁移伪造和不属于深度伪造，等等。75.在一些实施例中，所述源标注标签还可以包括篡改标注标签。所述篡改标注标签可以表征所述源样本图像中的每个像素是否被篡改。所述篡改标注标签可以包括有篡改标注和无篡改标注。在一些实施例中，无篡改标注可以用0表示，有篡改标注可以用1表示。在一些实施例中，无篡改标注可以用1表示，有篡改标注可以用0表示。所述源样本图像的篡改标注标签可以是一张由0和1组成的图像，其中0和1分别是对图像中的每个像素的篡改标注。76.在一些实施例中，所述源标注标签还可以包括关键点标注标签。所述关键点标注标签可以是稠密关键点，标注所述源样本图像中的关键点。即在所述图像中的关键点的像素位置处进行标注。以人脸图像为例，所述关键点可以是眼睛、鼻子、嘴巴、脸部轮廓等所处的像素位置。在一些实施例中，所述关键点标注标签可以包括关键点类别标注标签，不同类别的关键点被赋予不同的标签，比如，眼睛、鼻子、嘴巴分别被赋予不同类别的关键点标注标签。在一些实施例中，所述关键点标注标签可以是是否属于关键点的标签，属于关键点的像素被赋予同一种标签，不属于关键点的像素被赋予不同的标签。77.图4示出了根据本说明书的实施例提供的一种标签预测模型700的结构示意图。如图4所示，所述标签预测模型700可以包括特征提取网络720和标签预测网络740。所述特征提取网络720可以被配置为对输入的图像进行特征提取，输出图像特征。为了方便描述，我们将输入的图像标记为x。在一些实施例中，特征提取网络720可以包含一个网络模型。在一些实施例中，特征提取网络可以包含多个网络模型，比如包含多个专家特征编码模型722以及特征融合模型724。为了方便描述，我们将多个专家特征编码模型722标记为专家特征编码模型722-1、专家特征编码模型722-2、……、专家特征编码模型722-m。其中，m为大于1的整数。多个专家特征编码模型722可以被配置为对所述图像进行特征提取，生成对应的多个独立特征。所述多个独立特征互补。即多个专家特征编码模型722提取的特征互补。所述互补可以是互相不重合。为了方便展示，我们将多个独立特征标记为独立特征1、独立特征2、……、独立特征m。特征融合模型724可以被配置为对所述多个独立特征进行特征融合，生成融合特征。在一些实施例中，特征融合模型724可以是softgart融合模型。在一些实施例中，特征提取网络720输出的所述图像特征可以包括所述多个独立特征。在一些实施例中，所述图像特征可以包括所述融合特征。在一些实施例中，所述图像特征可以包括所述多个独立特征以及所述融合特征。为了方便展示，我们将以所述图像特征包括所述多个独立特征以及所述融合特征为例进行描述。78.所述标签预测网络740可以被配置为基于所述图像特征进行标签预测，输出预测标签。为了方便展示，我们将预测标签标记为y。所述预测标签与标注标签相对应。所述预测标签是对标注标签的预测值。所述预测标签的类型也与标注标签的类型相对应。如前所述，所述源标注标签可以是像素级别的稠密标签，所述预测标签也可以是像素级别的稠密标签。在一些实施例中，所述预测标签与所述源标注标签的类型可以包括深度伪造类别标签。所述深度伪造类别标签可以标记所述图像中的每个像素对应的深度伪造类别。在一些实施例中，所述预测标签与所述源标注标签的类型还可以包括篡改标签。所述篡改标签标记所述图像中的每个像素是否被篡改，包括有篡改和无篡改。在一些实施例中，所述预测标签与所述源标注标签的类型还可以包括关键点标签。所述关键点标签标记所述图像中的关键点。79.如前所述，在一些实施例中，在一些实施例中，特征提取网络720输出的所述图像特征可以包括所述多个独立特征。此时，所述预测标签可以包括所述多个独立特征对应的独立预测标签。在一些实施例中，所述图像特征可以包括所述融合特征。此时，所述预测标签包括所述融合特征对应的融合预测标签。在一些实施例中，所述图像特征可以包括所述多个独立特征以及所述融合特征。此时，所述预测标签包括所述独立预测标签以及所述融合预测标签。80.所述源标注标签预测模型在训练时，是将所述源样本图像输入至所述标签预测模型，将标签预测损失作为损失函数，对所述标签预测模型进行训练，使所述标签预测模型收敛得到的。如前所述，在一些实施例中，所述预测标签可以包括所述多个独立特征对应的独立预测标签。此时，所述标签预测损失可以包括所述独立预测标签对应的独立预测损失。所述独立预测损失可以是所述独立预测标签与所述源标注标签对比得到的损失。在一些实施例中，所述预测标签包括所述融合特征对应的融合预测标签。此时，所述标签预测损失可以包括所述融合预测标签对应的融合预测损失。所述融合预测损失可以是所述融合预测标签与所述源标注标签对比得到的损失。在一些实施例中，所述预测标签包括所述独立预测标签以及所述融合预测标签，此时所述标签预测损失可以包括所述独立预测损失以及所述融合预测损失。在一些实施例中，当所述预测标签包括所述独立预测标签以及所述融合预测标签时，所述标签预测损失还可以包括所述独立预测标签与所述融合预测标签的一致性损失，即所述独立预测标签与所述融合预测标签对比得到的损失。多种预测标签损失可以进行加权求和，构成所述损失函数。81.所述源标注标签预测模型是在源域中的模型，在目标域中适配性较差。因此，需要将源标注标签预测模型向目标域进行迁移，使之适应目标域，以获取在目标域中性能更好的目标标签预测模型。82.如图3所示，所述方法p100还可以包括：83.s140：基于目标域的多个目标样本图像，通过目标域迁移算法对所述源标注标签预测模型进行数据迁移，得到目标标签预测模型。84.所述目标域可以是数据迁移的目标场景。所述目标域中的目标样本图像没有标注标签。所述目标域迁移算法是基于无源域自适应算法以及最大期望算法得到的。所述无源自适应算法即sfda算法，通过对没有标注的样本数据的预测值进行聚类，并将聚类后的中心作为样本数据的标注值来进行模型训练。所述最大期望算法即em算法(expectation-maximization algorithm)。所述em算法的基本思想是：首先根据已知的样本数据，估计出样本数据对应的预测值；然后再依据上一步估计出的预测值估计缺失的数据，再根据估计出的缺失数据加上之前的预测值重新再对预测值重新进行估计，然后反复迭代，直至最后收敛，迭代结束。85.步骤s140可以包括：基于所述多个目标样本图像，对初始目标标签预测模型进行训练，得到所述目标标签预测模型。86.在一些实施例中，所述初始目标标签预测模型可以是步骤s120中训练好的所述源标注标签预测模型。对初始目标标签预测模型进行训练可以是对所述源标注标签预测模型进行训练，即对训练好的特征提取网络720和标签预测网络740进行再训练。87.在一些实施例中，所述初始目标标签预测模型可以包括步骤s120中训练好的特征提取网络、目标迁移网络以及步骤s120中训练好的标签预测网络。特征提取网络720被配置为对输入的图像进行特征提取，并输出图像特征。目标迁移网络可以被配置为对所述特征提取网络输出的图像特征进行特征迁移，得到目标域目标特征。标签预测网络被配置为基于所述目标域目标特征进行标签预测，输出所述目标样本图像对应的目标预测标签。此时，对初始目标标签预测模型进行训练可以是对目标迁移网络的训练，而特征提取网络720与标签预测网络740在训练过程中参数保持不变。对初始目标标签预测模型进行训练可以是对特征提取网络720、目标迁移网络与标签预测网络740的训练。88.步骤s140可以包括在每一轮训练中：将所述多个目标样本图像输入至所述初始目标标签预测模型中，得到多个初始预测标签；对所述多个初始预测标签进行聚类，得到n个类别，其中n为大于1的整数；将所述n个类别中的每个类别所包含的初始预测标签的平均值作为其对应的平均预测标签；确定所述多个目标样本图像中的每个目标样本图像的标注标签，所述标注标签包括当前目标样本图像对应的初始预测标签与其所属类别的平均预测标签的加权和；以及将所述初始预测标签与其对应的标注标签之间的损失作为损失函数，进行训练。89.在一些实施例中，所述n个类别可以是深度伪造的类别。在一些实施例中，所述n个类别也可以是预先设置好的类别。当所述初始预测标签包括多种类型时，可以将多种类型的初始预测标签进行加权求和作为目标样本图像的综合初始预测标签，并对综合初始预测标签进行聚类。90.为了方便描述，我们将初始预测标签标记为y。将其所属类别的平均预测标签标记为m。则在第一轮训练中，目标样本图像对应的标注标签可以表示为y1＝ay+bm。其中，a为初始预测标签的权重，b为平均预测标签的权重。在一些实施例中，a+b＝1，且a＞b。比如，a＝0.9，b＝0.1。再比如，a＝0.8，b＝0.2。91.在一些实施例中，损失函数还可以是所述初始预测标签与其所述类别的平均预测标签之间的损失。92.在步骤s140中，在训练轮数达到预设轮数，或者所述损失函数小于预设值时，停止训练，得到所述目标标签预测模型。93.如图3所示，方法p100还可以包括：94.s160：将所述多个目标样本图像输入至所述目标标签预测模型，得到所述多个目标样本图像对应的多个目标标注标签。95.在目标标签预测模型训练好后，可以使用目标标签预测模型对目标样本图像进行标注，以输出目标样本图像对应的目标标注标签。所述目标样本图像和所述目标标注标签可以作为训练样本，对深度伪造模型进行训练。在一些实施例中，所述每个目标标注标签的类型可以包括深度伪造类别标签。在一些实施例中，所述每个目标标注标签的类型还可以包括篡改标签。在一些实施例中，所述每个目标标注标签的类型还可以包括关键点标签。96.如图3所示，方法p100还可以包括：97.s180：将所述多个目标样本图像及所述多个目标标注标签作为训练样本，对初始深度伪造检测模型进行训练，得到所述目标域对应的目标深度伪造检测模型。98.所述初始深度伪造检测模型可以包括特征编码器以及深度伪造预测网络。所述特征编码器可以被配置为对输入的图像进行特征提取。这里的输入的图像可以是所述目标样本图像。深度伪造预测网络可以被配置为基于所述特征编码器提取的特征进行深度伪造检测，并输出深度伪造预测结果。所述深度伪造预测结果的类型域所述目标标注标签的类型一致。在一些实施例中，所述目标标注标签以及深度伪造预测结果的类型可以包括深度伪造类别标签。在一些实施例中，所述目标标注标签以及深度伪造预测结果的类型还可以包括篡改标签。在一些实施例中，所述目标标注标签的类型以及深度伪造预测结果还可以包括关键点标签。99.在步骤s180中，所述对初始深度伪造检测模型进行训练，包括将所述深度伪造预测结果的损失作为损失函数，进行迭代。所述深度伪造预测结果的损失可以是所述深度伪造预测结果与其对应的目标标注标签对比得到的损失。100.在一些实施例中，所述初始深度伪造检测模型还可可以包括置信度估计网络。所述置信度估计网络可以被配置为基于所述特征编码器提取的特征进行置信度计算，得到所述深度伪造预测结果对应的置信度预测结果。101.在步骤s180中，所述对初始深度伪造检测模型进行训练，还可以包括将所述置信度预测结果的损失作为损失函数，进行迭代。所述置信度预测结果的损失可以是所述置信度预测结果与置信度估计值对比得到的损失。所述置信度估计值可以是基于所述深度伪造预测结果的损失得到的。102.计算设备600通过执行所述方法p100，基于源域上的源标注标签预测模型，通过目标域迁移算法将源域上的源标注标签预测模型迁移至目标域，得到目标标注标签训练模型，以对目标域上的目标样本图像进行标注，使得标注结果更准确。利用目标样本图像以及目标标注标签训练得到的目标深度伪造检测模型，在目标域上具有更好的检测性能，其检测结果更准确。103.图5示出了根据本说明书的实施例提供的一种深度伪造检测方法p200的流程示意图。如前，计算设备600可以执行本说明书的深度伪造检测方法p200。具体地，处理器620可以读取存储在其本地存储介质中的指令集，然后根据指令集的规定，执行本说明书的深度伪造检测方法p200。所述方法p200可以对目标域中的待检测图像进行深度伪造检测。如图5所示，所述方法p200可以包括：104.s220：确定目标域内的待检测图像。105.所述待检测图像可以是需要进行深度伪造检测的图像。比如在人脸识别领域中，所述待检测图像可以是正在进行人脸识别的图像。在一些实施例中，所述待检测图像可以通过客户端200上的图像采集设备进行获取。在一些实施例中，所述待检测图像还可以是预先存储在客户端200或计算设备600上的图像。106.s240：将所述待检测图像输入至目标深度伪造检测模型中，得到目标预测结果。107.在一些实施例中，所述目标预测结果为像素级别的预测结果。即所述目标预测结果为对待检测图像中的每个像素的预测结果。在一些实施例中，所述目标预测结果的类型可以是深度伪造分类概率。即每个像素属于深度伪造的概率。108.在一些实施例中，所述目标预测结果还包括篡改预测结果。所述篡改预测结果表征所述待检测图像中的每个像素是否被篡改，包括有篡改和无篡改两种。在一些实施例中，所述目标预测结果还包括置信度概率。在一些实施例中，所述目标预测结果还包括关键点预测结果，包括对每个像素是否属于关键点的预测。109.如图5所示，所述方法p200还可以包括：110.s260：基于所述目标预测结果，确定所述待检测图像是否为深度伪造图像。111.当所述目标预测结果的类型包括深度伪造分类概率时，步骤s260可以包括：确定所述待检测图像中所有像素的深度伪造分类概率的平均值；以及在所述平均值大于预设的第一阈值时，确定所述待检测图像为深度伪造图像，否则，确定所述待检测图像为正常图像。在一些实施例中，所述待检测图像中所有像素的深度伪造分类概率的平均值可以作为所述待检测图像的深度伪造分类概率。所述第一阈值可以预先存储在计算设备600中。在一些实施例中，所述第一阈值可以基于经验值获取。在一些实施例中，所述第一阈值可以基于统计方法获取。在一些实施例中，所述第一阈值可以基于机器学习的方法获取。112.当所述目标预测结果的类型包括深度伪造分类概率，同时又包括篡改预测结果时，步骤s260可以包括：确定所述待检测图像中所有像素的深度伪造分类概率的平均值；确定所述待检测图像中被篡改的像素面积；以及在所述平均值大于预设的第一阈值，且所述像素面积大于预设的第二阈值时，确定所述待检测图像为深度伪造图像，否则，确定所述待检测图像为正常图像。113.所述第二阈值可以预先存储在计算设备600中。在一些实施例中，所述第二阈值可以基于经验值获取。在一些实施例中，所述第二阈值可以基于统计方法获取。在一些实施例中，所述第二阈值可以基于机器学习的方法获取。114.当所述目标预测结果的类型包括深度伪造分类概率、篡改预测结果以及置信度概率时，步骤s260可以包括：确定所述待检测图像中所有像素的深度伪造分类概率的平均值；确定所述待检测图像中被篡改的像素面积；以及在所述平均值大于预设的第一阈值，且所述像素面积大于预设的第二阈值，以及所述置信度概率小于预设的第三阈值时，确定所述待检测图像为深度伪造图像，否则，确定所述待检测图像为正常图像。115.所述第三阈值可以预先存储在计算设备600中。在一些实施例中，所述第三阈值可以基于经验值获取。在一些实施例中，所述第三阈值可以基于统计方法获取。在一些实施例中，所述第三阈值可以基于机器学习的方法获取。116.综上所述，本说明书提供的深度伪造检测模型训练方法p100、深度伪造检测方法p200和系统001，基于sfda算法以及em算法，将源域上训练好的标签预测模型迁移至目标域中，以对目标域中的目标样本图像进行标签预测，得到对应的目标标注标签，从而利用目标域中的目标样本图像和目标标注标签对深度伪造检测模型进行训练，以使深度伪造检测模型跨域自适应至目标域中。同时，标签预测模型是像素级别的稠密标签预测，相对于稀疏标签来说，稠密标签包含更多的信息量，使得模型在跨域适配阶段可以获取更多的信息，从而提升模型的跨域适配性能。本说明书提供的跨域的深度伪造检测模型训练方法、深度伪造检测方法和系统在无需获取目标域的标签的情况下，提升了深度伪造检测模型的跨域自适应的性能，从而提升了深度伪造检测模型在目标域中的检测准确性。117.本说明书另一方面提供一种非暂时性存储介质，存储有至少一组用来进行深度伪造检测的可执行指令。当所述可执行指令被处理器执行时，所述可执行指令指导所述处理器实施本说明书所述的深度伪造检测方法的步骤。在一些可能的实施方式中，本说明书的各个方面还可以实现为一种程序产品的形式，其包括程序代码。当所述程序产品在计算设备600上运行时，所述程序代码用于使计算设备600执行本说明书描述的深度伪造检测方法的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)包括程序代码，并可以在计算设备600上运行。然而，本说明书的程序产品不限于此，在本说明书中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在计算设备600上执行、部分地在计算设备600上执行、作为一个独立的软件包执行、部分在计算设备600上部分在远程计算设备上执行、或者完全在远程计算设备上执行。118.上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。119.综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。120.此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。121.应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。122.本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。123.最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!