基于联合学习的安全计算方法与流程

计算;推算;计数设备的制造及其应用技术1.本发明涉及联合学习技术领域，具体为基于联合学习的安全计算方法。背景技术：2.联合学习的典型事例为：两件事在时间上很靠近地重复发生，最后在脑内逐渐形成联系，如经典的条件反射和操作式条件反射就是属于这种类型的学习。现有关于联合学习的应用是指通过一系列算法用于解决机器学习问题。它们的重要细节不同，但基本思想共通：虽然服务器不能收集数据，但是可以收集模型的参数，服务器协调边缘设备参与训练，每个边缘设备都有训练数据。每个边缘设备都利用自己的数据训练一个本地模型，将自己的参数加密传或者不加密上传给服务器，服务器通过将收集上来的参数进行平均或者加权平均，广播给每个边缘设备。此种方式还是基于机器状态下的学习过程，不能完全展示出联合学习的必要性。3.通过对现有技术的检索，也未发现关于联合学习实际运用带来的好处，虽然浅显的联合学习易被大众理解，但是深层次的联合学习由于技术的不规范往往存在数据泄漏、数据盗用等不规范学习后果。技术实现要素：4.本发明的目的在于提供基于联合学习的安全计算方法，通过建立联合学习模型用于数据特征提取的同时，也为联合学习提供了训练平台，其数据信息基于安全加密计算得出，安全性高，提高了价值共享效率，以解决上述背景技术中提出的问题。5.为实现上述目的，本发明提供如下技术方案：6.基于联合学习的安全计算方法，包括以下步骤：7.s1：建立联合学习模型：由编码器、通信单元、整合单元和分类器构成。8.s2：通过编码器、通信单元和分类器接收、存储、并分类相应数据至数据库内，整合单元将实时接收的数据根据数据特征在数据库内整合并标记为第一特征数据、第二特征数据、......第n特征数据；9.s3：根据学习任务，对输入的任务信息进行预处理，根据任务数值相关正则表达式识别候选的数值，以数值为触发词，与其前后一定窗口大小内的词例进行拼接，作为联合学习模型的输入；联合学习模型的底层接入词嵌入层，并对于词嵌入层的输出，加入数值触发词的位置信息，得到对于每个词例最终的分布式表示，再将分布式表示共享地接入后续的特征提取网络；10.s4：特征提取网络通过联合学习模型中分类器得到数值信息单元的语义类型，接入序列标注网络得到数值触发词相关的数个语义角色，合并具体任务的输出，得到数值信息单元的抽取结果，针对输入文本中抽取出的多个数值信息单元，利用加密算法统计判断数值信息单元之间的复合关系进行训练整合；11.s5：训练过程：利用深度学习网络对数值爬取的加密无关的源代码中整合大量爬取的与加密相关的源码数据，来构建基础源码库；然后通过对基础源码库进行交叉编译预处理，得到二进制代码库；分别提取二进制加密算法的统计特征与结构特征整合生成加密算法图，将加密算法图嵌入到神经网络中变为向量形式，通过比较向量间的距离远近即可判断代码是否相似，经训练后得到有能力判断加密算法图的嵌入向量是否相似的模型；12.s6：将相似模型的数据通过整合得出最佳学习效果，将不相似的模型数据独立加密存储为特征数据，并更新至联合学习模型的特征数据库中。13.更进一步地，s2中编码器用于对输入的联合数据信息进行编码向量，再将编码向量输入至通信单元，通信单元通过特征提取网络确定联合数据的交互向量；基于整合单元对联合数据中与学习数据相关的第一权重的编码向量以及第二权重的交互向量进行融合，生成融合向量，其中，第二权重大于第一权重；将融合向量输入至分类器，确定与学习数据相关的匹配度。14.更进一步地，s2中还包括特征数据的更新，其从学习任务终端接收模拟量、条件和/或元数据，其中，学习任务终端电耦合到通信网络中，模拟量表示根据最终学习任务计算得到的推断结论；根据最终学习任务发送来的条件和/或元数据，允许或拒绝来自每个学习任务终端对联合学习模型的建议更新，在允许建议更新的情况下，利用接收到的模拟量进行与联合学习数据有关的联合学习模型更新，并同时更新特征数据。15.更进一步地，s2中的第一特征数据、第二特征数据、......第n特征数据之间相互独立存储不关联。16.更进一步地，s3中特征提取网络的构建步骤如下：17.s301：设计神经网络模型：根据云端服务器和物联网终端的计算和存储资源，设计包含云端和物联网设备共享结构及其权重的trunk(交换机)部分，物联网设备的branch(分支)部分和云端的branch(分支)部分的branchynet(分支网)神经网络模型；18.s302：云端离线训练：在云端使用公共公开的数据集训练branchynet(分支网)模型，得到该模型的初始权重；19.s303：部署神经网络模型：将trunk(交换机)部分和branch(分支)部分分别部署到各个物联网设备和云服务器中；20.s304：物联网设备和云端协同在线联合训练：各个物联网设备利用本地持续产生的私有数据进行联合训练，持续地优化并更新trunk(交换机)部分、branch(分支)部分的权重，得到能适应不同物联网设备使用环境或使用偏好的个性化的特征提取网络。21.更进一步地，s4中的语义类型包括：命名、指代、计数、序数、度量以及比值，相关语义角色包括：值、修饰、值类型、单位、属性、对象以及整体。22.更进一步地，s5中还包括对加密算法的检测过程：利用深度学习网络预先生成标准加密算法库，将实现规范且已经确定具体种类的加密算法分别挑选一份，并生成加密算法图；接着，将未知种类的待检测加密算法也生成一份加密算法图；最后，将待检测加密算法生成的加密算法图嵌入训练完成的模型中，与标准加密算法库的嵌入依次比较其向量距离；与待检测算法向量距离最短的标准算法的种类即为待检测加密算法的种类。23.更进一步地，通过建立的联合学习模型还可以做数据集的增强训练，针对联合参与的每一项数据都拥有一定数量的样本，联合起来训练对各自来说，相当于是数据集的增强即横向联合；其数据特征聚合的，即纵向联合。24.更进一步地，通过建立的联合学习模型还可以做数据标注，其参与数据项中一项拥有特征而另一项拥有标注数据，二者可以在不泄漏隐私的情况下联合学习到相互之间的联系，从而达到标注的效果。25.与现有技术相比，本发明的有益效果是：26.1、本发明提供的基于联合学习的安全计算方法，通过建立联合学习模型，在联合学习模型内导入不同对象的不同数据，由特征提取网络进行数据特征提取并存储，将两个独立的不同对象但又相互关联的学习特征通过加密算法训练出两个相似的模型，通过一个模型去学习另一个模型，达到价值共享。27.2、本发明提供的基于联合学习的安全计算方法，是基于加密状态下进行的，当两个对象之间相互引用对方模型学习时，均为隐私操作，这不仅保护了双方的数据信息，同时也为双方的数据联合学习提供了保密的渠道，安全价值高，值得大范围推广和运用。28.3、本发明提供的基于联合学习的安全计算方法，针对联合学习的每一方都可以通过本发明方法将各方的数据样本联合起来，丰富联合模型的统计精准度，提高了模型的通用性同时也不相互泄漏彼此的样本信息。29.4、本发明提供的基于联合学习的安全计算方法，参与联合学习的每一方中，一方拥有特征数据，而另外一方拥有标注数据，通过联合计算可以做到双方在不互相泄露数据隐私的情况下学习到二者之间的联系，达到标注的效果。30.5、本发明提供的基于联合学习的安全计算方法，参与联合学习的多方各自包含独特的部分特征,通过本方法可以训练出单个参与方无法完成的包含多种特征的联合模型。31.6、本发明提供的基于联合学习的安全计算方法，针对一方的模型具有很高的价值不愿共享，而另外一方具有私有数据但是也不愿意共享数据；本发明可以做到使用一方的模型消费另外一方的数据，但是二者互相不共享，从而达到共同产生价值但是保护隐私的极致目的。附图说明32.图1为本发明的方法流程图；33.图2为本发明的特征提取网络构建图；34.图3为本发明的实施例一的方法流程图；35.图4为本发明的实施例二的方法流程图；36.图5为本发明的实施例三的方法流程图；37.图6为本发明的实施例四的方法流程图。具体实施方式38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。39.请参阅图1-2，本发明实施例中提供：基于联合学习的安全计算方法，包括以下步骤：40.第一步：建立联合学习模型：由编码器、通信单元、整合单元和分类器构成。41.第二步：通过编码器、通信单元和分类器接收、存储、并分类相应数据至数据库内，整合单元将实时接收的数据根据数据特征在数据库内整合并标记为第一特征数据、第二特征数据、......第n特征数据；42.第三步：根据学习任务，对输入的任务信息进行预处理，根据任务数值相关正则表达式识别候选的数值，以数值为触发词，与其前后一定窗口大小内的词例进行拼接，作为联合学习模型的输入；联合学习模型的底层接入词嵌入层，并对于词嵌入层的输出，加入数值触发词的位置信息，得到对于每个词例最终的分布式表示，再将分布式表示共享地接入后续的特征提取网络；43.第四步：特征提取网络通过联合学习模型中分类器得到数值信息单元的语义类型，接入序列标注网络得到数值触发词相关的数个语义角色，合并具体任务的输出，得到数值信息单元的抽取结果，针对输入文本中抽取出的多个数值信息单元，利用加密算法统计判断数值信息单元之间的复合关系进行训练整合；44.第五步：训练过程：利用深度学习网络对数值爬取的加密无关的源代码中整合大量爬取的与加密相关的源码数据，来构建基础源码库；然后通过对基础源码库进行交叉编译预处理，得到二进制代码库；分别提取二进制加密算法的统计特征与结构特征整合生成加密算法图，将加密算法图嵌入到神经网络中变为向量形式，通过比较向量间的距离远近即可判断代码是否相似，经训练后得到有能力判断加密算法图的嵌入向量是否相似的模型；45.第六步：将相似模型的数据通过整合得出最佳学习效果，将不相似的模型数据独立加密存储为特征数据，并更新至联合学习模型的特征数据库中。46.在上述实施例中，第二步中编码器用于对输入的联合数据信息进行编码向量，再将编码向量输入至通信单元，通信单元通过特征提取网络确定联合数据的交互向量；基于整合单元对联合数据中与学习数据相关的第一权重的编码向量以及第二权重的交互向量进行融合，生成融合向量，其中，第二权重大于第一权重；将融合向量输入至分类器，确定与学习数据相关的匹配度。47.在上述实施例中，第二步中还包括特征数据的更新，其从学习任务终端接收模拟量、条件和/或元数据，其中，学习任务终端电耦合到通信网络中，模拟量表示根据最终学习任务计算得到的推断结论；根据最终学习任务发送来的条件和/或元数据，允许或拒绝来自每个学习任务终端对联合学习模型的建议更新，在允许建议更新的情况下，利用接收到的模拟量进行与联合学习数据有关的联合学习模型更新，并同时更新特征数据；其中，第一特征数据、第二特征数据、......第n特征数据之间相互独立存储不关联。48.在上述实施例中，第三步中的特征提取网络的构建步骤如下：49.s301：设计神经网络模型：根据云端服务器和物联网终端的计算和存储资源，设计包含云端和物联网设备共享结构及其权重的trunk(交换机)部分，物联网设备的branch(分支)部分和云端的branch(分支)部分的branchynet(分支网)神经网络模型；50.s302：云端离线训练：在云端使用公共公开的数据集训练branchynet(分支网)模型，得到该模型的初始权重；51.s303：部署神经网络模型：将trunk(交换机)部分和branch(分支)部分分别部署到各个物联网设备和云服务器中；52.s304：物联网设备和云端协同在线联合训练：各个物联网设备利用本地持续产生的私有数据进行联合训练，持续地优化并更新trunk(交换机)部分、branch(分支)部分的权重，得到能适应不同物联网设备使用环境或使用偏好的个性化的特征提取网络。53.通过上述特征提取网络的构建和应用能够满足多种不同应用场景的使用。54.在上述实施例中，第四步中的语义类型包括：命名、指代、计数、序数、度量以及比值，相关语义角色包括：值、修饰、值类型、单位、属性、对象以及整体，用于特征提取网络的特征提取。55.在上述实施例中，第五步中还包括对加密算法的检测过程：利用深度学习网络预先生成标准加密算法库，将实现规范且已经确定具体种类的加密算法分别挑选一份，并生成加密算法图；接着，将未知种类的待检测加密算法也生成一份加密算法图；最后，将待检测加密算法生成的加密算法图嵌入训练完成的模型中，与标准加密算法库的嵌入依次比较其向量距离；与待检测算法向量距离最短的标准算法的种类即为待检测加密算法的种类，通过检测过程对训练过程的进一步检验，提高加密算法的精度及安全性。56.为了进一步更好的解释说明本发明，还提供如下具体的实施例：57.实施例一：58.请参阅图3，将本发明的基于联合学习的安全计算方法应用于联合学习中的数据集增强训练，其包括以下步骤：59.第一步：建立联合学习模型：由编码器、通信单元、整合单元和分类器构成。60.第二步：针对联合参与的每一个对象都拥有一定数量的样本，将该数量的样本通过编码器、通信单元和分类器接收、存储、并分类相应数据至数据库内，整合单元将实时接收的数据根据数据特征在数据库内整合并标记为第一特征数据、第二特征数据、......第n特征数据；61.第三步：根据联合训练任务，对输入的任务信息进行预处理，根据任务数值相关正则表达式识别候选的数值，以数值为触发词，与其前后一定窗口大小内的词例进行拼接，作为联合学习模型的输入；联合学习模型的底层接入词嵌入层，并对于词嵌入层的输出，加入数值触发词的位置信息，得到对于每个词例最终的分布式表示，再将分布式表示共享地接入后续的特征提取网络；62.第四步：特征提取网络通过联合学习模型中分类器得到数值信息单元的语义类型，接入序列标注网络得到数值触发词相关的数个语义角色，合并具体任务的输出，得到数值信息单元的抽取结果，针对输入文本中抽取出的多个数值信息单元，利用加密算法统计判断数值信息单元之间的复合关系进行训练整合；63.第五步：训练过程：利用深度学习网络对数值爬取的加密无关的源代码中整合大量爬取的与加密相关的源码数据，来构建基础源码库；然后通过对基础源码库进行交叉编译预处理，得到二进制代码库；分别提取二进制加密算法的统计特征与结构特征整合生成加密算法图，将加密算法图嵌入到神经网络中变为向量形式，通过比较向量间的距离远近即可判断代码是否相似，经训练后得到有能力判断加密算法图的嵌入向量是否相似的模型；由于本实施例中联合参与的每一个对象都拥有独立数量的样本，因此，训练出的模型为不相似；64.第六步：将联合学习数据中不相似的模型数据独立加密存储为特征数据，并更新至联合学习模型的特征数据库中，相当于横向联合，即增强了数据集的训练。65.实施例二：66.请参阅图4，将本发明的基于联合学习的安全计算方法应用于联合学习中的数据集的特征聚合，其包括以下步骤：67.第一步：建立联合学习模型：由编码器、通信单元、整合单元和分类器构成。68.第二步：针对联合参与的每一个对象都拥有一定数量的样本，将该数量的样本通过编码器、通信单元和分类器接收、存储、并分类相应数据至数据库内，整合单元将实时接收的数据根据数据特征在数据库内整合并标记为第一特征数据、第二特征数据、......第n特征数据；69.第三步：根据联合训练任务，对输入的任务信息进行预处理，根据任务数值相关正则表达式识别候选的数值，以数值为触发词，与其前后一定窗口大小内的词例进行拼接，作为联合学习模型的输入；联合学习模型的底层接入词嵌入层，并对于词嵌入层的输出，加入数值触发词的位置信息，得到对于每个词例最终的分布式表示，再将分布式表示共享地接入后续的特征提取网络；70.第四步：特征提取网络通过联合学习模型中分类器得到数值信息单元的语义类型，接入序列标注网络得到数值触发词相关的数个语义角色，合并具体任务的输出，得到数值信息单元的抽取结果，针对输入文本中抽取出的多个数值信息单元，利用加密算法统计判断数值信息单元之间的复合关系进行训练整合；71.第五步：训练过程：利用深度学习网络对数值爬取的加密无关的源代码中整合大量爬取的与加密相关的源码数据，来构建基础源码库；然后通过对基础源码库进行交叉编译预处理，得到二进制代码库；分别提取二进制加密算法的统计特征与结构特征整合生成加密算法图，将加密算法图嵌入到神经网络中变为向量形式，通过比较向量间的距离远近即可判断代码是否相似，经训练后得到有能力判断加密算法图的嵌入向量是否相似的模型；由于本实施例中联合参与的每一个对象都拥有独立数量的样本，其训练出的模型不相似，但是可以提取到对应的特征数据；72.第六步：将联合学习数据中的特征数据独立加密存储，并更新至联合学习模型的特征数据库中，相当于纵向联合，即增强了联合学习模型的特征数据集。73.实施例三：74.请参阅图5，将本发明的基于联合学习的安全计算方法应用于联合学习中的数据标注，其包括以下步骤：75.第一步：建立联合学习模型：由编码器、通信单元、整合单元和分类器构成。76.第二步：针对联合参与的每一个对象都拥有一定数量的样本，有的是拥有特征数据样本，有的是拥有标注数据样本，将该数量的样本通过编码器、通信单元和分类器接收、存储、并分类相应数据至数据库内，整合单元将实时接收的数据根据数据特征在数据库内整合并标记为第一特征数据、第二特征数据、......第n特征数据；77.第三步：根据联合训练任务，对输入的任务信息进行预处理，根据任务数值相关正则表达式识别候选的数值，以数值为触发词，与其前后一定窗口大小内的词例进行拼接，作为联合学习模型的输入；联合学习模型的底层接入词嵌入层，并对于词嵌入层的输出，加入数值触发词的位置信息，得到对于每个词例最终的分布式表示，再将分布式表示共享地接入后续的特征提取网络；78.第四步：特征提取网络通过联合学习模型中分类器得到数值信息单元的语义类型，接入序列标注网络得到数值触发词相关的数个语义角色，合并具体任务的输出，得到数值信息单元的抽取结果，针对输入文本中抽取出的多个数值信息单元，利用加密算法统计判断数值信息单元之间的复合关系进行训练整合；79.第五步：训练过程：利用深度学习网络对数值爬取的加密无关的源代码中整合大量爬取的与加密相关的源码数据，来构建基础源码库；然后通过对基础源码库进行交叉编译预处理，得到二进制代码库；分别提取二进制加密算法的统计特征与结构特征整合生成加密算法图，将加密算法图嵌入到神经网络中变为向量形式，通过比较向量间的距离远近即可判断代码是否相似，经训练后得到有能力判断加密算法图的嵌入向量是否相似的模型；由于本实施例中联合参与的对象中有的是拥有特征数据样本，有的是拥有标注数据样本，由于经联合学习模型的加密处理，二者可以在不泄漏隐私的情况下通过联合学习模型学习到他们之间的联系，从而达到标注的效果。80.具体应用例：比如医疗场景中，一方拥有病人的特征，另一方拥有病人的体检结果，通过本实施例的基于联合学习的安全计算方法就可以联合进行数据标注。81.实施例四：82.请参阅图6，将本发明的基于联合学习的安全计算方法应用于联合学习中的模型与数据独立性的研究，其包括以下步骤：83.第一步：建立联合学习模型：由编码器、通信单元、整合单元和分类器构成。84.第二步：针对联合参与的每一个对象，有的是拥有模型，有的是拥有数据，相当于理论数据与实践数据，掌握在两个对象之间，将该数据的样本通过编码器、通信单元和分类器接收、存储、并分类相应数据至数据库内，整合单元将实时接收的数据根据数据特征在数据库内整合并标记为第一特征数据、第二特征数据、......第n特征数据；85.第三步：根据联合训练任务，对输入的任务信息进行预处理，根据任务数值相关正则表达式识别候选的数值，以数值为触发词，与其前后一定窗口大小内的词例进行拼接，作为联合学习模型的输入；联合学习模型的底层接入词嵌入层，并对于词嵌入层的输出，加入数值触发词的位置信息，得到对于每个词例最终的分布式表示，再将分布式表示共享地接入后续的特征提取网络；86.第四步：特征提取网络通过联合学习模型中分类器得到数值信息单元的语义类型，接入序列标注网络得到数值触发词相关的数个语义角色，合并具体任务的输出，得到数值信息单元的抽取结果，针对输入文本中抽取出的多个数值信息单元，利用加密算法统计判断数值信息单元之间的复合关系进行训练整合；87.第五步：训练过程：利用深度学习网络对数值爬取的加密无关的源代码中整合大量爬取的与加密相关的源码数据，来构建基础源码库；然后通过对基础源码库进行交叉编译预处理，得到二进制代码库；分别提取二进制加密算法的统计特征与结构特征整合生成加密算法图，将加密算法图嵌入到神经网络中变为向量形式，通过比较向量间的距离远近即可判断代码是否相似，经训练后得到有能力判断加密算法图的嵌入向量是否相似的模型；由于本实施例中联合参与的两个对象都拥有同一个学习的对象数据，只是数据分为模型数据和理论数据，两者之间相互独立，在一个总的数据库中，可以相互联合，训练出相似的模型框架；88.第六步：在相似的模型框架中，用一方的模型去消费另一方的数据，在保护数据模型隐私的前提下，达到价值共享，避免独自再去学习，从而提高联合学习效率。89.综上所述：本发明提供的基于联合学习的安全计算方法，通过建立联合学习模型，在联合学习模型内导入不同对象的不同数据，由特征提取网络进行数据特征提取并存储，将两个独立的不同对象但又相互关联的学习特征通过加密算法训练出两个相似的模型，通过一个模型去学习另一个模型，达到价值共享；另外，本发明的联合学习的安全计算方法是基于加密状态下进行的，当两个对象之间相互引用对方模型学习时，均为隐私操作，这不仅保护了双方的数据信息，同时也为双方的数据联合学习提供了保密的渠道，安全价值高，值得大范围推广和运用。90.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!