最小化联邦学习总成本的在线参数选择方法以及相关设备 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本技术实施例涉及机器学习领域，尤其涉及最小化联邦学习总成本的在线参数选择方法以及相关设备。背景技术：2.随着物联网的快速发展，各种移动设备和物联网设备每天产生大量的数据，且具有了越来越先进的计算能力，这为智能移动边缘计算的发展提供了机会。传统的机器学习(ml)方法需要将数据集中在云服务器或数据中心中。然而，在实际应用中，由于带宽限制和日益严格的大数据隐私保护等问题，传统的机器学习方法将不再适用。联邦学习(fl，federated learning)作为一种新兴的分布式机器学习框架，它允许大量设备能够在不共享原始数据下协作学习模型，但联邦学习在学习时间和资源消耗上所产生的巨大成本代价仍是一项亟待解决的问题。3.根据系统和应用场景的不同，联邦学习训练时间和计算能耗的重要性可能不同。因此，现有的工作通常考虑单一的优化目标，如仅针对时间成本或能源成本进行优化。4.但是，在实际应用中，联邦学习的每一轮的本地计算和全局通信中都涉及到能源和时间这两方面的开销，因此，单一的优化目标无法最小化联邦学习成本。技术实现要素：5.本技术实施例提供了最小化联邦学习总成本的在线参数选择以及相关设备，用于最小化联邦学习的学习总成本。6.本技术实施例第一方面提供一种最小化联邦学习总成本的在线参数选择方法，包括：7.响应于训练参数确定指令，计算使用k个参与方进行r轮联邦学习所需的学习总成本期望，每轮联邦学习过程中每个参与方进行e次本地迭代，学习总成本期望包括时间成本期望和能源成本期望；8.确定第一优化问题，所述第一优化问题用于求解在第一约束下第一函数的最小值，所述第一函数为所述学习总成本期望，所述第一约束包括第一收敛约束，所述第一收敛约束包括全局损失期望与最小全局损失的差不大于预设收敛精度；9.求解所述第一优化问题，得到目标参与方数量k*以及目标本地迭代次数e*；10.基于所述目标参与方数量k*以及目标本地迭代次数e*，控制每轮联邦学习的参与方数量以及参与方的本地迭代次数。11.在一种具体实现方式中，所述求解所述第一优化问题，得到目标参与方数量k*以及目标本地迭代次数e*，包括：12.按照预设收敛上界调整所述第一收敛约束，获得第二收敛约束，所述第二收敛约束包括预设收敛上界不大于预设收敛精度；13.将学习轮次r松弛为连续变量，并将所述第一函数近似为第二函数；14.将所述松弛为连续变量的r代入所述第二函数中，获得第三函数，并将所述松弛为连续变量的r代入所述第二收敛约束中，获得第三收敛约束；15.确定第二优化问题，所述第二优化问题用于求解在第三约束下第三函数的最小值，所述第三约束包括第三收敛约束；16.求解所述第二优化问题，得到目标参与方数量k*以及目标本地迭代次数e*。17.在一种具体实现方式中，所述计算使用k个参与方进行r轮联邦学习所需的学习总成本，包括：18.确定使用k个参与方进行r轮联邦学习所需的时间成本期望；19.确定使用k个参与方进行r轮联邦学习所需的能源成本期望；20.获取预设的时间权重以及预设的能源权重；21.基于所述时间权重以及所述能源权重，加权求和所述时间成本期望以及所述能源成本期望，获得学习总成本。22.在一种具体实现方式中，所述计算使用k个参与方进行r轮联邦学习所需的学习总成本期望,包括：23.根据以下公式确定每个参与方的单轮训练时间：24.tk＝tk,pe+tk,m25.其中，tk表示第k个参与方的单轮训练时间，tk,p表示第k个参与方的单次迭代时间，tk,m表示第k个参与方的单轮通讯时间；26.根据以下公式确定使用k个参与方进行r轮联邦学习所需的时间成本期望：[0027][0028]其中，表示时间成本期望，表示从n个备选参与方中无放回采样k个参与方；[0029]根据以下公式确定使用k个参与方进行r轮联邦学习所需的能源成本期望：[0030][0031]其中，表示能源成本期望，ep为k个参与方平均本地单次迭代能耗，em为k个参与方的平均单轮通信能耗；[0032]根据以下公式计算所述学习成本总期望：[0033][0034]其中，表示所述学习成本总期望，(1-γ)表示预设的时间权重，γ表示预设的能源权重。[0035]在一种具体实现方式中，所述将所述第一函数近似为第二函数，包括：[0036]确定在第一情况以及第二情况下，与所述第一函数相等的近似函数；[0037]将所近似函数确定为所述第二函数。[0038]在一种具体实现方式中，所述第一情况包括每个参与方的本地单次迭代能耗一致、且每个参与方的单轮通信能耗一致，所述第二情况包括k取值为1，所述近似函数包括：[0039][0040]其中，所述为所述近似函数，所述tp为k个参与方平均本地单次迭代时间，tm为k个参与方的平均单轮通信时间。[0041]本技术实施例第二方面提供一种计算机设备，包括：[0042]计算单元，用于响应于训练参数确定指令，计算使用k个参与方进行r轮联邦学习所需的学习总成本期望，每轮联邦学习过程中每个参与方进行e次本地迭代，学习总成本期望包括时间成本期望和能源成本期望；[0043]确定单元，用于确定第一优化问题，所述第一优化问题用于求解在第一约束下第一函数的最小值，所述第一函数为所述学习总成本期望，所述第一约束包括第一收敛约束，所述第一收敛约束包括全局损失期望与最小全局损失的差不大于预设收敛精度；[0044]求解单元，用于求解所述第一优化问题，得到目标参与方数量k*以及目标本地迭代次数e*；[0045]训练单元，还用于基于所述目标参与方数量k*以及目标本地迭代次数e*，控制每轮联邦学习的参与方数量以及参与方的本地迭代次数。[0046]在一种具体实现方式中，所述求解单元，具体用于按照预设收敛上界调整所述第一收敛约束，获得第二收敛约束，所述第二收敛约束包括预设收敛上界不大于预设收敛精度；[0047]将学习轮次r松弛为连续变量，并将所述第一函数近似为第二函数；[0048]将所述松弛为连续变量的r代入所述第二函数中，获得第三函数，并将所述松弛为连续变量的r代入所述第二收敛约束中，获得第三收敛约束；[0049]确定第二优化问题，所述第二优化问题用于求解在第三约束下第三函数的最小值，所述第三约束包括第三收敛约束；[0050]求解所述第二优化问题，得到目标参与方数量k*以及目标本地迭代次数e*。[0051]在一种具体实现方式中，所述计算使用k个参与方进行r轮联邦学习所需的学习总成本，包括：[0052]确定使用k个参与方进行r轮联邦学习所需的时间成本期望；[0053]确定使用k个参与方进行r轮联邦学习所需的能源成本期望；[0054]获取预设的时间权重以及预设的能源权重；[0055]基于所述时间权重以及所述能源权重，加权求和所述时间成本期望以及所述能源成本期望，获得学习总成本。[0056]在一种具体实现方式中，所述计算单元，具体用于根据以下公式确定每个参与方的单轮训练时间：[0057]tk＝tk,pe+tk,m[0058]其中，tk表示第k个参与方的单轮训练时间，tk,p表示第k个参与方的单次迭代时间，tk,m表示第k个参与方的单轮通讯时间；[0059]根据以下公式确定使用k个参与方进行r轮联邦学习所需的时间成本期望：[0060][0061]其中，表示时间成本期望，表示从n个备选参与方中无放回采样k个参与方；[0062]根据以下公式确定使用k个参与方进行r轮联邦学习所需的能源成本期望：[0063][0064]其中，表示能源成本期望，ep为k个参与方平均本地单次迭代能耗，em为k个参与方的平均单轮通信能耗；[0065]根据以下公式计算所述学习成本总期望：[0066][0067]其中，表示所述学习成本总期望，(1-γ)表示预设的时间权重，γ表示预设的能源权重。[0068]在一种具体实现方式中，所述求解单元，具体用于确定在第一情况以及第二情况下，与所述第一函数相等的近似函数；[0069]将所近似函数确定为所述第二函数。[0070]在一种具体实现方式中，所述第一情况包括每个参与方的本地单次迭代能耗一致、且每个参与方的单轮通信能耗一致，所述第二情况包括k取值为1，所述近似函数包括：[0071][0072]其中，所述为所述近似函数，所述tp为k个参与方平均本地单次迭代时间，tm为k个参与方的平均单轮通信时间。[0073]本技术实施例第三方面提供一种计算机设备，包括：[0074]中央处理器，存储器以及输入输出接口；[0075]所述存储器为短暂存储存储器或持久存储存储器；[0076]所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行第一方面或第二方面所述的方法。[0077]本技术实施例第四方面提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面或第二方面所述的方法。[0078]本技术实施例第五方面提供一种计算机存储介质，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如第一方面或第二方面所述的方法。[0079]从以上技术方案可以看出，本技术实施例具有以下优点：考虑到联邦学习的学习总成本和多种变量之间的关系，考虑并权衡了能源成本和时间成本，在保证模型收敛的前提下，通过响应于训练参数确定指令，在线确定最优变量(即目标参与方数量k*以及目标本地迭代次数e*)，并基于最优变量进行联邦学习，使得联邦学习的学习总成本最小化。附图说明[0080]图1为本技术实施例公开的最小化联邦学习总成本的在线参数选择方法的一种流程示意图；[0081]图2为本技术实施例公开的单轮联邦学习成本的一种示意图；[0082]图3为本技术实施例公开的最小化联邦学习总成本的在线参数选择方法的另一流程示意图；[0083]图4为本技术实施例公开的最小化联邦学习总成本的在线参数选择方法的临沂流程示意图；[0084]图5为本技术实施例公开的计算机设备的一个结构示意图；[0085]图6为本技术实施例公开的计算机设备的另一结构示意图。具体实施方式[0086]下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。[0087]本技术实施例提供了最小化联邦学习总成本的在线参数选择方法以及相关设备，用于最小化联邦学习的学习总成本。[0088]具体的，本发明公开了联邦学习优化算法来最小化联邦学习的总开销，并能够在不同偏好的场景下权衡训练时间和计算/通信开销。首先，建立多种控制变量，即每轮训练采样参与方的数量和本地训练迭代次数，与联邦学习所需学习总成本的联系，进而在保证收敛性下设计一个最小化总开销的联邦学习优化问题。其次，通过一种基于采样的算法以及模拟训练来估计与优化问题中收敛界相关的未知参数。再次，使用交替凸搜索(acs)方法找到近似最优的用户端(即参与每轮联邦学习的参与方)的数量和本地训练迭代次数。最后，使用最优的参数即目标参与方数量k*以及目标本地迭代次数e*)继续进行联邦学习来达到减少总成本代价的目的。[0089]请参阅图1，本技术实施例提供一种最小化联邦学习总成本的在线参数选择方法方法，包括以下步骤：[0090]101、响应于训练参数确定指令，计算使用k个参与方进行r轮联邦学习所需的学习总成本期望，每轮联邦学习过程中每个参与方进行e次本地迭代，学习总成本期望包括时间成本期望和能源成本期望。[0091]考虑到在联邦学习跨设备异构性存在的场景下，也就是说每个备选参与方之间通信能力存在差异(系统异质性)的情况下，考虑到选择的每轮参与学习的参与方数量以及参与学习的每个参与方的本地迭代次数，对模型收敛以及学习总成本产生的影响，在模型训练开始前，就确定每轮参与学习的参与方数量以及参与学习的每个参与方的本地迭代次数，并在指定参与方数量以及本地迭代次数下，进行联邦学习。因此，本技术实施例就提供了一种有助于降低联邦学习总成本的(每轮参与学习的)参与方数量以及(每个参与方的)本地迭代次数的确定方法(或者说最小化联邦学习成本的在线参数选择方法)。[0092]考虑到最小化学习总成本的前提，建立学习总成本与参与方数量k以及本地迭代次数e之间的关系。或者说，建立因变量为学习总成本，且采样概率为参与方数量k以及本地迭代次数e的表达式。具体的，建立学习总成本与参与方数量k以及本地迭代次数e之间的关系，可以通过建立因变量为学习总成本期望，且参与方数量k以及本地迭代次数e为自变量的表达式。[0093]在确定学习总成本期望(的表示式)后，将学习总成本期望最小时的参与方数量k以及本地迭代次数e，确定为相应的目标参与方数量k*以及目标本地迭代次数e*。[0094]在一些具体实现方式中，本步骤可如下实现：确定使用k个参与方进行r轮联邦学习所需的时间成本期望；确定使用k个参与方进行r轮联邦学习所需的能源成本期望；获取预设的时间权重以及预设的能源权重；基于所述时间权重以及所述能源权重，加权求和所述时间成本期望以及所述能源成本期望，获得学习总成本。[0095]具体的，预设的时间权重以及预设的能源权重可以应对用户对不同优化目标的偏好，更好地适应不同用户的需求。需要注意的是，预设的时间权重以及预设的能源权重之和为1。[0096]需要说明的是，训练参数确定指令可以是在首轮联邦学习之前发起的，也可以是在联邦学习过程中发起的，若是在联邦学习过程中发起的，则确定出来的(新的)目标参与方数量k*以及目标本地迭代次数e*是用于替换原有参与方数量以及原有本地迭代次数，即通过联邦学习过程中发起的训练参数确定指令进行训练参数的更新(或者说目标参与方数量以及目标本地迭代次数的更新)。[0097]102、确定第一优化问题，第一优化问题用于求解在第一约束下第一函数的最小值，第一函数为学习总成本期望，第一约束包括第一收敛约束，第一收敛约束包括全局损失期望与最小全局损失的差不大于预设收敛精度。[0098]在确定学习总成本期望(的表示式)后，就可以构建在当前场景下的优化问题，即第一优化问题。可以理解的是，为了求解出来的目标参与方数量k*以及目标本地迭代次数e*是有实用价值的，需要针对第一优化问题进行约束，比如，针对模型收敛的约束：全局损失期望与最小全局损失的差不大于预设收敛精度。第一收敛约束可以在确保全局损失期望收敛到最小值f*且收敛精度为∈时(全局损失期望是使用聚合全局模型的模型参数计算得到，其中聚合全局模型是使用每轮对应的参与方集合中的参与方，对初始全局模型进行r轮训练后获得的)，得出使得联邦学习的学习总成本最小化的目标参与方数量k*以及目标本地迭代次数e*。[0099]除上述收敛约束之外，第一约束还包括对不同参数的取值范围约束，比如k，e，and1≤k≤n等，其中r是指训练得到聚合全局模型的学习轮次，n是指备选参与方数量。[0100]103、求解所述第一优化问题，得到目标参与方数量k*以及目标本地迭代次数e*。[0101]可以理解的是，第一函数(即学习总成本期望)是预设参与方数量k以及预设本地迭代次数e的函数，因此，求取学习总成本期望最小时对应的参与方数量k以及本地迭代次数e，即目标参与方数量k*以及目标本地迭代次数e*。需要注意的是，求解求取学习总成本期望最小时对应的目标参与方数量k*以及目标本地迭代次数e*，相当于求解学习总成本期望的最小值，及其最小值时k和e和取值。[0102]104、基于目标参与方数量k*以及目标本地迭代次数e*，控制每轮联邦学习的参与方数量以及参与方的本地迭代次数。[0103]具体的，在确定目标参与方数量k*以及目标本地迭代次数e*后的每轮训练中，联邦服务器在n个备选参与方中随机平均采样k*个参与方，且每轮训练被选中的参与方作为参与者使用本地数据进行目标本地迭代次数e*的本地模型更新，并将目标本地迭代次数e*更新后的模型wi(或者模型参数等)上传至联邦服务器。[0104]在一些具体实现方式中，在确定目标参与方数量k*以及目标本地迭代次数e*后的联邦学习可以通过以下方式实现：响应于获取目标参与方数量k*以及目标本地迭代次数e*的操作，将k*确定为当前参与方数量，并将e*确定为当前本地迭代次数；从n个备选参与方中选择k*个目标参与方，并向每个目标参与方发送第r轮初始参数；聚合每个目标参与方发送的第r轮待聚合参数，获得第r轮的聚合参数，第r轮的聚合参数由目标参与方进行e*次本地迭代获得；将第r轮的聚合参数确定为第r+1轮训练的初始参数，直至聚合参数满足预设收敛条件。[0105]联邦服务器聚合k个参与方的模型wi来更新全局模型。具体的，聚合方式可以是直接加权平均聚合，或参照下式聚合：其中pk为第k个参与方的样本数量占第r轮训练的多个参与方的样本数量之和的比例，即nk为第k个参与方的样本数量。按照上述方式，不断迭代训练，直至模型达到预设收敛精度。[0106]本技术实施例中，考虑到联邦学习的学习总成本和多种变量之间的关系，考虑并权衡了能源成本和时间成本，在保证模型收敛的前提下，通过使用最优变量(即目标参与方数量k*以及目标本地迭代次数e^*)进行联邦学习，使得联邦学习的学习总成本最小化。[0107]在根据前述实施例方法获得学习参数(即目标参与方数量k*以及目标本地迭代次数e*)后，可以基于目标参与方数量k*以及目标本地迭代次数e*进行联邦学习，以同时使得跨设备联邦学习场景下，联邦学习的学习总成本最小化。[0108]在一些具体实现方式中，前述步骤103具体可以通过以下方式实现：按照预设收敛上界调整第一收敛约束，获得第二收敛约束，第二收敛约束包括预设收敛上界不大于预设收敛精度；将学习轮次r松弛为连续变量，并将第一函数近似为第二函数；将松弛为连续变量的r代入第二函数中，获得第三函数，并将松弛为连续变量的r代入第二收敛约束中，获得第三收敛约束；确定第二优化问题，第二优化问题用于求解在第三约束下第三函数的最小值，第三约束包括第三收敛约束；求解第二优化问题，得到目标参与方数量k*以及目标本地迭代次数e*。[0109]具体的，在获得第一优化问题后的步骤，就是确定如何求解第一优化问题。具体的，原始的学习轮次r是自然数，为非连续变量，为了更好的求解前述第一优化问题，需要做的操作之一，就是将学习轮次r松弛为连续变量。同时，求解优化问题的常规步骤，就是将确定复杂的函数近似为在部分情况下成立的近似函数，也就是将第一函数近似为第二函数。[0110]在一些具体实现方式中，本步骤可以参照以下方式实现：确定在第一情况以及第二情况下，与第一函数相等的近似函数；将所近似函数确定为第二函数。具体的，第一情况和第二情况，可以由用户基于对前述第一优化问题的理解，以及技术积累确定，此处不作限制。[0111]此外，不同的模型训练都有其对应的收敛上界，因此通过对任意用户端采样概率进行分析推导可以获得该联邦学习的收敛上界。然后，基于该收敛上界对第一收敛约束进行调整，以获得第二收敛约束。可以理解的是，模型的收敛上界视需求而定，可以是凸收敛上界或非凸收敛上界，此处不作限制。[0112]具体的，全局损失期望收敛到最小值f*的收敛上界为前述预设收敛上界，因此，可以将第一收敛约束调整为预设收敛上界不大于预设收敛精度，并将调整后的约束作为第二收敛约束。[0113]然后，在将r松弛为连续变量、第一函数近似为第二函数，第一收敛约束调整为第二收敛约束后，将松弛为连续变量的r代入第二函数中，获得最终的第三函数，并将松弛为连续变量的r代入第二收敛约束中，获得最终的第三收敛约束。[0114]再然后，在进行上述步骤的近似、松弛、调整后，获得第二优化问题。由于步骤105中将松弛为连续变量的r代入了第三函数以及第三收敛约束中，所以第三函数以及第三收敛约束中不包含变量r。[0115]最后，在确定第二优化问题后，在第三收敛约束下求解第三函数的最小值，便可以获得满足条件的目标参与方数量k*以及目标本地迭代次数e*。[0116]下面在一个具体场景下，描述本技术实施例的最小化联邦学习总成本的在线参数选择方法。[0117]本发明主要目的是设计一种联邦学习优化算法以最大限度地减少联邦学习的总开销(或者说学习总成本)，即时间成本与能源成本。本发明描述了多元控制变量，如采样用户端的数量和本地训练轮次，对总成本代价的影响，并在保证联邦学习收敛前提下，建立使得联邦学习总成本代价最小化的优化问题。另外，本发明使用了一种基于采样的算法来学习与收敛界相关的未知参数，并用一种高效的算法来解出最优的控制变量(即目标参与方数量k*以及目标本地迭代次数e*)。[0118]为实现上述技术效果，本技术实施例提供如下技术方案：[0119]s1.在跨设备异构性存在的场景下，建立最小化联邦学习总成本的优化问题。[0120]1.1假设在第r轮训练中从n个备选参与方中使用随机平均采样k个备选参与方，记为k(r)。假设对于每个备选参与方，其每轮的本地训练时间和通讯时间在不同轮次中保持相同；那么对于不同的备选参与方，其对应的可以不同，如图2所示。[0121]1.2由于系统异构性的存在，不同的备选参与方有不同的计算和通讯能力。对于备选参与方k，有本地单次迭代(epoch，e表示本地迭代次数)所需的单次迭代时间tk，p和单轮通讯时间tk，m(包括上传和下载模型参数的通讯时间)，那么有单轮总时间tk＝tk，pe+tk，m；因为每轮训练时间由掉队者(通信或计算力低下的备选参与方)所限制，因而单轮训练时间为进而得到联邦学习在经过r轮后的总时间成本为[0122]1.3类似的，对于备选参与方k，有每次本地迭代所需的能源成本ek，p和单轮通讯成本ek，m(包括模型上传和下载的通讯成本)，那么有单轮能源总成本ek＝ek，pe+ek，m；进而得到联邦学习在经过r轮后的总能源成本代价为[0123][0124]1.4为了权衡联邦学习中成本代价中的时间成本ttot和能源成本etot，定义总成本代价为ctot(k，e，r)＝(1-γ)ttot(k，e，r)+γetot(k，e，r)，其中权重γ∈[0，1]，可以用来适应不同偏好的联邦学习场景，如当所有备选参与方都插上电源时(能源消耗不是主要问题)，可以设置γ＝0。[0125]1.5最后，在确保全局损失期望收敛到最小值f*且预设收敛精度为∈时，得出使得联邦学习总成本代价最小的优化问题p1：[0126][0127]and1≤k≤n[0128]需要注意的是，计算目标训练参数(即目标目标参与方数量k*以及目标本地迭代次数e*)的过程中，备选参与方i的tk，p、tk，m、ek，p以及ek，m是响应于训练参数确定指令，根据备选参与方的当前计算能力以及当前网络状况估计的，或者是根据备选参与方i的历史tk，p、历史tk，m、历史ek，p以及历史ek，m确定，此处不作具体限定。[0129]s2理论分析时间开销(即时间成本)和资源开销(即能源成本)，并建立学习总成本与联邦学习收敛性之间的关系。然后，给出原问题p1的近似问题p2。[0130]2.1.首先，联邦学习中的能源成本期望为2.1.首先，联邦学习中的能源成本期望为其中ep为k个备选参与方在本地单次迭代所平均消耗的计算资源(即平均本地单次迭代的平均能耗)，em为每轮训练中k个备选参与方所平均消耗通信开销(即k个参与方的平均单轮通信能耗)。另外，联邦学习中的所花费的总时间期望为其中表示从n个备选参与方中无放回地采样k个备选参与方。进而，总成本开销的期望可表示为[0131]2.2根据联邦学习的收敛上界其中a0和b0是损失函数相关常数(未知参数)，与数据异质性相关。进而将问题p1中的收敛约束条件转换为其中未知数a0以及b0是系统参数。[0132]2.3最后将优化问题p1转换为优化问题p2(p2比p1约束更强因此问题p2的任何可行解对p1也是可行的)：[0133][0134]and1≤k≤n[0135]s3为了便于求解分析，进一步将优化问题p2转换为p3：[0136]3.1首先，分析得出在最优解存在条件下，总有学习轮次r为3.1首先，分析得出在最优解存在条件下，总有学习轮次r为(将r松弛为一个连续变量)；[0137]3.2为了提高问题的可处理性，为了提高问题的可处理性，通过求特殊情况下存在的近似解，来近似前述学习总时间期望。[0138]情况一：每个参与方的本地单次迭代能耗一致、且每个参与方的单轮通信能耗一致，即同质系统，也就是tp＝tk，p和tm＝tk，m，详见下述推导。[0139][0140]情况二：k取值为1(或者说参与每轮训练的参与方数量为1)，即异质系统下但采样客户端数为1，详见下述推导。[0141][0142]具体的，由于每一轮中所有的备选参与方都是均匀随机地被采样的，所以在r轮中，每个备选参与方期望被采样k*r/n次。给定每个参与方k在每一轮中消耗的时间为tk,p×e+tk,m，对所有n个备选参与方求和，对所有n个备选参与方求和其中和分别是每个参与方进行一次本地迭代计算和一轮通信的平均时间成本。[0143]由此，将所述时间成本期望近似为以下公式：[0144][0145]3.3最后，将问题p2转换为p3:[0146][0147]s.t.e≥1，and1≤k≤n[0148]s4 p3对于控制变量k和e是严格双凸的，通过解决问题p3得出的最优解来近似求解原始问题p1，求解算法如图3所示，具体步骤如下：[0149]4.1分析满足和的驻点，得到k关于e的表达式和e关于k的三次方程和e关于k的三次方程因而，对于一个固定的k，三次方程能够得出唯一的e(双凸性)。[0150]4.2估计目标函数中存在的未知参数a0和b0[0151]4.2.1预定义全局损失和并有fb《fa，其中，ri，a和ri，b是联邦学习达到损失fa和fb的所需(的模拟训练)轮数。[0152]4.2.2选取几组不同的(ki，ei)用于联邦学习算法，记录其达到损失值fa和fb的所需轮数ri，a和ri，b[0153]4.2.2通过几组不同的ri，a以及ri，b和关系式来估计的平均值。[0154]4.3使用交替凸搜索(acs)方法找到局部最优解，直到得到收敛的k*和e*。[0155]4.3.1初始化(ki，ei)和收敛精度∈0[0156]4.3.2给定ei，解得驻点k＝k′，更新ki+1＝k′[0157]4.3.3给定ki+1解得驻点e＝e′，更新ei+1＝e′[0158]4.3.4重复上述4.3.2-4.3.3直至||(ki，ei)-(ki-1，ei-1)||《∈0，得到最优解(ki，ei)[0159]s5服务端(即联邦服务器)使用最优的k*和e*进行实际训练，如图4所示。基于k*和e*的实际训练，可以有效减少模型训练过程中的学习总成本并保证模型收敛精度。[0160]具体的，训练方式可参照前述联邦学习的相关实施例，此处不再赘述。可以理解的是，本实施例还可以采用其他的联邦学习优化算法，如使用正则化本地目标函数来减少客户端本地模型的偏差，从而通过减少训练轮数和使用最优客户端采样策略进一步降低联邦学习总时间，此处不作限制。[0161]需要说明的是，本技术实施例的所指的模拟训练的目的是为了获得未知参数的估计平均值，而实际训练的目的是为了获得可使用的模型。因此，本实施例所指的模拟训练可以在实际训练之前(预先确定k*和e*，随后每轮都采用这个k*和e*)，或者在实际训练之中(在有需求的时候，可以更新未进行训练的任一轮次的k*和e*，具体的可以在模型收敛较慢或者每轮开始前等时间节点重新计算未知参数的平均估计值，以获得更新后的k*和e*)，此处不作限定。[0162]请参阅图5，本技术实施例提供一种计算机设备，包括：[0163]计算单元501，用于响应于训练参数确定指令，计算使用k个参与方进行r轮联邦学习所需的学习总成本期望，每轮联邦学习过程中每个参与方进行e次本地迭代，学习总成本期望包括时间成本期望和能源成本期望；[0164]确定单元502，用于确定第一优化问题，第一优化问题用于求解在第一约束下第一函数的最小值，第一函数为学习总成本期望，第一约束包括第一收敛约束，第一收敛约束包括全局损失期望与最小全局损失的差不大于预设收敛精度；[0165]求解单元503，用于求解第一优化问题，得到目标参与方数量k*以及目标本地迭代次数e*；[0166]训练单元504，还用于基于目标参与方数量k*以及目标本地迭代次数e*，控制每轮联邦学习的参与方数量以及参与方的本地迭代次数。[0167]在一种具体实现方式中，求解单元503，具体用于按照预设收敛上界调整第一收敛约束，获得第二收敛约束，第二收敛约束包括预设收敛上界不大于预设收敛精度；[0168]将学习轮次r松弛为连续变量，并将第一函数近似为第二函数；[0169]将松弛为连续变量的r代入第二函数中，获得第三函数，并将松弛为连续变量的r代入第二收敛约束中，获得第三收敛约束；[0170]确定第二优化问题，第二优化问题用于求解在第三约束下第三函数的最小值，第三约束包括第三收敛约束；[0171]求解第二优化问题，得到目标参与方数量k*以及目标本地迭代次数e*。[0172]在一种具体实现方式中，计算使用k个参与方进行r轮联邦学习所需的学习总成本，包括：[0173]确定使用k个参与方进行r轮联邦学习所需的时间成本期望；[0174]确定使用k个参与方进行r轮联邦学习所需的能源成本期望；[0175]获取预设的时间权重以及预设的能源权重；[0176]基于时间权重以及能源权重，加权求和时间成本期望以及能源成本期望，获得学习总成本。[0177]在一种具体实现方式中，计算单元501，具体用于根据以下公式确定每个参与方的单轮训练时间：[0178]tk＝tk,pe+tk,m[0179]其中，tk表示第k个参与方的单轮训练时间，tk,p表示第k个参与方的单次迭代时间，tk,m表示第k个参与方的单轮通讯时间；[0180]根据以下公式确定使用k个参与方进行r轮联邦学习所需的时间成本期望：[0181][0182]其中，表示时间成本期望，表示从n个备选参与方中无放回采样k个参与方；[0183]根据以下公式确定使用k个参与方进行r轮联邦学习所需的能源成本期望：[0184][0185]其中，表示能源成本期望，ep为k个参与方平均本地单次迭代能耗，em为k个参与方的平均单轮通信能耗；[0186]根据以下公式计算学习成本总期望：[0187][0188]其中，表示学习成本总期望，(1-γ)表示预设的时间权重，γ表示预设的能源权重。[0189]在一种具体实现方式中，求解单元503，具体用于确定在第一情况以及第二情况下，与第一函数相等的近似函数；[0190]将所近似函数确定为第二函数。[0191]在一种具体实现方式中，第一情况包括每个参与方的本地单次迭代能耗一致、且每个参与方的单轮通信能耗一致，第二情况包括k取值为1，近似函数包括：[0192][0193]其中，为近似函数，tp为k个参与方平均本地单次迭代时间，tm为k个参与方的平均单轮通信时间。[0194]图6是本技术实施例提供的一种计算机设备结构示意图，该计算机设备600可以包括一个或一个以上中央处理器(central processing units，cpu)601和存储器605，该存储器605中存储有一个或一个以上的应用程序或数据。[0195]其中，存储器605可以是易失性存储或持久存储。存储在存储器605的程序可以包括一个或一个以上模块，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，中央处理器601可以设置为与存储器605通信，在计算机设备600上执行存储器605中的一系列指令操作。[0196]计算机设备600还可以包括一个或一个以上电源602，一个或一个以上有线或无线网络接口603，一个或一个以上输入输出接口604，和/或，一个或一个以上操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等。[0197]该中央处理器601可以执行前述图1至图6所示实施例中计算机设备所执行的操作，具体此处不再赘述。[0198]需要说明的是，虽然各实施例所涉及的流程图中各个步骤按照箭头的指示依次绘制，但除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。[0199]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0200]在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。[0201]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0202]另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。[0203]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。[0204]本技术实施例还提供一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如上述的最小化联邦学习总成本的在线参数选择方法。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!