(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111232230.7 (22)申请日 2021.10.2 2 (71)申请人 重庆大学 地址 404100 重庆市沙坪坝区沙正 街174号 (72)发明人 刘铎　段莫名　吴宇　张斌艳　 陈咸彰　任骜　谭玉娟　汪成亮　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 代理人 麦小婵　郝传鑫 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 基于分布式机器学习的分组训练方法、 服务 器及客户端 (57)摘要 本发明公开一种基于分布式机器学习的分 组训练方法、 服务器及客户端， 所述分组训练方 法基于客户端的本地优化目标梯度， 将训练任务 按优化目标拆分到对应的组共识模型中进行训 练， 减轻了由于隐含子优化目标冲突而导致的训 练收敛速度下降， 模型性能下降， 训练抖动增加 等问题， 同时， 本发明在训练的过程中还对客户 端的本地训练数据偏移情况进行监测， 当客户端 的本地训练数据发生偏移时， 更新客户端的分组 信息， 以使得每一客户端能在优化目标最相似的 组模型中进行训练， 有效减少了由于训练数据分 布不平衡而导 致机器学习模型的偏差问题。 权利要求书4页 说明书12页 附图5页 CN 114118210 A 2022.03.01 CN 114118210 A 1.一种基于分布式机器学习的分组训练方法， 其应用于服 务器， 其特 征在于， 包括： 根据每一客户端的本地优化目标梯度， 对客户端进行分组， 得到N个客户端组和每一客 户端组对应的组优化目标梯度， 并基于每一所述客户端组创建对应的组进程和对应的组共 识模型， 以使得每一所述客户端分配到优化目标梯度最相似的组进程中进 行组共识模型的 训练； N大于等于1， 其中， 所述本地优化目标梯度是所述客户端基于本地训练数据和服务器 发送的初始模型计算得到的； 在上一训练轮训练结束后且当前训练轮训练开始前， 接收训练数据分布发生偏移的客 户端返回的分组更新信息； 其中， 所述客户端的分组更新选择信息是所述训练数据分布发 生偏移的客户端基于当前本地优化目标梯度和每一所述组优化目标梯度的相似度的比较 结果而选择的优化目标梯度相似度最高的组进程； 根据所述分组更新信息， 更新客户端的分组， 以使得每一所述客户端在当前训练轮中 分配到对应的组进程中进行组共识模型的训练。 2.如权利要求1所述的基于分布式机器学习的分组训练方法， 其特征在于， 所述根据每 一客户端的本地优化目标梯度， 对客户端进 行分组， 得到N个客户端组和每一客户端组对应 的组优化 目标梯度， 并基于每一所述客户端组创建对应的组进程和对应的组共识模型， 以 使得每一所述客户端分配到优化目标梯度最相似的组进程中进行组共识模 型的训练， 具体 包括： 向所有客户端发送初始模型， 以使得所有所述客户端基于本地训练数据和所述初始模 型计算得到对应的本地优化目标梯度； 接收所有客户 端上传的本地优化目标梯度， 并对所有客户端的优化目标梯度进行聚 类， 得到N个客户端组和每一 客户端组对应的组优化目标梯度； 基于每一所述客户端组， 创建对应于每一客户端组的组进程和 组共识模型， 以使得每 一所述客户端分配到优化目标梯度最相似的组进程中进行组共识模型的训练。 3.如权利要求1所述的基于分布式机器学习的分组训练方法， 其特征在于， 所述根据每 一客户端的本地优化目标梯度， 对客户端进 行分组， 得到N个客户端组和每一客户端组对应 的组优化 目标梯度， 并基于每一所述客户端组创建对应的组进程和对应的组共识模型， 以 使得每一所述客户端分配到优化目标梯度最相似的组进程中进行组共识模 型的训练， 具体 包括： 在所有客户端中选择M个第 一客户端， 并发送初始模型至所有所述第 一客户端， 以使得 每一所述第一客户端基于本地训练数据和所述初始模型得到对应的本地优化目标梯度， 其 中， M小于N； 接收每一所述第一客户端的本地优化目标梯度， 并对所有所述第 一客户端的本地优化 目标梯度进行聚类， 得到多个客户端组和每一 客户端组对应的组优化目标梯度； 向第二客户端发送初始模型和每一组优化目标梯度， 以使得所述第 二客户端基于所述 本地训练数据和所述初始模型得到本地优化 目标梯度； 其中， 所述第二客户端是指所有客 户端中除所述第一 客户端之外的客户端； 接收所述第二客户端返回的分组选择结果， 更新客户端组， 并将每一所述第二客户端 分配到对应的组进程进行组共识模型 的训练； 其中， 所述第二客户端的分组选择结果是所 述第二客户端基于所述本地优化目标梯度和每一所述组优化目标梯度的相似度的比较结权　利　要　求　书 1/4 页 2 CN 114118210 A 2果而选择的优化梯度相似度最高的组进程。 4.如权利要求1所述的基于分布式机器学习的分组训练方法， 其特征在于， 所述训练数 据分布发生偏移的客户端通过以下 方式判断： 当所述客户端在 当前训练轮的所有标签类别的偏离距离之和大于预设偏移距离时， 判 定所述客户端的训练数据分布发生偏移； 其中， 所述标签类别指的是训练样 本的类别， 每一 标签类别的偏离距离是指所述客户端在当前训练轮的标签类别概率分布和上一次偏移发 生时的标签 类别概率分布之间的偏移 距离。 5.如权利要求4所述的基于分布式机器学习的分组训练方法， 其特征在于， 所述客户端 在当前训练轮的标签类别概率分布和上一次偏移发生时的标签类别概率分布之间的偏移 距离通过如下公式计算： 其中， dc表示偏移距离， EMD( ·)表示两个分部之间的EMD距离， Pc为客户端在当前训练 轮的标签 类别概率分布， 为客户端上一次偏移发生时的标签 类别概率分布。 6.如权利要求2所述的基于分布式机器学习的分组训练方法， 其特征在于， 所述接收所 有客户端 上传的本地优化目标梯度， 并对所有客户端的优化目标梯度进 行聚类， 得到N个客 户端组和每一 客户端组对应的组优化目标梯度， 具体包括： 接收每一所述客户端上传的优化目标梯度， 并根据如下公式计算每一客户端与其他客 户端之间的基于 压缩余弦相似度的欧式距离： V＝SVD(ΔWT， N) 其中， EDC(i， j)为客户端i与客户端j的基于压缩余弦相似度的欧式距离， N为客户端 组 的个数， V为由机器学习算法SVD压缩的梯度矩阵， v为梯度矩阵V的列向量， S(i， vT)为客户 端i的模型更新向量， S(j， vT)为客户端j的模型更新向量， ΔWT为客户端模型更新向量组成 的矩阵的转置矩阵； 基于计算得到的所有EDC距离执行聚类算法， 得到N个客户端组和每一客户端组对应的 组优化目标梯度。 7.如权利要求1所述的基于分布式机器学习的分组训练方法， 其特征在于， 所述本地优 化目标梯度和每一所述组优化目标梯度的相似度通过如下公式计算： 其中， 表示组进程gj的组优化目标梯度， 表示客户端i的本地优化目标梯 度， sim(i， j)表示客户端i的本地优化目标梯度和组进程gj的组优化目标梯度 的相似度； 表示 与 之间的夹角。权　利　要　求　书 2/4 页 3 CN 114118210 A 3