(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111183940.5 (22)申请日 2021.10.1 1 (71)申请人 京东科技控股 股份有限公司 地址 100176 北京市北京经济技 术开发区 科创十一 街18号C座2层2 21室 (72)发明人 杨恺　王虎　黄志翔　彭南博　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 代理人 罗岚 (51)Int.Cl. G06N 20/00(2019.01) H04L 9/00(2022.01) H04L 9/40(2022.01) (54)发明名称 联邦学习模型的训练方法、 装置、 电子设备 和存储介质 (57)摘要 本申请提出一种联邦学习模 型的训练方法、 装置、 电子设备和存储介质， 其中， 训练方法包 括： 与数据提供方服务器进行样本对齐； 根据业 务方服务器和数据提供方服务器的特征数量分 别对业务方服务器和数据提供方服务器的特征 进行编号， 以生成特征编码集， 以及将数据提供 方服务器的特征编号和公钥发送至数据提供方 服务器； 获取联邦学习模型的当前样本集和训练 参数集； 根据当前样本集、 训练参数集和特征编 码集， 对联邦学习模型进行M次迭代训练； 以及获 取第M次迭代训练得到的联邦学习模 型的目标参 数。 由此， 能够在保证建模效果的同时减少建模 的复杂度， 从而使业务方服务器与数据提供方服 务器之间的联合训练更加高效， 进而提高了建模 效率。 权利要求书5页 说明书22页 附图8页 CN 113947211 A 2022.01.18 CN 113947211 A 1.一种联邦学习模型的训练方法， 其特 征在于， 包括： 与数据提供 方服务器进行样本对齐； 分别获取业务方服务器和所述数据提供方服务器的特征数量， 并根据 所述特征数量分 别对所述业务方服务器和所述数据提供方服务器的特征进行编号， 以生成特征编码集， 以 及将所述数据提供 方服务器的特 征编号和公钥发送至所述数据提供 方服务器； 获取联邦学习模型的当前样本集和训练参数集； 根据所述当前样本集、 所述训练参数集和所述特征编码集， 对所述联邦学习模型进行M 次迭代训练， 其中， 所述M为大于1的正整数； 以及 获取第M次所述迭代训练得到的所述联邦学习模型的目标参数。 2.如权利要求1所述的联邦学习模型的训练方法， 其特征在于， 其中， 所述训练参数集 包括特征采样率、 训练样本上限值、 训练样本下限值、 决策树棵数上限值、 决策树棵数下限 值、 第一参数变化速度和第二 参数变化速度。 3.如权利要求2所述的联邦学习模型的训练方法， 其特征在于， 其中， 所述每次迭代训 练， 包括： 将所述M次迭代训练中当前的迭代训练作为第N次迭代训练， 其中， 所述N为小于所述M 的正整数； 根据所述M、 所述N、 所述训练样本上限值、 所述训练样本下限值和所述第一参数变化速 度， 生成样本采样率； 根据所述M、 所述N、 所述决策树棵数上限值、 所述决策树棵数下限值和所述第二参数变 化速度， 生成目标 棵数； 从所述当前样本集中选取 所述样本采样率的样本以生成目标训练集； 从所述特 征编码集中选取 所述特征采样率的特 征编码以生成目标 特征编码集； 将所述目标训练集中每个样本的编号， 以及所述目标特征编码集中所述数据提供方服 务器的目标 特征编号发送至所述数据提供 方服务器； 根据所述目标训练集、 所述目标特征编码集和所述目标棵数， 生成所述联邦学习模型 的目标参数； 基于梯度提升算法， 并根据所述目标参数和所述联邦学习模型， 生成所述当前样本的 优化标签， 其中， 所述优化标签为下一轮迭代训练的所述当前样本的训练标签。 4.如权利要求3所述的联邦学习 模型的训练方法， 其特征在于， 所述根据 所述目标训练 集、 所述目标 特征编码集和所述目标 棵数， 生成所述联邦学习模型的目标参数， 包括： 计算所述目标训练集中样本的梯度信 息， 并将所述梯度信 息发送至所述数据提供方服 务器； 接收所述数据提供 方服务器提供的梯度返回信息； 根据所述梯度返回信 息和所述目标特征编码集生成目标分裂点编 号， 并基于私钥和所 述目标分裂点编号 生成密文， 以及将所述密文发送至所述数据提供 方服务器； 接收所述数据提供方服务器发送的解密运算值， 并根据所述解密运算值进行节点分 裂； 重复以上步骤直至模型收敛， 以建立所述目标棵数的决策树， 完成所述联邦学习模型 的训练， 并通过 所述完成训练的联邦学习模型获取 所述目标参数。权　利　要　求　书 1/5 页 2 CN 113947211 A 25.如权利要求4所述的联邦学习 模型的训练方法， 其特征在于， 所述计算所述目标训练 集中样本的梯度信息， 包括： 生成所述目标训练集中样本的一阶梯度值和二阶梯度值； 对所述一阶梯度值和所述 二阶梯度值进行同态加密以生成所述梯度信息 。 6.如权利要求4所述的联邦学习 模型的训练方法， 其特征在于， 所述梯度返回信 息为多 个， 且每个所述梯度返回信息对应有相应的编号， 其中， 所述根据所述梯度返回信息和所述 目标特征编码集 生成目标分裂点编号， 包括： 根据所述多个梯度返回信息和所述目标 特征编码集分别生成对应的多个信息增益； 从所述多个信 息增益之中选择最大信 息增益， 并将所述最大信 息增益对应的编 号作为 所述目标分裂点编号。 7.如权利要求4所述的联邦学习 模型的训练方法， 其特征在于， 所述根据 所述解密运算 值进行节点分裂， 包括： 根据所述 解密运算值生成分裂空间信息； 根据所述目标训练集中样本和所述分裂空间信息进行节点分裂。 8.一种联邦学习模型的训练方法， 其特 征在于， 包括： 与业务方服务器进行样本对齐； 接收所述 业务方服务器发送的所述数据提供 方服务器的特 征编号和公钥； 接收所述业务方服务器发送的目标训练集中每个样本的编 号， 以及目标特征编码集中 所述数据提供 方服务器的目标 特征编号； 接收所述业务方服务器发送的当前所训练 的样本的梯度信 息， 并根据 所述梯度信 息获 取梯度返回信息； 向所述业务方服务器发送所述梯度返回信息； 接收所述业务方服务器发送的基于私钥和目标分裂点编号生成的密文， 其中， 所述目 标分裂点编号 根据所述梯度返回信息和所述目标 特征编码集 生成； 以及 基于所述公钥对所述密文 进行解密， 得到解密运 算值， 并发送给 所述业务方服务器。 9.如权利要求8所述的联邦学习 模型的训练方法， 其特征在于， 所述根据 所述梯度信 息 获取梯度返回信息， 包括： 根据所述目标 特征编号和所述数据提供 方服务器的特 征编号， 确定特 征集； 根据所述特征集中每个所述特征对应的分裂 阈值对样本空间进行分裂， 以获取指定侧 的分裂空间； 根据所述梯度信息， 获取所述每个特征对应的所述指定侧的分裂空间的梯度求和信 息， 并对所述梯度求和信息进行编号； 利用所述梯度求和信息和所述梯度求和信息的编号， 生成所述梯度返回信息 。 10.如权利要求9所述的联邦学习模型的训练方法， 其特征在于， 所述对所述梯度求和 信息进行编号之后， 还 包括： 生成所述编号， 以及所述编号对应的特征、 所述分裂阈值以及所述编号对应的所述梯 度求和信息之间的映射关系。 11.一种联邦学习模型的训练装置， 其特 征在于， 包括： 对齐模块， 用于与数据提供 方服务器进行样本对齐；权　利　要　求　书 2/5 页 3 CN 113947211 A 3