(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111201845.3 (22)申请日 2021.10.15 (65)同一申请的已公布的文献号 申请公布号 CN 113919508 A (43)申请公布日 2022.01.11 (73)专利权人 河南工业大 学 地址 450001 河南省郑州市莲 花街100号 (72)发明人 吴兰　 (74)专利代理 机构 北京圣州专利代理事务所 (普通合伙) 11818 专利代理师 王宇航 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2022.01)(56)对比文件 CN 112203282 A,2021.01.08 CN 113052334 A,2021.0 6.29 CN 113379066 A,2021.09.10 CN 112416986 A,2021.02.26 审查员 陈艳林 (54)发明名称 一种基于移动式服务器的联邦学习系统及 方法 (57)摘要 本发明涉及一种联邦学习方法， 尤其为一种 基于移动式服务器的联邦学习系统及方法， 包括 移动式服务器与客户端， 所述移动式服务器用于 负责全局模 型参数的储存与更新， 通过与客户端 相互合作， 对模型参数进行传输与接收， 进一步 更新全局模 型， 基于模型知识迁移提出移动式联 邦融合算法， 当出现新的客户端时通过移动式服 务器传递客户端所学知 识来融合模 型。 通过实验 验证， 当客户端之间数据分布为独立同分布与非 独立同分布时， 本发明提出的移动框架性能均优 于传统的联邦学习框架。 权利要求书1页 说明书8页 附图3页 CN 113919508 B 2022.07.19 CN 113919508 B 1.一种基于移动式服务器的联邦学习系统， 其特征在于： 包括移动式服务器与客户端， 所述移动式服务器用于负责全局模型参数 的储存与更新， 通过与客户端相互合作， 对模型 参数进行传输与接收， 进一步更新全局模型； 移动式服务器与客户端相互合作具体为： 移动 式服务器端的模型初始化； 移动式服务器把模型参数发送给第一个客户端， 客户端上有两 个步骤同时进 行， 一部分使用私有数据更新全部模 型参数； 另一部 分则根据基础层数， 使其 固定， 更新个性层建立个性化模 型， 把所更新的全部模型参数上传到服务器， 通过移动式服 务器对模型参数进行融合并移动到下一个客户端， 以此循环； 在联邦学习场景中， 将K个客 户端表示为(N1,N2,...,NK)， 其中第k个客户端的数据 表示为 在客户端使用梯度下 降法对本地模型参数进行 更新， 公式如下： 移动式服务器端使用模型知识迁移算法对前两个客户端更新之后的模型参数进行聚 合,并把更新之后的参数转移到下一个新出现的客户端， 表示如下： 其中 为t回合Nk客户端的模型参数， 为t回合Nk‑1客户端的模型参数， nk‑1为Nk‑1客 户端的数据大小， nk‑2为Nk‑2客户端的数据大小。 2.根据权利要求1所述的基于移动式服务器的联邦学习系统， 其特征在于： 还包括客户 端分为两个部分执行， 一部分负责与服务器合作， 另一部分则固定服务器发送的基础层参 数， 使用本地私有数据更新个性层模型参数， 以此在本地建立个性化模型， 假设Wm为客户端 m的模型参数， 其中基础 层表示为 个性层表示 为 公式如下： 其中 为第k个客户端t时刻的个性层； 为t时刻各客户端的基础层参数； 为第k个 客户端的本地数据； b为批次大小。 3.根据权利要求1所述的基于移动式服务器的联邦学习系统， 其特征在于： 所述客户端 中第k个客户端的损失函数， 定义为 即用模型参数w对样本数据 所做的预测损失； 假设有K个客户端用于划分数据， 用uk表示客户端k上数据点的索引值， 令 nk＝|uk|， 于是有： 其中； 权　利　要　求　书 1/1 页 2 CN 113919508 B 2一种基于移动式服务器的联邦学习系统及方 法 技术领域 [0001]本发明涉及 一种联邦学习方法， 尤其是一种基于移动式服务器的联邦学习系统及 方法。 背景技术 [0002]随着数据驱动的不断发展， 保护数据隐私和安全已成为了人工智能发展的必要趋 势。 联邦学习可以在保护数据隐私、 合法合规的前提下， 进 行机器学习用以解决数据孤岛的 问题。 联邦学习本质上是一种分布式机器学习框架， 其 目的是在保证数据隐私安全的基础 上， 实现共同建模， 提升机器学习模型的效果。 图1为横向联邦框架示意图， 有四个步骤组 成， 首先， 各客户端的本地模 型训练； 其次， 各客户端把更新之后的模 型参数发送给服务器； 再次， 服务器对各客户端发送的参数进 行聚合； 最后， 服务器把聚合更新之后的参数发送各 客户端。 各客户端开始下一时刻的迭代， 重复循环， 直至整个训练过程收敛。 [0003]联邦学习方面， 目前常用的聚合算法为联邦平均算法， 其是为了获得Google应用 程序的中心预测模型而开发的， 可以嵌入到手机中 以保护用户的隐私。 该算法在服务器端 根据各客户端数据大小对模型参数进行加权聚合， 表示为 其中nk为k第个客 户端的样本数据大小， n为训练样本的总数， 为第k个客户端t+1时刻的模型参数。 损失函 数定义为 其中fk(w)为第k个客户端的损失函数。 进一步证明了联邦平均算 法在Non‑IID数据上的收敛性， 但 其收敛速度慢， 通信成本较高； 现有技术中提出了Fedpr ox 算法， 在FedAvg的基础上增加一个近似项， 对全局模型进行优化并且允许了客户端的本地 更新的差异性； 现有技术中提出一个具有多个中心服务器的联邦学习框架， 根据欧式距离 把具有相似模型参数 的客户端划分为一个中心服务器， 以此来解决数据分布的差异性； 其 证明了当数据的非独立分布性增大时， 全局模型对客户端本地数据的泛化误差也显著增 加， 造成训练出来的全局模型很难适应 每个客户端的特定数据任务。 [0004]个性化联邦学习方面， 常用的方法是， 与迁移 学习结合对客户端进行个性化建模。 迁移学习是利用在解决一个问题中获得的知识 来解决另一个相关问题。 例如现有技术中将 服务器训练的全局模型的部 分或所有参数在客户端局部数据上被重新学习； 其提出了一个 具有泛化保证的理论框架， 通过使用训练的全局模型参数来初始化对局部数据的训练； 现 有技术在非联邦环境中使用迁移学习来 实现模型个性化； 提出了一种基于相互知识迁移的 去中心化联邦学习算法， 即Def_KT， 并对客户端模 型进行个性化定制。 尽管上述方法取得了 不错的研究进展， 但是， 由于客户端之 间设备的异质性会使得模型训练 时间， 上传速度不一 样， 实现完全同步较为困难。 客户端 数据分布差异较大时， 将导致所训练出的模 型参数分布 差别大， 服务器集中融合客户端模型将带来负效应， 导致全局模型性能较差。 基于此， 提出 一种基于移动式服 务器的联邦学习 系统及方法。说　明　书 1/8 页 3 CN 113919508 B 3