(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111236995.8 (22)申请日 2021.10.24 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 高艳松　李群　邱虎鸣　郑宜峰　 (74)专利代理 机构 南京理工大 学专利中心 32203 代理人 陈鹏 (51)Int.Cl. G06F 21/62(2013.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种分布式机器学习中知识迁移的隐私保 护方法 (57)摘要 本发明公开了一种分布式机器学习中知识 迁移的隐私保护方法， 每个客户端先各自训练好 自己的模型作为教师模型， 服务请求方提供未经 过标签的公共数据给客户端用教师模型进行预 测， 云服务器聚合教师模型的预测结果， 然后经 过安全比较算法给出对应标签， 服务请求方使用 给出的标签进行训练得到学生模 型。 本发明可以 使得在整个训练过程中， 进行聚合的云服务器不 直接访问任何用户数据， 并且除了通过差分隐私 加噪后最高得票的标签， 不会泄露其他任何信 息。 权利要求书2页 说明书4页 附图2页 CN 114254380 A 2022.03.29 CN 114254380 A 1.一种分布式机器学习中知识迁移的隐私保护方法， 其特 征在于， 具体步骤为： 步骤1、 客户端训练教师模型， 用本地的数据集训练好自己的教师模型； 步骤2、 聚合标签， 服务请求方提供给客户端没有标签的公共数据， 客户端每个教师模 型进行预测， 每个教师模型将预测结果 随机分成两份分别发给两个云服务器， 云服务器对 预测结果进行聚合； 步骤3、 云服务器对于聚合的结果， 使用安全比较算法求出每个样本对应的标签， 返回 样本‑标签对； 步骤4、 服 务请求方使用标记好的数据进行训练， 得到自己的学生模型。 2.根据权利要求1所述的分布式机器学习中知识迁移的隐私保护方法， 其特征在于， 步 骤1中所述的训练教师模型， 每个教师模型均是一个独立训练的模型， 在一个希望自身隐私 被保护的数据子集上进 行训练； 该数据被 分区， 以确保没有使用重叠数据训练的教师模型， 即每个数据子集无重 叠数据样本 。 3.根据权利要求1所述的分布式机器学习中知识迁移的隐私保护方法， 其特征在于， 步 骤2中所述的聚合标签， 对于服务请求方提供的每个样本， 每个客户端的教师模型进行预 测， 给出一个独热编码形式的预测结果， 只有在预测标签的类别位置上值为1， 其余位置值 均为0； 每个教师模 型将自己的预测结果随机 分为两份发给两个 云服务器， 云服务器聚合所 有教师模型 预测结果。 4.根据权利要求1所述的分布式机器学习中知识迁移的隐私保护方法， 其特征在于， 步 骤3中， 云服务器进行聚合后， 首先对所有投票结果使用安全比较算法求出最大值， 如果最 大值加上高斯噪声后的值大于给定阈值， 则对所有投票结果添加另一个高斯噪声， 再对加 噪后的投票结果进行安全比较， 求出最大值对应的标签， 标签即为所求。 5.根据权利要求4所述的分布式机器学习中知识迁移的隐私保护方法， 其特征在于， 安 全比较算法具体为： S1、 对要进行比较的两个整数a和b， 给定随机数r0和r1， a分为两个值[a0]＝r0和[a1]＝ a‑r0， b分为两个值[b0]＝r1和[b1]＝b‑r1， [·]表示在环 中的秘密共享， 将[a0]和[b0]发 送服务器S0， [a1]和[b1]发送给服务器S1， 两个服务器分别计 算[f0]＝[a0]‑[b0]， [f0]代表秘 密共享值[a0]和[b0]的差的秘密共享值， [f1]＝[a1]‑[b1]， [f1]代表秘密共享值[a1]和[b1] 的差的秘密共享 值； S2、 xl‑1，…， x0表示秘密共享值[f0]的比特形式对应的位， yl‑1，…， y0表示秘密共享值 [f1]的比特形式对应的位， 即xl‑1，…， x0和yl‑1，…， y0值为0或1； 服务器S0定义， 服务器S1定义， 表示在环Z2中的秘密共享， 右下角角标为0代表服务器S0中的符号， 右下角角标为1代表 服务器S1中的符号； S3、 服务器S0和服务器S1计算 G为进 位生成符号， P为进位传播符号； S4、 服务器S0和服务器S1令 权　利　要　求　书 1/2 页 2 CN 114254380 A 2S5、 服务器S0和服务器S1计算最高有效位得到 e代表比较结果； S6、 服务器S0令 服务器S1令 p1， p2为一符号， 无特殊 含义， 服务器S0和服务器S1计算[e]＝[p1]+[p2]‑2[p1][p2]； S7、 服务器S0和服务器S1计算[z]＝(1 ‑[e])·[a]+[e]·[b]， [z]为较大值的秘密共享 值。 6.根据权利要求1所述的分布式机器学习中知识迁移的隐私保护方法， 其特征在于， 步 骤4中训练学生模型， 服务请求方收到经过云服务器做好标签的样本 ‑标签对， 使用得到的 样本‑标签对进行训练。 7.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1～6中任一项所 述分布式机器学习中知识迁移的隐私保护方法的步骤。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现权利要求1～6中任一项所述分布式机器学习中知识迁移的隐私保护方 法的步骤。权　利　要　求　书 2/2 页 3 CN 114254380 A 3