(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111233132.5 (22)申请日 2021.10.2 2 (71)申请人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 申请人 华中科技大 学 (72)发明人 伍冬睿　蒋雪　孟璐斌　李思扬　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 代理人 应孔月 (51)Int.Cl. G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 带有后门的机器学习模型的训练方法及装 置、 电子设备 (57)摘要 本发明公开了一种带有后门的机器学习模 型的训练方法及装置、 电子设备， 属于人工智能 安全领域。 该方法包括： 从训练数据中选择P个样 本作为待污染样本； 将后门触发器加入所述待污 染样本中并将待污染样本的标签修改为目标类 别， 得到P个污染样本； 将P个污染样本和其它未 被污染的训练数据作为机器学习模 型的输入， 训 练得到带有后门的机器学习模型。 本发明采用主 动污染方法， 选择最有利于潜在后门模式学习的 部分原始训练样本作为待污染样 本， 攻击者在选 择的样本上加入后门触发器进行污染， 从而只需 选择少量的样本进行污染。 在相同的污染率下， 本发明提出的主动污染方法比起随机选择进行 后门攻击的攻击成功率更高， 增大了后门攻击的 隐蔽性和威胁性。 权利要求书2页 说明书6页 附图2页 CN 114021626 A 2022.02.08 CN 114021626 A 1.一种带有后门的机器学习模型的训练方法， 其特 征在于， 包括： 采用主动污染方法从训练数据中选择P个样本作为待污染样本； 将后门触发器加入所述待污染样本中并将所述待污染样本的标签修改为目标类别， 得 到P个污染样本； 将所述P个污染样本和其它未被污染的训练数据作为机器学习模型的输入， 训练得到 带有后门的机器学习模型。 2.根据权利要求1所述的方法， 其特征在于， 所述主动污染方法为最小化不确定采样法 (MUS)、 最小化模型变化采样法(MMC)、 最大化多样性采样法(MDS)、 多样性和代表性采样法 (RDS)、 结合最大化多样性和最小化不确定性的方法(MUS+MDS)或结合最大化多样性和最小 化模型变化的方法(M MC+MDS)。 3.根据权利要求2所述的方法， 其特 征在于， (1)所述最小化不确定采样法(MUS)， 包括： 将所述训练数据进行预训练， 得到每一个样本x关于类别y的后验概率p(y|x)， 再计算 信息熵u(x)＝ ‑∑yp(y|x)logp(y|x)， 选择 前P个具有最小信息熵的样本作为待污染样本； (2)所述最小化模型变化采样法(M MC)， 包括： 在所述训练数据上使用逻辑回归和 交叉熵损 失函数时， 采用 梯度下降法进行训练， 得 到每一个样本x的sigmoid输出f(x)， 再计算模型变化c(x)＝(f(x) ‑y)x， y是样本x的真实类 别， 选择前P个具有最小模型变化的样本作为待污染样本； (3)所述最大化多样性采样法(MD S)， 包括： 计算在所述训练数据的特征空间上， 每一个样本与其它样本的距离， 得到每一个样本 与其最近样本的距离d(x)作为多样性， 选择 前P个具有最大多样性的样本作为待污染样本 。 4.根据权利要求2所述的方法， 其特 征在于， 所述多样性和代 表性采样法(RD S)， 包括： 在所述训练数据上进行k ‑mans聚类(其 中k＝P)， 选择最接近每一个聚类中心的样本作 为待污染样本 。 5.根据权利要求3所述的方法， 其特征在于， 所述结合最大化多样性和最小化不确定性 的方法(MUS+MD S)， 包括： 计算(1)中的u(x)和(3)中的 ‑d(x)， 并分别归一化到同样的尺度后相乘， 选择前P个具 有最小乘积的样本作为待污染样本 。 6.根据权利要求3所述的方法， 其特征在于， 所述结合最大化多样性和最小化模型变化 的方法(M MC+MDS)， 包括： 计算(2)中的c(x)和(3)中的 ‑d(x)， 并分别归一化到同样的尺度后相乘， 选择前P个具 有最小乘积的样本作为待污染样本 。 7.一种带有后门的机器学习模型的训练装置， 其特 征在于， 包括： 样本选取模块， 用于采用主动污染方法从训练数据中选择P个样本作为待污染样本； 污染药泵获取模块， 用于将后门触发器加入所述待污染样本 中并将所述待污染样本的 标签修改为目标类别， 得到P个污染样本； 训练模块， 用于将所述P个污染样本和其它未被污染的训练数据作为机器学习模型的 输入， 训练得到带有后门的机器学习模型。 8.根据权利要求1所述的装置， 其特征在于， 所述主动污染方法为最小化不确定采样法权　利　要　求　书 1/2 页 2 CN 114021626 A 2(MUS)、 最小化模型变化采样法(MMC)、 最大化多样性采样法(MDS)、 多样性和代表性采样法 (RDS)、 结合最大化多样性和最小化不确定性的方法(MUS+MDS)或结合最大化多样性和最小 化模型变化的方法(M MC+MDS)。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑6任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机指令， 其特征在于， 该指令被处理器 执行时实现如权利要求1 ‑6中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114021626 A 3