(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111177135.1 (22)申请日 2021.10.09 (71)申请人 北京奇艺世纪科技有限公司 地址 100080 北京市海淀区北一 街2号爱奇 艺创新大厦10、 1 1层 (72)发明人 孙宇　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 代理人 吕俊秀 (51)Int.Cl. G06F 16/2458(2019.01) G06F 16/23(2019.01) G06F 16/27(2019.01) G06N 20/00(2019.01) (54)发明名称 一种模型的训练方法及装置 (57)摘要 本发明实施例提供了一种模型的训练方法 及装置， 应用于包括任务节点设备以及参数节点 设备的分布式系统， 该方法包括： 在任务节点设 备新增训练数据的情况下， 将目标数据标识发送 至参数节 点设备； 在参数节点设备未查到目标数 据标识对应的模 型参数的情况下， 针对目标数据 标识生成对应的目标模型参数， 将目标数据标识 以及目标模型参数采用非连续存储的方式存储 在参数节 点设备的内存中； 通过参数节点设备将 目标模型参数 发送至任务节点设备， 进而根据目 标数据标识对应训练数据以及目标模型参数计 算得到目标梯度值。 然后基于目标梯度值更新目 标模型参数。 本发明在新增训练数据的情况下， 可以保证训练正常进行， 从而无需终止训练。 权利要求书2页 说明书10页 附图4页 CN 113987004 A 2022.01.28 CN 113987004 A 1.一种模型的训练方法， 其特征在于， 应用于包括任务节点设备以及参数节点设备的 分布式系统， 其中， 所述任务节点设备存储有训练模型所需的训练数据， 所述参数节点设备 存储有每条训练数据的数据标识以及每 个数据标识对应的模型参数， 所述方法包括： 在所述任务节点设备新增训练数据的情况下， 将目标数据标识发送至参数节点设备， 其中， 所述目标 数据标识为 新增训练数据中的数据标识； 在所述参数节点设备未查到所述目标数据标识对应的模型参数的情况下， 针对所述目 标数据标识 生成对应的目标模型参数， 将所述目标数据标识以及所述目标模型参数采用非 连续存储的方式存 储在所述 参数节点设备的内存中； 通过所述参数节点设备将所述目标模型参数发送至所述任务节点设备， 以使所述任务 节点设备根据所述目标数据标识对应训练数据以及所述目标模型参数计算得到目标梯度 值； 通过所述任务节点设备将所述目标梯度值发送至所述参数节点设备， 以使所述参数节 点设备基于所述目标梯度值更新所述目标模型参数。 2.根据权利要求1所述的方法， 其特征在于， 在所述参数节点设备基于所述目标梯度值 更新所述目标模型参数之后， 所述方法还 包括： 通过所述参数节点设备基于所述内存中的数据标识以及模型参数， 确定实际数据 范围 值， 其中， 所述 实际数据范围值包括： 所述内存中数据标识和模型参数的每一 维度的元素数 量； 在所述实际数据 范围值与 预设数据 范围值不同的情况下， 按所述实际数据范围值将所 述内存中数据标识和模型参数存储至所述参数节点设备 的外存中， 其中， 所述预设数据范 围值包括 开始训练前基于训练数据确定的数据标识和模型参数的每一维度的元 素数量。 3.根据权利要求2所述的方法， 其特征在于， 所述按所述实际数据 范围值将所述内存中 数据标识和模型参数存 储至所述 参数节点设备的外存中， 包括： 分别根据所述内存中的数据标识以及模型参数， 生成标识张量和参数张量； 按照所述标识张量和所述参数张量的每一维度的元素数量， 分别将所述标识张量和所 述参数张存 储至所述 参数节点设备的外存中。 4.根据权利要求1所述的方法， 其特征在于， 所述参数节点设备基于所述目标梯度值更 新所述目标模型参数， 包括： 基于所述目标梯度值采用目标优化器对所述目标模型参数进行更新， 其中， 所述目标 优化器为针对非连续 性存储的变量设计的优化器。 5.根据权利要求1所述的方法， 其特征在于， 在新增训练数据包括多条训练数据， 且所 述参数节点设备的数量 为多个的情况 下， 所述将目标 数据标识发送至参数节点设备包括： 分别将所述多条训练数据中各自的目标 数据标识发送至不同的参数节点设备。 6.一种模型的训练装置， 其特征在于， 应用于包括任务节点设备以及参数节点设备的 分布式系统， 其中， 所述任务节点设备存储有训练模型所需的训练数据， 所述参数节点设备 存储有每条训练数据的数据标识以及每个数据标识对应的模型参数， 所述方法包括： 接 收 模块， 用于接收用户输入的目标信息， 其中， 所述目标信息包括在所述多个不同应用各自对 应的数据源中查询数据所需的信息； 所述装置包括： 发送模块， 用于在所述任务节点设备新增训练数据的情况下， 将目标数据标识发送至权　利　要　求　书 1/2 页 2 CN 113987004 A 2参数节点设备， 其中， 所述目标 数据标识为 新增训练数据中的数据标识； 参数返回模块， 用于在所述参数节点设备未查到所述目标数据标识对应的模型参数的 情况下， 针对所述 目标数据标识生成对应的目标模型参数， 将所述 目标数据标识以及所述 目标模型参数采用非连续存 储的方式存 储在所述 参数节点设备的内存中； 梯度模块， 用于通过所述参数节点设备将所述目标模型参数发送至所述任务节点设 备， 以使所述任务节 点设备根据所述目标数据标识对应训练数据以及所述目标模型参数计 算得到目标梯度值； 更新模块， 用于通过所述任务节点设备将所述目标梯度值发送至所述参数节点设备， 以使所述 参数节点设备基于所述目标梯度值更新所述目标模型参数。 7.根据权利要求6所述的装置， 其特 征在于， 所述装置还 包括： 判断模块， 用于通过所述参数节点设备基于所述内存中的数据标识以及模型参数， 确 定实际数据范围值， 其中， 所述 实际数据范围值包括： 所述内存中数据标识和模 型参数的每 一维度的元 素数量； 存储模块， 用于在所述实 际数据范围值与预设数据范围值不同的情况下， 按所述实 际 数据范围值将所述内存中数据标识和模型参数存储至所述参数节点设备 的外存中， 其中， 所述预设数据范围值包括开始训练前基于训练数据确定的数据标识和模型参数的每一维 度的元素数量。 8.根据权利要求7 所述的装置， 其特 征在于， 所述存 储模块， 包括： 生成单元， 用于分别根据所述内存中的数据标识以及模型参数， 生成标识张量和参数 张量； 存储单元， 用于按照所述标识张量和所述参数张量的每一维度的元素数量， 分别将所 述标识张量和所述 参数张存 储至所述 参数节点设备的外存中。 9.根据权利要求6所述的装置， 其特征在于， 所述更新模块， 具体用于基于所述目标梯 度值采用目标优化器对所述 目标模型参数进行更新， 其中， 所述 目标优化器为针对非连续 性存储的变量设计的优化器。 10.根据权利要求6所述的装置， 其特征在于， 在新增训练数据包括多条训练数据， 且所 述参数节点设备 的数量为多个的情况下， 所述发送模块， 具体用于分别将所述多条训练数 据中各自的目标 数据标识发送至不同的参数节点设备。权　利　要　求　书 2/2 页 3 CN 113987004 A 3