(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111241637.6 (22)申请日 2021.10.25 (71)申请人 北京字节跳动网络技 术有限公司 地址 100041 北京市石景山区实兴大街3 0 号院3号楼 2层B-0035房间 (72)发明人 李冰川　何茜　 (74)专利代理 机构 北京远智汇知识产权代理有 限公司 1 1659 代理人 范坤坤 (51)Int.Cl. G06T 3/00(2006.01) G06T 9/00(2006.01) G06N 20/00(2019.01) (54)发明名称 模型训练方法、 图像处理方法、 装置、 电子设 备及介质 (57)摘要 本公开实施例公开了一种模 型训练方法、 图 像处理方法、 装置、 电子设备及介质， 其中模型训 练方法包括： 获取源类型的第一图像， 以及与各 第一图像属于相同个体的目标类型的第二图像， 根据第一图像和第二图像训练第一生成器； 获取 目标类型的第三图像， 根据第三图像训练第二生 成器； 根据第三图像和训练完毕的第二生成器训 练编码器； 其中， 由训练完毕的第一生成器、 编码 器和第二生成器依次连接构成目标模 型。 通过利 用多样化的第三图像进行第二生成器和编码器 的训练， 能够使由第一生成器、 编码器和第二生 成器构成的目标模型， 在保留原第一生成器生成 效果的基础上， 可以生成更为多样的目标类型的 图像， 使生成结果更加真实自然。 权利要求书2页 说明书11页 附图5页 CN 113989103 A 2022.01.28 CN 113989103 A 1.一种模型训练方法， 其特 征在于， 包括： 获取源类型的第一图像， 以及与各所述第一图像属于相同个体的目标类型的第二图 像， 根据所述第一图像和所述第二图像训练第一 生成器； 获取所述目标类型的第三图像， 根据所述第三图像训练第二 生成器； 根据所述第三图像和训练完毕的第二 生成器训练编码器； 其中， 由训练完毕的第一 生成器、 编码器和第二 生成器依次连接构成目标模型。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 一图像和所述第 二图像训 练第一生成器， 包括： 将所述第一图像输入第一 生成器， 以使所述第一 生成器输出第一 生成图像； 将所述第一生成图像和所述第 二图像输入第 一判别器， 并根据 所述第一判别器的判别 结果， 对所述第一 生成器进行训练。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述第三图像训练第二生成器， 包括： 将白噪声图像输入第二 生成器， 以使所述第二 生成器输出第二 生成图像； 将所述第二生成图像和所述第 三图像输入第 二判别器， 并根据 所述第二判别器的判别 结果， 对所述第二 生成器进行训练。 4.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 三图像和训练完毕的第 二 生成器训练编码器， 包括： 将所述第三图像依次经编码器和训练完毕的第 二生成器进行处理， 以使所述第 二生成 器输出重建图像； 根据所述重建图像和所述第三图像， 对所述编码器进行训练。 5.根据权利要求 4所述的方法， 其特 征在于， 将所述第三图像经编码器进行处 理， 包括： 将所述第三图像经编码器进行多分辨率的特征映射得到特征映射图， 并对所述特征映 射图进行编码得到特 征向量。 6.一种图像处 理方法， 其特 征在于， 包括： 将源类型的待转换图像输入目标模型； 通过所述目标模型输出目标类型的图像； 其中， 所述目标模型基于 权利要求1 ‑5中任一所述的模型训练方法训练得到 。 7.一种模型训练装置， 其特 征在于， 包括： 第一生成器训练模块， 用于获取源类型的第一图像， 以及与各所述第一图像属于相同 个体的目标类型的第二图像， 根据所述第一图像和所述第二图像训练第一 生成器； 第二生成器训练模块， 用于获取所述目标类型的第三图像， 根据所述第三图像训练第 二生成器； 编码器训练模块， 用于根据所述第三图像和训练完毕的第二 生成器训练编码器； 其中， 由训练完毕的第一 生成器、 编码器和第二 生成器依次连接构成目标模型。 8.一种图像处 理装置， 其特 征在于， 包括： 输入模块， 用于将源类型的待转换图像输入目标模型； 输出模块， 用于通过 所述目标模型输出目标类型的图像； 其中， 所述目标模型基于 权利要求1 ‑5中任一所述的模型训练方法训练得到 。权　利　要　求　书 1/2 页 2 CN 113989103 A 29.一种电子设备， 其特 征在于， 所述电子设备包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑5中任一所述的模型训练方法， 或实现如权利要求6所述的图像处 理方法。 10.一种包含计算机可执行指令的存储介质， 所述计算机可执行指令在由计算机处理 器执行时用于执行如权利要求 1‑5中任一所述的模型训练方法， 或实现如权利要求6所述的 图像处理方法。权　利　要　求　书 2/2 页 3 CN 113989103 A 3