(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111173209.4 (22)申请日 2021.09.3 0 (71)申请人 深圳追一科技有限公司 地址 518057 广东省深圳市南 山区粤海街 道科技园社区科苑路8号讯美科技广 场3号楼23A、 23B (72)发明人 王鑫宇　刘炫鹏　刘云峰　 (74)专利代理 机构 深圳智汇远见知识产权代理 有限公司 4 4481 代理人 刘洁 (51)Int.Cl. G06F 16/783(2019.01) G06F 16/78(2019.01) G06K 9/00(2006.01) G06K 9/62(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 数字人视频生成方法、 装置、 电子设备和存 储介质 (57)摘要 本公开实施例公开了一种数字人视频生成 方法、 装置、 电子设备和存储介质。 上述方法包 括： 获取目标音频和目标人脸图像； 针对上述目 标音频中的音频帧， 将该音 频帧输入至预先训练 的人脸关键点模 型， 得到与该音频帧相对应的人 脸关键点； 针对上述目标音频中的音频帧， 基于 与该音频帧相对应的人脸关键点， 生成与该音 频 帧相对应的上述目标人脸图像的人脸素描图； 针 对上述目标音频中的音 频帧， 将与该音频帧相对 应的上述目标人脸图像的人脸素描图输入至预 先训练的图像生成模型， 生 成与该音频帧相对应 的目标图像； 基于所生成的目标图像， 生成数字 人视频。 本公开实施例可以提高数字人生成效 果。 权利要求书2页 说明书18页 附图7页 CN 113886644 A 2022.01.04 CN 113886644 A 1.一种数字人视频生成方法， 其特 征在于， 所述方法包括： 获取目标音频和目标 人脸图像； 针对所述目标音频中的音频帧， 将该音频帧输入至预先训练的人脸关键点模型， 得到 与该音频帧相对应的人脸关键点， 其中， 所述人脸关键点模型用于表征音频帧与人脸关键 点之间的对应关系； 针对所述目标音频中的音频帧， 基于与该音频帧相对应的人脸关键点， 生成与该音频 帧相对应的所述目标 人脸图像的人脸素描图； 针对所述目标音频中的音频帧， 将与该音频帧相对应的所述目标人脸图像的人脸素描 图输入至预先训练的图像生 成模型， 生成与该音频帧相对应的目标图像， 其中， 与该音频帧 相对应的目标图像用于指示所述目标 人脸图像指示的人员发出 该音频帧指示的音频； 基于所生成的目标图像， 生成数字人视频。 2.根据权利要求1所述的方法， 其特征在于， 所述基于与该音频帧相对应的人脸关键 点， 生成与该音频帧相对应的所述目标 人脸图像的人脸素描图， 包括： 基于与该音频帧相对应的人脸关键点， 生成所述目标 人脸图像的人脸关键点； 基于所生成的人脸关键点和所述目标人脸图像的人脸轮廓线， 生成与 该音频帧相对应 的所述目标 人脸图像的人脸素描图。 3.根据权利要求2所述的方法， 其特征在于， 所述将该音频帧输入至预先训练 的人脸关 键点模型， 得到与该音频帧相对应的人脸关键点， 包括： 将该音频帧输入至预先训练 的人脸关键点模型， 得到与 该音频帧相对应的第 一数量个 人脸关键点； 以及 所述基于与该音频帧相对应的人脸关键点， 生成所述目标人脸图像的人脸关键点， 包 括： 基于与该音频帧相对应的第 一数量个人脸关键点， 生成所述目标人脸图像的第 二数量 个人脸关键点， 其中， 所述第二数量大于所述第一数量。 4.根据权利要求2所述的方法， 其特征在于， 所述基于与该音频帧相对应的人脸关键 点， 生成所述目标 人脸图像的人脸关键点， 包括： 对与该音频帧相对应的人脸关键点进行反归一化处理， 得到与 该音频帧相对应的反归 一化后关键点； 将与该音频帧相对应的反归一化后关键点， 反投影到所述目标人脸图像， 得到从所述 目标人脸图像中提取的人脸关键点。 5.根据权利要求1所述的方法， 其特征在于， 所述人脸关键点模型通过如下步骤训练得 到： 获取视频 数据； 从所述视频数据中提取音频帧和与音频帧相对应的人脸图像， 将所提取的音频帧作为 样本音频， 将所提取的人脸图像作为样本人脸图像； 采用机器学习算法， 将样本音频作为输入数据， 将从与样本音频相对应的样本人脸图 像中提取的人脸关键点作为期望 输出数据， 训练得到人脸关键点模型。 6.根据权利要求1所述的方法， 其特征在于， 所述人脸关键点模型通过如下步骤训练得 到：权　利　要　求　书 1/2 页 2 CN 113886644 A 2获取视频 数据； 从所述视频数据中提取音频帧和与音频帧相对应的人脸图像， 将所提取的音频帧作为 样本音频， 将所提取的人脸图像作为样本人脸图像； 采用机器学习算法， 将样本音频作为输入数据， 将与样本人脸图像对应的连续帧样本 人脸图像的人脸关键点的平均值作为期 望输出数据， 训练得到人脸关键点模型， 其中， 与样 本人脸图像对应的连续帧样本人脸图像为所述视频数据中包括该样本人脸图像的预设数 量帧连续的样本人脸图像。 7.根据权利要求5 ‑6之一所述的方法， 其特征在于， 所述图像生成模型通过如下步骤训 练得到： 采用机器学习算法， 将与样本音频相对应的人脸图像的人脸素描图作为生成式对抗网 络中的生成器的输入 数据， 得到与样本音 频相对应的、 所述生成器生 成的目标图像， 如果所 述判别器无法确定与样本音频相对应的、 所述生成器生成的目标图像是否为与样本音频相 对应的人脸图像的目标图像， 则将当前的生成器作为图像生成模型。 8.根据权利要求6所述的方法， 其特征在于， 样本人脸图像的人脸素描图基于所述人脸 关键点模型生成的关键点和样本人脸图像的轮廓线生成。 9.一种数字人视频生成装置， 其特 征在于， 所述装置包括： 获取单元， 被配置成获取目标音频和目标 人脸图像； 输入单元， 被配置成针对所述目标音频中的音频帧， 将该音频帧输入至预先训练的人 脸关键点模型， 得到与该音频帧相对应的人脸关键点， 其中， 所述人脸关键点模 型用于表征 音频帧与人脸关键点之间的对应关系； 第一生成单元， 被配置成针对所述目标音频中的音频帧， 基于与该音频帧相对应的人 脸关键点， 生成与该音频帧相对应的所述目标 人脸图像的人脸素描图； 第二生成单元， 被配置成针对所述目标音频中的音频帧， 将与该音频帧相对应的所述 目标人脸图像的人脸素描图输入至预先训练的图像生成模型， 生成与该音频帧相对应的目 标图像， 其中， 与该音频帧相对应的目标图像用于指示所述 目标人脸图像指示的人员发出 该音频帧指示的音频； 第三生成单元， 被配置成基于所生成的目标图像， 生成数字人视频。 10.一种电子设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述存储器 中存储的计算机程序， 且所述计算机程序被执行时， 实现 上述权利要求1 ‑8任一所述的方法。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被 处理器执行时， 实现上述权利要求1 ‑8任一所述的方法。权　利　要　求　书 2/2 页 3 CN 113886644 A 3