(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111227845.0 (22)申请日 2021.10.21 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 姜泽青　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 代理人 罗岚 (51)Int.Cl. G06K 9/62(2022.01) G06N 20/00(2019.01) G06F 16/332(2019.01) (54)发明名称 问答模型的训练方法、 装置及电子设备 (57)摘要 本公开提出了一种问答模型的训练方法、 装 置及电子设备， 涉及计算机视觉、 深度学习、 智能 问答等人工智能领域， 其中， 该方法包括： 获取样 本文本问题在文本维度和图像维度上的第一特 征向量和第一关联特征向量， 生成第一特征向量 集合； 获取样本图像问题在 文本维度和图像维度 上的第二特征向量和第二关联特征向量， 生成第 二特征向量集合； 基于第一特征向量集合和第二 特征向量集合， 生成样本文本问题对应的第一融 合特征向量和样本图像问题对应的第二融合特 征向量， 进而得到样本融合向量； 根据样本融合 向量对问答模型进行训练， 以生成目标问答模 型。 本公开中， 问答模型更准确的获取有效特征， 提高了模型训练效率， 优化了模型训练效果。 权利要求书8页 说明书22页 附图11页 CN 114037003 A 2022.02.11 CN 114037003 A 1.一种问答模型的训练方法， 包括： 获取样本文本问题分别在文本维度和图像维度上的第一特征向量和两个维度间的第 一关联特征向量， 以生成第一特 征向量集合； 获取样本 图像问题分别在文本维度和图像维度上的第二特征向量和两个维度间的第 二关联特征向量， 以生成第二特 征向量集合； 基于所述第 一特征向量集合和所述第 二特征向量集合， 生成所述样本文本问题对应的 第一融合特 征向量和所述样本图像问题对应的第二融合特 征向量； 根据所述第一融合特 征向量和所述第二融合特 征向量， 得到样本融合向量； 根据所述样本融合向量， 对待训练的问答模型进行训练， 以生成目标问答模型。 2.根据权利要求1所述的方法， 其中， 所述方法还 包括： 基于所述第一特征向量和所述第二特征向量， 获取文本与图像之间的两个关联度， 所 述两个关联度包括样本对象内的关联度和样本对象间的关联度， 所述样本对象为所述样本 文本问题和所述样本图像问题中的一个； 基于所述样本对象内的关联度， 对所述样本对象对应的关联 特征向量进行修 正； 基于所述样本对象间的关联度， 对所述样本文本问题和所述样本图像问题中除所述样 本对象之外的另一个对象对应的关联 特征向量进行修 正； 所述基于所述第 一特征向量集合和所述第 二特征向量集合， 生成所述样本文本问题对 应的第一融合特 征向量和所述样本图像问题对应的第二融合特 征向量， 包括： 根据两个修 正后的关联 特征向量， 得到所述样本对象对应的融合特 征向量。 3.根据权利要求2所述的方法， 其中， 所述方法还 包括： 对所述两个关联度进行归一 化， 以获取 所述两个关联度各自对应的权 重值； 所述基于所述样本对象内的关联度， 对所述样本对象对应的关联特征向量进行修正， 包括： 基于所述样本对象内的关联度对应的权重值， 对所述样本对象对应的关联特征向量进 行修正； 所述基于所述样本对象间的关联度， 对所述样本文本问题和所述样本图像问题中除所 述样本对象之外的另一个对象对应的关联 特征向量进行修 正， 包括： 基于所述样本对象间的关联度对应的权重值， 对所述样本文本问题和所述样本图像问 题中除所述样本对象之外的另一个对象对应的关联 特征向量进行修 正。 4.根据权利要求1 ‑3任一项所述的方法， 其中， 所述基于所述第一特征向量集合和所述 第二特征向量集合， 生成所述样本文本问题对应的第一融合特 征向量， 包括： 获取两个维度 上的所述第 一特征向量之间的第 一关联度， 所述第 一关联度用于表征所 述样本文本问题内文本与图像之间的关联度； 获取所述文本维度上的所述第一特征向量和所述图像维度上的所述第二特征向量之 间的第二关联度， 所述第二关联度用于表征所述样本文本问题和所述样本图像问题间文本 与图像之间的关联度； 基于所述第一关联度， 对所述第一关联特征向量进行修正， 得到第一目标关联特征向 量； 基于所述第二关联度， 对所述第二关联特征向量进行修正， 得到第二目标关联特征向权　利　要　求　书 1/8 页 2 CN 114037003 A 2量； 根据所述第 一目标关联特征向量和所述第 二目标关联特征向量， 生成所述第 一融合特 征向量。 5.根据权利要求1 ‑3任一项所述的方法， 其中， 所述基于所述第一特征向量集合和所述 第二特征向量集合， 生成所述样本图像问题对应的第二融合特 征向量， 包括： 获取两个维度 上的所述第 二特征向量之间的第 三关联度， 所述第 三关联度用于表征所 述样本图像问题内文本与图像之间的关联度； 获取所述图像维度上的所述第一特征向量和所述文本维度上的所述第二特征向量之 间的第四关联度， 所述第四关联度用于表征所述样本图像问题和所述样本文本问题间文本 与图像之间的关联度； 基于所述第三关联度， 对所述第二关联特征向量进行修正， 得到第三目标关联特征向 量； 基于所述第四关联度， 对所述第一关联特征向量进行修正， 得到第 四目标关联特征向 量； 根据所述第 三目标关联特征向量和所述第四目标关联特征向量， 生成所述第 二融合特 征向量。 6.根据权利要求1所述的方法， 其中， 所述方法还 包括： 通过以下 方式获取文本维度上的第一特 征向量或文本维度上的第二特 征向量： 获取所述样本对象的特征信息， 并基于特征信息和文本提取矩阵， 获取所述文本维度 上的特征向量， 其中， 所述样本对象为所述样本文本问题和所述样本图像问题中的一个； 和/或 通过以下 方式获取图像维度上的第一特 征向量或图像维度上的第二特 征向量： 获取所述样本对象的特征信息， 并基于所述特征信息和图像提取矩阵， 获取所述图像 维度上的特征向量， 其中， 所述样本对 象为所述样本文本 问题和所述样本图像问题中的一 个； 和/或 通过以下 方式获取 所述第一关联 特征向量或所述第二关联 特征向量： 获取所述样本对象的特征信息， 并基于所述特征信息和关联提取矩阵， 获取所述样本 对象的关联特征向量， 其中， 所述样本对 象为所述样本文本 问题和所述样本图像 问题中的 一个。 7.根据权利要求1所述的方法， 其中， 所述根据所述样本融合向量， 对待训练的问答模 型进行训练， 以生成目标问答模型， 包括： 根据所述样本融合向量， 对所述待训练的问答模型进行训练， 并获取当前轮次的模型 训练的损失函数； 根据所述损 失函数， 对所述待训练的问答模型的模型参数进行调整， 生成所述目标问 答模型。 8.一种答案的获取 方法， 包括： 获取针对待解 答问题的文本问题和图像问题； 获取所述文本问题分别在文本维度和图像维度上的第一待解答特征向量和两个维度 间的第一待解 答关联特征向量， 以生成第一待解 答特征向量集合；权　利　要　求　书 2/8 页 3 CN 114037003 A 3