(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111179182.X (22)申请日 2021.10.1 1 (65)同一申请的已公布的文献号 申请公布号 CN 113610069 A (43)申请公布日 2021.11.05 (73)专利权人 北京文安智能技 术股份有限公司 地址 100094 北京市海淀区丰豪东路9号院 2号楼5单 元801 (72)发明人 张志嵩　曹松　任必为　宋君　 陶海　 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 40/10(2022.01)G06K 9/62(2022.01) G06N 20/00(2019.01) (56)对比文件 WO 2021189912 A1,2021.09.3 0 审查员 李慧然 (54)发明名称 基于知识蒸馏的目标检测模型训练方法 (57)摘要 本发明提供了一种基于知识蒸馏的目标检 测模型训练方法， 包括： 利用训练样本图像集训 练目标检测教师模型， 训练样本图像具有： 第一 标签： 目标检测框中心点像素位置硬标签概率矩 阵； 第二标签： 目标检测框的宽和高； 第三标签： 目标检测框中心点像素位置偏移量； 目标检测教 师模型的预测输出结果包括： 目标检测框中心点 像素位置概率热力图、 目标检测框的宽和高、 目 标检测框中心点像素位置偏移量； 以知识蒸馏的 方式改进目标检测学生模型的损失函数后， 训练 生成目标检测学生模型。 本发明的解决了利用现 有的知识蒸馏方法训练获取的目标检测模型无 法同时保证网络结构简单而满足终端设备使用 需求， 以及目标检测模型的识别率优良以确保模 型检测精度的问题。 权利要求书4页 说明书10页 附图2页 CN 113610069 B 2022.02.08 CN 113610069 B 1.一种基于知识蒸馏的目标检测模型训练方法， 其特 征在于， 包括： 步骤S1， 利用训练样本图像集训练生成目标检测教师模型， 所述训练样本图像集中的 各训练样本图像具有： 第一标签： 目标检测框中心点像素位置硬标签概率矩阵； 第二标签： 目标检测框的宽和高； 第三标签： 目标检测框中心 点像素位置偏移量； 所述目标检测教师模 型的对应于三类标签的预测输出结果包括： 目标检测框中心点像素位置概率热力图、 目标 检测框的宽和高、 目标检测框中心点像素位置偏移量； 步骤S2， 以知识蒸馏的方式通过所述目标检测教师模型改进所述目标检测学生模型的 损失函数后， 利用所述训练样本图像集以及所述预测输出结果， 训练生成目标检测学生模 型； 所述目标检测学生模型的损失函数L osstotal定义为： Losstotal＝Losshm+λwhLosswh+λregLossreg..................................(1)， 其 中， Losshm为所述目标检测学生模型预测输出的目标检测框中心点像素位置概率热力图对 应的损失函数部分； Losswh为所述目标检测学生模型预测输出的目标检测框的宽和高对应的损失函数部 分； Lossreg为所述目标检测学生模型预测输出的目标检测框中心点像素位置偏移量对应 的损失函数部分； λwh为所述目标检测框的宽和高对应的损失函数部分的权 重比例系数； λreg为所述目标检测框中心点像素位置偏移量的损失函数部分的权 重比例系数； 所述目标检测学生模型预测输出的目标检测框中心点像素位置概率热力图对应的损 失函数部分L osshm定义为： 其中， 为第一标签对应的目标检测框中心点像素位置硬标签概率矩阵转化后得到的目标 检测框中心点像素位置软 标签概率矩阵指导的子损失函数； 为目标检测教师模型和第一标签对应的目标检测 框中心点像素位置软标签概率矩 阵共同指导的子损失函数； λhm为目标检测教师模型和第一标签对应的目标检测框中心点像素位置软标签概率矩 阵共同指导的子损失函数的权 重比例系数。 2.根据权利要求1所述的基于知识蒸馏的目标检测模型训练方法， 其特 征在于， 为focalloss损失函数， 所述子损失函数 的计算公式定义 为： 为基于知识蒸馏的损失函数， 所述子损失函数 的计算公式定义 为： 其中， N为所述目标检测学生模型预测输出的目标检测框中心点像素位置概率热力图权　利　要　求　书 1/4 页 2 CN 113610069 B 2中像素点的个数； Hxy为将所述目标检测框中心点像素位置硬标签概率矩阵进行坐标变换后得到的目标 检测框中心点像素位置软 标签概率矩阵中的数位 坐标点(x， y)的概 率值； 为目标检测教师模型预测输出的目标检测框中心点像素位置概率热力图中像素点 (x， y)的概 率值； 为目标检测学生模型预测 输出的目标检测 框中心点像素位置概率热力图中像素点 (x， y)的概 率值； α 和β 均为指数常数。 3.根据权利要求1所述的基于知识蒸馏的目标检测模型训练方法， 其特征在于， 所述目 标检测框中心点像素位置硬标签概率矩阵通过高斯核函数坐标变换后得到所述目标检测 框中心点像素位置软标签概率矩阵； 所述目标检测框中心点像素位置软标签概率矩阵的数 位坐标点(x， y)的概 率值Hxy为所述高斯核函数的结果 值G； 所述高斯核函数为： 其中， m， n分别为所述目标检测框中心点像素位置硬标签概率矩阵中概率值为1的数位 坐标点的横坐标和纵坐标； x， y分别为所述目标检测框 中心点像素位置软标签概率矩阵中任意一个数位坐标点的 横坐标和纵坐标； σp为对应于所述目标检测框的尺度常数。 4.根据权利要求3所述的基于知识蒸馏的目标检测模型训练方法， 其特 征在于， 当所述目标检测框 中心点像素位置硬标签概率矩阵中概率值为1的数位坐标点为多个 时， 所述目标检测框 中心点像素位置软标签概率矩阵中各数位坐标点(x， y)的概率值Hxy取 多个高斯核函数 结果值G中的最大者。 5.根据权利要求1所述的基于知识蒸馏的目标检测模型训练方法， 其特征在于， 所述目 标检测学生模型 预测输出的目标检测框的宽和高对应的损失函数部分L osswh为； 其中， 为第二标签对应的目标检测框的宽和高指导的子损失函数； 为目标检测教师模型以及第二标签对应的目标检测框的宽和高共同指导的子损失 函数； λr为目标检测教师模型以及第二标签对应的目标检测框的宽和高共同指导的子损失函 数的权重比例系数。 6.根据权利要求5所述的基于知识蒸馏的目标检测模型训练方法， 其特 征在于， 所述子损失函数 的计算公式定义 为： 所述子损失函数 的计算公式定义 为：权　利　要　求　书 2/4 页 3 CN 113610069 B 3