iso file download
(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111242467.3 (22)申请日 2021.10.25 (71)申请人 上海小零网络科技有限公司 地址 201306 上海市浦东 新区中国 (上海) 自由贸易试验区临港新片区海基六路 218弄12号2楼 (72)发明人 周开龙 陈颖辉 王范萍 张玥  (74)专利代理 机构 北京万思博知识产权代理有 限公司 1 1694 代理人 秦贺余 (51)Int.Cl. G06F 17/15(2006.01) G06F 17/18(2006.01) G06N 20/00(2019.01) (54)发明名称 损失函数动态加权的方法、 装置、 设备和存 储介质 (57)摘要 本发明公开了一种损失函数动态加权的方 法、 装置、 设备和存储介质, 包括: 获取样本集内 每个类别的先验概率; 根据所述先验概率和当次 模型训练 中所输出的每个类别的预测概率, 确定 每个类别的难易权值; 基于所述每个类别的难易 权值对预设的损失函数中的权值变量进行更新, 得到难易权值更新后的损失函数, 实现了动态调 整损失函数的权值变量, 避免人为划分的难易权 值在所选取的损失函数中效果不佳的现象, 这 样, 在利用更新后的损失函数, 确定当次模型训 练的损失值后, 对模型的超参数进行更新, 使得 越难的类别损失占比越大, 越简单的类别损失占 比越小, 从而提高了模型训练效果。 权利要求书2页 说明书7页 附图1页 CN 114090952 A 2022.02.25 CN 114090952 A 1.一种损失函数动态加权的方法, 其特 征在于, 包括: 获取样本集内每 个类别的先验概 率; 根据所述先验概率和当次模型训练中所输出的每个类别的预测概率, 确定每个类别的 难易权值; 基于所述每个类别的难易权值对预设的损失函数中的权值变量进行更新, 得到难易权 值更新后的损失函数, 以利用更新后的损失函数, 确定当次模型训练的损失值。 2.根据权利要求1所述的损失函数动态加权的方法, 其特征在于, 获取类别集内每个类 别的先验概 率, 包括: 利用预设的先验概 率计算式, 获取样本集内每 个类别的先验概 率; 所述先验概 率计算式为: 其中, p(ci)表示先验 概率, ci表示第i个类别, ni表示ci对应的样本数量, K表示样本集中 类别的数量, nk表示第k个 类别对应的样本数量, Y表示类别难易控制参数, Y为常数。 3.根据权利要求1所述的损失函数动态加权的方法, 其特征在于, 根据 所述先验概率和 当次模型训练中所输出的每 个类别的预测概 率, 确定每 个类别的难易权值, 包括: 将所述先验概率和当次模型训练中所输出的每个类别的预测概率代入预设的难易权 值计算式, 计算每 个类别的难易权值; 所述难易权值计算式为: Wd=(p(ci)‑p)2 其中, Wd表示难易权值, p(ci)表示先验概 率, p表示预测概 率。 4.根据权利要求1所述的损失函数动态加权的方法, 其特征在于, 基于所述每个类别的 难易权值对预设的损失函数中的权值变量进行更新, 得到难易权值更新后的损失函数, 包 括: 将所述每个类别的难易权值代入预设的权值变量更新计算式中, 得到难易权值更新后 的损失函数; 所述权值变量更新计算式为: Loss=‑Wd*log p 其中, Loss表示更新后的损失函数, Wd表示难易权值, ‑log p表示预设的损失函数。 5.一种损失函数动态加权的装置, 其特 征在于, 包括: 获取模块, 用于获取样本集内每 个类别的先验概 率; 确定模块, 用于根据所述先验概率和当次模型训练中所输出的每个类别的预测概率, 确定每个类别的难易权值; 更新模块, 用于基于所述每个类别的难易权值对预设的损失函数中的权值变量进行更 新, 得到难易权值更新后的损失函数, 以利用更新后的损失函数, 确定 当次模型训练的损失 值。 6.根据权利要求5所述的损 失函数动态加权的装置, 其特征在于, 所述获取模块, 具体 用于:权 利 要 求 书 1/2 页 2 CN 114090952 A 2利用预设的先验概 率计算式, 获取类别集内每 个类别的先验概 率; 所述先验概 率计算式为: 其中, p(ci)表示先验 概率, ci表示第i个类别, ni表示ci对应的样本数量, K表示样本集中 类别的数量, nk表示第k个 类别对应的样本数量, γ表示类别难易控制参数, γ为常数。 7.根据权利要求5所述的损 失函数动态加权的装置, 其特征在于, 所述确定模块, 具体 用于: 将所述先验概率和当次模型训练中所输出的每个类别的预测概率代入预设的难易权 值计算式, 计算每 个类别的难易权值; 所述难易权值计算式为: Wd=(p(ci)‑p)2 其中, Wd表示难易权值, p(ci)表示先验概 率, p表示预测概 率。 8.根据权利要求5所述的损 失函数动态加权的装置, 其特征在于, 所述更新模块, 具体 用于: 将所述每个类别的难易权值代入预设的权值变量更新计算式中, 得到难易权值更新后 的损失函数; 所述权值变量更新计算式为: Loss=‑Wd*log p 其中, Loss表示更新后的损失函数, Wd表示难易权值, ‑log p表示预设的损失函数。 9.一种损失函数动态加权的设备, 其特 征在于, 包括存 储器和控制器; 所述存储器上存储有计算机程序, 所述计算机程序被控制器执行时实现如权利要求1 至4中任一项所述的损失函数动态加权的方法的步骤。 10.一种存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序被处理器执 行时实现如权利要求1至4中任一项所述的损失函数动态加权的方法的步骤。权 利 要 求 书 2/2 页 3 CN 114090952 A 3

.PDF文档 专利 损失函数动态加权的方法、装置、设备和存储介质

文档预览
中文文档 11 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 损失函数动态加权的方法、装置、设备和存储介质 第 1 页 专利 损失函数动态加权的方法、装置、设备和存储介质 第 2 页 专利 损失函数动态加权的方法、装置、设备和存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-19 02:02:24上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。