(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111233683.1 (22)申请日 2021.10.2 2 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 余文利　刘伟　杨国强　陈由之　 王鹏　张博　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 代理人 罗岚 (51)Int.Cl. G06F 16/955(2019.01) G06F 16/953(2019.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 网页有效性的鉴别方法、 装置、 电子设备及 存储介质 (57)摘要 本公开提供了网页有效性的鉴别方法、 装 置、 电子设备及存储介质， 涉及深度学习等人工 智能技术领域。 具体实现方案为： 获取待鉴别的 目标网页； 获取目标网页的页面监测指标以及目 标网页所属站点的质量监测指标； 基于目标网页 的页面监测指标以及站点的质量监测指标， 对目 标网页进行鉴别， 以确定目标网页的有效性。 由 此， 实现了对目标网页的有效性的准确鉴别。 权利要求书5页 说明书17页 附图4页 CN 114036415 A 2022.02.11 CN 114036415 A 1.一种网页有效性的鉴别方法， 包括： 获取待鉴别的目标网页； 获取所述目标网页的页面 监测指标以及所述目标网页所属站点的质量 监测指标； 基于所述目标网页的页面监测指标以及所述站点的质量监测指标， 对所述目标网页进 行鉴别， 以确定所述目标网页的有效性。 2.根据权利要求1所述的方法， 其中， 所述质量 监测指标包括作弊网页比例； 获取所述目标网页所属站点的质量 监测指标， 包括： 获取所述站点中的各网页； 采用第一深度语义模型对所述各网页进行识别， 以从所述各网页中确定作弊网页； 根据所述作弊网页的数量以及所述各网页的总数量， 确定所述作弊网页比例。 3.根据权利要求1所述的方法， 其中， 所述质量监测指标包括至少一个子链对应的渲染 失败比例； 获取所述目标网页所属站点的质量 监测指标， 包括： 获取所述站点中的各网页； 针对每个所述网页， 对所述网页中的各 所述子链进行渲染； 根据各所述子链对应的渲染失败的网页个数以及所述各网页的总数量， 确定各所述子 链分别对应的渲染 失败比例。 4.根据权利要求1所述的方法， 其中， 所述质量 监测指标包括作弊 概率； 获取所述目标网页所属站点的质量 监测指标， 包括： 获取所述站点的第一属性信息以及所述站点与其它站点之间的链接关系； 将所述站点的第 一属性信 息以及所述站点与其它站点之间的链接关系， 输入预先训练 的第一图网络模型， 以得到所述站点的作弊 概率； 其中， 所述第一图网络模型是采用样本站点数据进行训练得到的， 所述样本站点数据 包括多个样本站点的第一样本属 性信息以及所述多个样本站点与其它站点之间的链接关 系， 所述多个样本站点以是否为作弊站点进行 标注。 5.根据权利要求1所述的方法， 其中， 所述质量 监测指标包括 新增网页比例； 获取所述目标网页所属站点的质量 监测指标， 包括： 获取预设时间段内所述站点中网页的数量以及所述预设时间段之前的时间段内所述 站点中网页的历史数量； 根据所述站点中网页的数量以及所述历史数量， 确定所述 新增网页比例。 6.根据权利要求1 ‑5任一项所述的方法， 其中， 所述目标网页的页面监测指标， 包括正 文与标题的相关度； 所述获取 所述目标网页的页面 监测指标， 包括： 将所述目标网页输入第 二深度语义模型， 以得到所述目标网页中所述正文与标题的相 关度。 7.根据权利要求1 ‑5任一项所述的方法， 其中， 所述目标网页的页面监测指标， 包括所 述目标网页的权威度、 所述 目标网页中正文的权威敏感度， 及所述 目标网页中正文的内容 丰富度及语句流畅度； 其中， 所述获取 所述目标网页的页面 监测指标， 包括：权　利　要　求　书 1/5 页 2 CN 114036415 A 2提取所述目标网页中正文的第二属性信息； 将所述第二属性信息输入第三深度语义模型， 以得到所述目标网页的权威度、 所述目 标网页中正文的权威敏感度， 以及所述目标网页中正文的内容丰富度及语句流畅度。 8.根据权利要求1所述的方法， 其中， 所述获取待鉴别的目标网页之后， 还 包括： 获取产出所述目标网页的站长账号的问题概率， 其中， 所述问题概率为所述站长账号 为问题账号的概 率； 所述基于所述目标网页的页面监测指标以及所述站点的质量监测指标， 对所述目标网 页进行鉴别， 包括： 基于所述目标网页的页面监测指标、 所述站点的质量监测指标以及所述问题概率， 对 所述目标网页进行鉴别。 9.根据权利要求8所述的方法， 其中， 所述获取产出所述目标网页的站长的问题概率， 包括： 获取所述站长账号的第三属性信息以及所述站长账号与其它账号之间的关联关系； 将所述站长账号的第 三属性信 息以及所述站长账号与其它账号之间的关联关系， 输入 预先训练的第二图网络模型， 以得到所述问题概 率； 其中， 所述第二图网络模型是采用样本账号数据进行训练得到的， 所述样本账号数据 包括多个样本账号的第二样本属 性信息以及所述多个样本账号与其它账号之间的关联关 系， 所述多个样本账号以是否为问题账号进行 标注。 10.根据权利要求8所述的方法， 其中， 所述获取待鉴别的目标网页之后， 还 包括： 获取用户对所述目标网页的反馈信息； 所述基于所述目标网页的页面监测指标以及所述站点的质量监测指标， 对所述目标网 页进行鉴别， 包括： 基于所述目标网页的页面监测指标、 所述站点的质量监测指标、 所述问题概率以及所 述反馈信息， 对所述目标网页进行鉴别。 11.根据权利要求1 ‑5任一项所述的方法， 其中， 所述基于所述目标网页的页面监测指 标以及所述站点的质量 监测指标， 对所述目标网页进行鉴别， 包括： 将所述目标网页的页面监测指标以及所述站点的质量监测指标， 输入预先训练 的集成 树分类模型， 以对所述目标网页进行鉴别。 12.根据权利要求1 ‑5任一项所述的方法， 其中， 所述待鉴别的目标网页为搜索引擎对 应的资源库中的任一网页； 在所述对所述目标网页进行鉴别之后， 还 包括： 在所述目标网页为有效 网页的情况 下， 将所述目标网页保留在所述资源库中； 在所述目标网页为无效 网页的情况 下， 将所述目标网页从所述资源库中删除。 13.一种网页有效性的鉴别装置， 包括： 第一获取模块， 用于获取待鉴别的目标网页； 第二获取模块， 用于获取所述目标网页的页面监测指标以及所述目标网页所属 站点的 质量监测指标； 鉴别模块， 用于基于所述目标网页的页面监测指标以及所述站点的质量监测指标， 对 所述目标网页进行鉴别， 以确定所述目标网页的有效性。权　利　要　求　书 2/5 页 3 CN 114036415 A 3