iso file download
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111178976.4 (22)申请日 2021.10.08 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 章玥 史亚冰 蒋烨 柴春光 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 代理人 刘丽丽 (51)Int.Cl. G06F 16/35(2019.01) G06N 20/00(2019.01) (54)发明名称 数据标注、 表格信息的提取方法、 装置及电 子设备 (57)摘要 本公开提供了一种数据标注、 表格信息的提 取方法、 装置及电子设备, 涉及人工智 能和大数 据领域, 尤其涉及机器学习、 深度学习、 知识图 谱、 智能搜索和智 能推荐等领域, 可以用于表格 信息的智能提取场景。 具体实现方案为: 基于表 格中多行单元格和/或多列单元格的特征进行聚 类, 以确定表格中的候选表头单元格; 以及基于 候选表头单元格, 对表格进行数据标注, 以将表 格中的表头单元格和非表头单元格标注为不同 的数据。 权利要求书4页 说明书19页 附图5页 CN 113901216 A 2022.01.07 CN 113901216 A 1.一种数据标注方法, 包括: 基于表格中多行单元格和/或多列单元格的特征进行聚类, 以确定所述表格中的候选 表头单元格; 以及 基于所述候选表头单元格, 对所述表格进行数据标注, 以将所述表格中的表头单元格 和非表头单 元格标注为 不同的数据。 2.根据权利要求1所述的方法, 其中, 所述基于表格中多行单元格和/或多列单元格的 特征进行聚类, 以确定所述表格中的候选表头单 元格, 包括: 针对所述表格的M行单元格 中的每行单元格, 基于行内各单元格的行特征进行聚类, 以 确定对应的候选列表头单 元格; 针对所述表格的N列单元格 中的每列单元格, 基于列内各单元格的列特征进行聚类, 以 确定对应的候选行表头单 元格。 3.根据权利要求2所述的方法, 其中, 所述基于所述候选表头单元格, 对所述表格进行 数据标注, 包括: 在基于所述候选列表头单元格和所述候选行表头单元格确定所述表格为行表头表格 的情况下, 执行第一操作, 其中, 所述第 一操作包括: 基于所述候选行表头单元格, 确定所述表格的至少一个表头 行和至少一个非表头行; 将所述至少一个表头行中每个表头单元格统一标注为标注一, 将 所述至少一个非表头行中每 个非表头单 元格统一标注为标注二。 4.根据权利要求2或3所述的方法, 其中, 所述基于所述候选表头单元格, 对所述表格进 行数据标注, 包括: 在基于所述候选列表头单元格和所述候选行表头单元格确定所述表格为列表头表格 的情况下, 执行第二操作, 其中, 所述第 二操作包括: 基于所述候选列表头单元格, 确定所述表格的至少一个表头 列和至少一个非表头列; 将所述至少一个表头列中每个表头单元格统一标注为标注三, 将 所述至少一个非表头列中每 个非表头单 元格统一标注为标注四。 5.根据权利要求2至4中任一项所述的方法, 其中, 所述基于所述候选表头单元格, 对所 述表格进行数据标注, 包括, 在基于所述候选列表头单元格和所述候选行表头单元格确定 所述表格同时包括行表头和列表头的情况 下, 执行以下操作中的至少之一: 响应于确定所述表格中各列的内容相似, 执 行所述第一操作; 响应于确定所述表格中各 行的内容相似, 执 行所述第二操作; 响应于确定所述表格中各行的内容的相似度与 各列的内容的相似度一致, 不对所述表 格进行数据标注。 6.根据权利要求5所述的方法, 其中, 通过以下操作确定所述表格中各行内容的相似度 和各列内容的相似度: 确定所述表格的行内平均距离; 确定所述表格的列内平均距离; 以及 比较所述行内平均距离和所述列内平均距离, 以确定所述表格中各行内容的相似度和 各列内容的相似度。 7.根据权利要求2所述的方法, 其中, 所述基于行内各单元格的行特征进行聚类, 以确权 利 要 求 书 1/4 页 2 CN 113901216 A 2定对应的候选列表头单 元格, 包括: 针对所述每行 单元格, 基于所述行内各 单元格的行 特征进行聚类, 得到 两个簇; 以及 将所述两个簇中元素数量较少的一个簇对应的至少一个单元格作为本行的候选列表 头单元格。 8.根据权利要求2所述的方法, 其中, 所述基于行内各单元格的行特征进行聚类, 以确 定对应的候选列表头单 元格, 包括: 针对所述每行 单元格, 基于所述行内各 单元格的行 特征进行聚类, 得到 两个簇; 以及 将所述两个簇中元素没有命中黑名单且元素数量较少的一个簇对应的单元格作为本 行的候选列表头单 元格, 其中, 所述 黑名单中记录有特定单 元格特征。 9.根据权利要求1所述的方法, 其中, 所述特征包括以下中的至少之一: 数据特征、 统计 特征和语义特 征。 10.根据权利要求9所述的方法, 其中, 所述统计特 征包括: 词频统计特 征。 11.根据权利要求1所述的方法, 其中, 所述表格为以二维矩阵形式组织的表格。 12.根据权利要求1所述的方法, 还包括: 在基于表格中多行单元格和/或多列 单元格的 特征进行聚类之前, 针对所述多行 单元格和/或所述多列单 元格, 先将各单元格中的数字替换为统一的数字, 再提取 所述各单元格的特 征。 13.根据权利要求1所述的方法, 还 包括: 在得到关于所述表格的标注数据后, 基于表格特性, 对所述标注数据进行筛 选。 14.根据权利要求13所述的方法, 其中, 所述表格特性包括: 表格中表头的位置特性和/ 或表头的层数 特性。 15.一种表格信息的提取 方法, 包括: 确定待处 理的表格; 以及 利用表格信息提取模型, 提取 所述表格中的属性与对应的属性 值对, 其中, 所述表格信息提取模型 是基于标注数据训练得到的, 所述标注数据是通过权利要求1至14中任一项所述的方法进行 数据标注得到的。 16.一种模型训练方法, 包括: 获取标注数据; 以及 利用所述标注数据, 训练得到对应的表格信息提取模型, 其中, 所述标注数据是通过权利要求1至14中任一项所述的方法进行 数据标注得到的。 17.一种数据标注装置, 包括: 聚类模块, 用于基于表格 中多行单元格和/或多列 单元格的特征进行聚类, 以确定所述 表格中的候选表头单 元格; 以及 数据标注模块, 用于基于所述候选表头单元格, 对所述表格进行数据 标注, 以将所述表 格中的表头单 元格和非表头单 元格标注为 不同的数据。 18.根据权利要求17 所述的装置, 其中, 所述聚类模块包括: 第一聚类单元, 用于针对所述表格的M行单元格 中的每行单元格, 基于行内各单元格的 行特征进行聚类, 以确定对应的候选列表头单 元格; 第二聚类单元, 用于针对所述表格的N列单元格 中的每列单元格, 基于列内各单元格的 列特征进行聚类, 以确定对应的候选行表头单 元格。权 利 要 求 书 2/4 页 3 CN 113901216 A 3
专利 数据标注、表格信息的提取方法、装置及电子设备
文档预览
中文文档
29 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助3元下载(无需注册)
温馨提示:本文档共29页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助3元下载
本文档由 人生无常 于
2024-03-19 02:02:33
上传分享
举报
下载
原文档
(1013.4 KB)
分享
友情链接
GW0204-2014 国家电子政务外网 安全管理系统技术要求与接口规范.pdf
GB-T 5762-2012 建材用石灰石、生石灰和熟石灰化学分析方法.pdf
YD-T 面向云计算的安全运营中心能力要求 送审稿.pdf
GB-T 14592-2014 钼圆片.pdf
T-SDMT 0001—2022 电气化铁路高效节能自耦变压器.pdf
T-ZJCX 0019—2022 鼻腔护理液.pdf
绿盟 2020 数据安全白皮书2.0.pdf
GB-T 42729-2023 锂离子电池和电池组安全使用指南.pdf
DB4105-T 172—2021 家政服务 家庭清洁服务规范 安阳市.pdf
DB46-T 257-2013 白木香通体结香树木剖香技术规程 海南省.pdf
GB-T 34078.4-2021 基于云计算的电子政务公共平台总体规范 第4部分:服务实施.pdf
GB-T 40756-2021 全国一体化政务服务平台线上线下融合工作指南.pdf
GB-T 26507-2019 石油天然气钻采设备 地面油气混输泵.pdf
GB-T 32059-2015 高速动车组车窗、车门抗风压载荷疲劳试验方法.pdf
GB-T 4625-2022 螺钉和螺母的装配工具 命名法.pdf
GB-T 40018-2021 信息安全技术 基于多信道的证书申请和应用协议.pdf
DB11-T 1282-2022 数据中心节能设计规范 北京市.pdf
T-SOFIDPA 0004—2023 有机肥 好氧发酵 低碳技术规范.pdf
商用密码管理条例.pdf
GB-T 8843-2002 工程船术语.pdf
1
/
3
29
评价文档
赞助3元 点击下载(1013.4 KB)
回到顶部
×
微信扫码支付
3
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。