iso file download
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111676565.8 (22)申请日 2021.12.31 (71)申请人 中国联合网络通信集团有限公司 地址 100033 北京市西城区金融大街21号 (72)发明人 李丹 徐可飞 张兴宇 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 代理人 马明明 黄健 (51)Int.Cl. G06F 16/2455(2019.01) G06F 9/54(2006.01) G06F 9/50(2006.01) (54)发明名称 数据处理方法、 设备及存 储介质 (57)摘要 本申请提供一种数据处理方法、 设备及存储 介质, 该方法包括获取待处理数据, 根据预设规 则和待处理数据的数据特征, 确定待处理数据的 第一Key, 若本地缓存中存在第一Key对应的数 据, 则将第一Key的最近访问时间和累计访问次 数进行更新, 根据本地缓存最小时间戳、 更新后 的第一Key的最近访 问时间和更新后的第一Key 的累计访问次数, 计算第一Key的当前热度值; 根 据第一Key的当前热度值, 将第一Key对应的数据 存储于本地缓存中或非本地 缓存中, 非本地缓存 中各数据对应的热度值低于所述本地缓存中各 数据对应的热度值。 本申请提供的数据处理方 法, 提高了数据处 理效率。 权利要求书2页 说明书10页 附图7页 CN 114281859 A 2022.04.05 CN 114281859 A 1.一种数据处 理方法, 其特 征在于, 包括: 获取待处理数据, 并根据预设规则和所述待处理数据的数据特征, 确定所述待处理数 据的第一K ey; 若本地缓存中存在所述第一Key对应的数据, 则将所述第一Key的最近访问时间和累计 访问次数进行 更新; 根据本地缓存最小时间戳、 更新后的所述第一Key的最近访问时间和更新后的所述第 一Key的累计访问次数, 计算所述第一Key 的当前热度值; 所述本地缓存最小时间戳为所述 本地缓存中各 Key的更新后的最近访问时间中的最小值; 根据所述第一Key的当前热度值, 将所述第一Key对应的数据存储于本地缓存中或非本 地缓存中; 所述 非本地缓存中各数据对应的热度值低于所述本地缓存中各数据对应的热度 值。 2.根据权利要求1所述的方法, 其特征在于, 所述根据预设规则和所述待处理数据的数 据特征, 确定所述待处 理数据的第一K ey之后, 还包括: 若本地缓存中存在需与所述第一Key进行关联访问的第二Key, 则将所述第二Key的最 近访问时间和累计访问次数进行 更新; 根据本地缓存最小时间戳、 更新后的所述第二Key的最近访问时间和更新后的所述第 二Key的累计访问次数, 计算所述第二K ey的当前 热度值; 根据所述第二Key的当前热度值, 将所述第二Key对应的数据存储于本地缓存中或非本 地缓存中。 3.根据权利要求1所述的方法, 其特征在于, 所述根据本地缓存最小时间戳、 更新后的 所述第一Key的最近访问时间和更新后的所述第一Key的累计访问次数, 计算所述第一Key 的当前热度值, 包括: 将所述第一Key的最近访 问时间与所述本地缓存最小时间戳之间的差值, 和所述第一 Key的累计访问次数的加权和, 确定为所述第一K ey的热度值。 4.根据权利要求1所述的方法, 其特征在于, 所述根据所述第 一Key的当前热度值, 将所 述第一Key对应的数据存 储于本地缓存中或非本地缓存中, 包括: 根据所述热度值, 将所述第一Key对应的数据加入本地缓存的优先级队列中; 所述优先 级队列的头 部数据的热度值高于尾部数据的热度值; 根据所述优先级队列的当前的元素个数和预设阈值, 将优先级队列中满足预设条件的 尾部数据换 出至非本地缓存中。 5.根据权利要求4所述的方法, 其特征在于, 所述非本地缓存包括缓存集群, 所述预设 阈值包括窗口允许最大值、 基准值和预设最低热度值; 所述根据所述优先级队列的当前 的 元素个数和预设阈值, 将优先级队列中满足预设条件的尾部数据换出至非本地缓存中, 包 括: 若所述优先级队列的元素个数大于窗口允许最大值, 则将所述优先级队列中大于所述 窗口允许最大值的尾部数据换 出到已淘汰队列中; 若所述优先级队列的元素个数小于所述窗口允许最大值且大于基准值, 则将所述优先 级队列中热度值小于预设最低热度值的尾部数据换 出到已淘汰队列; 定时扫描所述已淘汰队列, 并将所述已淘汰队列中的数据删除并批量换出至缓存集群权 利 要 求 书 1/2 页 2 CN 114281859 A 2中。 6.根据权利要求5所述的方法, 其特征在于, 所述非本地缓存还包括缓持久层, 所述定 时扫描所述已淘汰队列, 并将所述已淘汰队列中的数据删除并批量换出至缓存集群中之 后, 还包括: 为换出至所述缓存集群中的各 数据设置过期时长; 将各数据对应的K ey和失效时间写入持久化有序队列中; 定时扫描所述持久化有序队列, 获取达到失效时间的第三Key, 并将所述第三Key对应 的数据换 出至持久层。 7.根据权利要求1 ‑6任一项所述的方法, 其特 征在于, 所述方法还 包括: 获取用户的查询请求, 并对所述 查询请求进行解析, 获得 所述查询请求对应第四K ey; 根据所述第四Key, 从所述本地缓存中读取所述第四Key对应的数据, 若未读取到所述 第四Key对应的数据, 则从所述非本地缓存中读取 所述第四K ey对应的数据。 8.一种数据处 理设备, 其特 征在于, 包括: 获取模块, 用于获取待处理数据, 并根据 预设规则和所述待处理数据的数据特征, 确定 所述待处 理数据的第一K ey; 更新模块, 用于若本地缓存中存在所述第一Key对应的数据, 则将所述第一Key的最近 访问时间和累计访问次数进行 更新; 计算模块, 用于根据本地缓存最小时间戳、 更新后的所述第 一Key的最近访问时间和更 新后的所述第一Key 的累计访问次数, 计算所述第一Key 的当前热度值; 所述本地缓存最小 时间戳为所述本地缓存中各 Key的更新后的最近访问时间中的最小值; 存储模块, 用于根据所述第一Key的当前热度值, 将所述第一Key对应的数据存储于本 地缓存中或非本地缓存中; 所述 非本地缓存中各数据对应的热度值低于所述本地缓存中各 数据对应的热度值。 9.一种数据处 理设备, 其特 征在于, 包括: 至少一个处 理器和存 储器; 所述存储器存储计算机执 行指令; 所述至少一个处理器执行所述存储器存储的计算机执行指令, 使得所述至少一个处理 器执行如权利要求1至7任一项所述的数据处 理方法。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质中存储有计算机 执行指令, 当处理器执行所述计算机执行指令时, 实现如权利要求1至7任一项所述的数据 处理方法。权 利 要 求 书 2/2 页 3 CN 114281859 A 3
专利 数据处理方法、设备及存储介质
文档预览
中文文档
20 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助3元下载(无需注册)
温馨提示:本文档共20页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助3元下载
本文档由 人生无常 于
2024-03-19 02:02:32
上传分享
举报
下载
原文档
(991.8 KB)
分享
友情链接
SC-T 1077-2004 渔用配合饲料通用技术要求.pdf
GB-T 14272-2021 羽绒服装.pdf
GB-T 36699-2018 锅炉用液体和气体燃料燃烧器技术条件.pdf
MITRE 世界一流的网络安全运营中心的11项战略 英文版.pdf
民航 CTSO-C145e 使用星基增强系统 SBAS 增强全球定位系统的机载导航传感器.pdf
TB-T 1346-2018 木枕用道钉.pdf
T-SLEA 1011.1—2023 实验室设计与建设技术规范 第1部分:通用技术要求.pdf
T-ZLDX 001—2023 中国老年大学 学校 “游学养”建设与 评价规范.pdf
DB1331-T 042—2023 电动重卡换电系统技术要求 雄安新区.pdf
GB-T 34120-2017 电化学储能系统储能变流器技术规范.pdf
之江实验室 - 2023.6.6 - 生成式大模型安全与隐私白皮书.pdf
GB-T 42109-2022 供应链资产管理体系实施指南.pdf
工信安全发展研究中心 数据安全白皮书 2021.pdf
GB-T 26834-2011 无损检测仪器 小焦点及微焦点X射线管有效焦点尺寸测量方法.pdf
GB-T 41996-2022 开关设备数字化车间运行管理模型指南.pdf
TTAF 187—2023 框架型应用软件个人信息保护规范.pdf
笫四次工业革命AIGC 3.pdf
DB3301-T 0385—2022 大学生创业园服务规范 杭州市.pdf
GB-T 39156-2020 大规格陶瓷板技术要求及试验方法.pdf
T-ZZB 2980—2022 平板显示用视窗功能面板.pdf
1
/
3
20
评价文档
赞助3元 点击下载(991.8 KB)
回到顶部
×
微信扫码支付
3
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。