(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111659487.0 (22)申请日 2021.12.3 0 (71)申请人 山东浪潮科 学研究院有限公司 地址 250100 山东省济南市高新浪潮路 1036号S02号楼 (72)发明人 刘芳蕾　刘佳星　刘金伟　张炜刚　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 代理人 姜鹏 (51)Int.Cl. G06F 16/18(2019.01) G06F 16/13(2019.01) G06F 9/50(2006.01) G06F 9/54(2006.01) (54)发明名称 一种基于持久内存的日志结构合并树分级 存储方法及系统 (57)摘要 本发明公开了一种基于持久内存的日志结 构合并树分级存储方法及系统， 属于内存数据存 储技术领域。 本发明的基于持久内存的日志结构 合并树分级存储 方法基于持久内存分配器、 文件 二级索引、 动态键值分离， 将日志结构合并树分 级存储在普通内存、 持久内存和固态硬盘， 普通 内存保留核心关键元数据， 预写日志WAL和LSM ‑ Tree L0‑L2层数据记录在持久内存中， L3 ‑L6层 文件数据存放在固态硬盘中。 该发 明的基于持久 内存的日志结构合并树分级存储方法能够充分 发挥持久内存低延迟和硬盘大容量的特性， 提高 数据合并和数据访问效率， 具有很好的推广应用 价值。 权利要求书1页 说明书4页 附图2页 CN 114356877 A 2022.04.15 CN 114356877 A 1.一种基于持久内存的日志结构合并树分级存储方法， 其特征在于： 该方法基于持久 内存分配器、 文件二级索引、 动态键值分离， 将日志结构合并树分级存储在普通内存、 持久 内存和固态硬盘， 普通内存保留核心关键元数据， 预写日志WAL和LSM ‑Tree L0‑L2层数据记 录在持久内存中， L3 ‑L6层文件数据存放在固态硬 盘中。 2.根据权利要求1所述的基于持久 内存的日志结构合并树分级存储方法， 其特征在于： 将LSM‑Tree结构根据数据访问热度、 用户访问等待开销划分数据分布。 3.根据权利要求2所述的基于持久 内存的日志结构合并树分级存储方法， 其特征在于： 持久内存分配 器管理持久内存空间， 为每种类型的数据文件构建内存 池提供预分配空间。 4.根据权利要求3所述的基于持久 内存的日志结构合并树分级存储方法， 其特征在于： 所述持久内存分配器负责空间分配顺序、 空间分配并发、 空间分配统计和空间阀值触发后 台任务。 5.根据权利要求4所述的基于持久 内存的日志结构合并树分级存储方法， 其特征在于： 文件二级索引结构用于记录LSM ‑Tree各层SST文件的Key范围及前缀布隆过 滤器信息 。 6.根据权利要求5所述的基于持久 内存的日志结构合并树分级存储方法， 其特征在于： 动态键值分离阀值根据用户配置策略及持久内存空间状态， 动态调整键值分离阀值， 支持 不同存储介质内采用不同键值分离策略。 7.一种基于持久内存的日志结构合并树分级存储系统， 其特征在于： 包括持久内存分 配器模块、 文件二级索引模块、 动态键值分离模块， 将日志结构合并树分级存储在普通内 存、 持久内存和固态硬盘， 普通内存保留核心关键元数据， 预写日志WAL和LSM ‑Tree L0‑L2 层数据记录在持久内存中， L3 ‑L6层文件数据存放在固态硬 盘中。 8.根据权利要求7所述的基于持久 内存的日志结构合并树分级存储系统， 其特征在于： 持久内存分配器模块管理持久内存空间， 为每种类型的数据文件构建内存池提供预分配空 间， 负责空间分配顺序、 空间分配并发、 空间分配统计和空间阀值触发后台任务。 9.根据权利要求8所述的基于持久 内存的日志结构合并树分级存储系统， 其特征在于： 文件二级索引模块用于记录LSM ‑Tree各层SST文件的Key范围及前缀布隆过 滤器信息 。 10.根据权利要求9所述的基于持久内存的日志结构合并树分级存储系统， 其特征在 于： 动态键值分离模块根据用户配置策略及持久内存空间状态， 动态调整键值分离阀值， 支 持不同存 储介质内采用不同键值分离策略。权　利　要　求　书 1/1 页 2 CN 114356877 A 2一种基于持久内存的日志结构合并树分级存 储方法及系统 技术领域 [0001]本发明涉及内存数据存储技术领域， 具体提供一种基于持久内存的日志结构合并 树分级存 储方法及系统。 背景技术 [0002]LSM‑Tree全称是Log  Structured  Merge Tree， 是一种分层， 有序， 面向写多读少 场景的数据结构， 其核心思想是充分了利用了硬盘批量顺序写要远比随机写性能高的特 点， 广泛应用于NoSQL系统， 如HBase、 Rock sDB、 Cassandra等。 LSM ‑Tree基于上述的实现将随 机写转化为顺序写， 从而获得非常优秀的写性能， 而作为代 价带来了大量的重复写入。 写放 大意味着更多的读写， 影响数据库系统的持续写入的带宽， 同时加速硬盘尤其是固态盘的 寿命衰减。 所以解决写放大就成了一个很 重要的问题。 [0003]针对日志结构合并树LSM ‑Tree结构存在数据写放大的问题， 现有技术中， 第一种 是Key‑Value分离技术， 即LSM ‑Tree结构内存储Key和Value的地址， 将Value另存他处， 降低 合并操作时value重写开销。 该方案在value比key大很多的情况下效果显著， value分离带 来的IO随机访问对 范围查询非常不友好， 同时无效valu e数据的垃圾回收GC效率低下， 尤其 在更新密集型负载中。 总之Key ‑Value分离技术适用于写多、 value大且查询请求多点查而 较少范围查询的场景。 第二种是Lazy  Compaction技术， 主要 就是减少Co mpaction来改善写 放大， 该方法适合写多读少的场景， 同时占用磁盘空间比较大， 成本上处于劣势， 不用于商 业产品应用。 总之， 现有的LSM ‑Tree优化都是基于固态硬盘或机械硬盘平衡读写开销和写 放大展开， 针对特定场景 可带来性能提升但不具有普适 性。 [0004]持久内存是一种新型的具有字节寻址能力的内存级存储器件， 具有读写延迟低、 带宽高、 数据持久化、 能耗低等特点， 持久内存不仅具有同DRAM相近的读写性能， 同时又能 提供类似传统磁盘等外存类似的持久性。 混合利用持久内存低延迟与固态硬盘大容量的特 性， 构建低延迟 且高吞吐的高效键值存 储方法具有重要意 义。 发明内容 [0005]本发明的技术任务是针对上述存在的问题， 提供一种能够充分发挥持久内存低延 迟和硬盘大容量的特性， 提高数据合并和数据访问效率的基于持久内存的日志结构合并树 分级存储方法。 [0006]本发明进一步的技术任务是提供一种基于持久内存 的日志结构合并树分级存储 系统。 [0007]为实现上述目的， 本发明提供了如下技 术方案： [0008]一种基于持久内存的日志结构合并树分级存储方法， 该方法基于持久内存分配 器、 文件二级索引、 动态键值分离， 将日志结构合并树分级存储在普通内存、 持久内存和固 态硬盘， 普通内存保留核心关键元数据， 预写日志WAL和LSM ‑Tree L0‑L2层数据记录在持久 内存中， L3 ‑L6层文件数据存放在固态硬 盘中。说　明　书 1/4 页 3 CN 114356877 A 3