(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111657174.1 (22)申请日 2021.12.31 (71)申请人 天翼物联科技有限公司 地址 210000 江苏省南京市秦淮区中山 南 路501号1101室 (72)发明人 王亚涛　王亚磊　高妍　 (74)专利代理 机构 深圳市精英专利事务所 44242 代理人 武志峰 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) G06F 16/182(2019.01) (54)发明名称 调配Yarn计算资源的方法、 装置、 计算机设 备及存储介质 (57)摘要 本发明公开了调配Yarn计算 资源的方法、 装 置、 计算机设备及存储介质。 该方法包括定时获 取数据汇聚列队提交的当前任务个数和数据调 度列队提交的当前任务个数， 计算出当前负载因 子； 根据数据汇聚列队和数据调度列队中的任务 优先级， 设定对应的当前优先级因子； 根据当前 负载因子和当前优先级因子， 更新数据汇聚列队 和数据调度列队的当前Yarn计算 资源配比。 本发 明提出了负载因子和优先级因子的概念， 在满足 调度器原则的前提下， 按本方法可以计算出不同 队列的自适应 分配的最大占比， 具有更合理的分 配资源的优点。 权利要求书2页 说明书6页 附图3页 CN 114296934 A 2022.04.08 CN 114296934 A 1.一种调配Yarn计算资源的方法， 其特 征在于， 包括： 定时获取数据汇聚列队提交的当前任务个数和数据调度列队提交 的当前任务个数， 计 算出当前负载因子； 根据所述数据汇聚列队和数据调度列队中的任务优先级， 设定对应的当前优先级因 子； 根据所述当前负载因子和当前优先级因子， 更新所述数据汇聚列队和数据调度列队的 当前Yarn计算资源配比。 2.根据权利要求1所述的调配Y arn计算资源的方法， 其特征在于， 按如下公式计算数据 汇聚列队和数据调度列队的当前Yarn计算资源配比: x+y＝A(x∈[1％,A％)， y∈[1％,A％) )； x/y＝α *β( α ＝3.0)； 其中， x表示数据汇聚列队的当前Yarn计算资源配比， y表示数据调度列队的当前Yarn 计算资源配比， A表 示当前除去别的队列预占的Yarn计算资源后， 整个集群环 境可以配置给 x， y的总资源配比， A的取值范围不大于100％， β 表 示当前负载因子， α 表 示当前优 先级因子， βx表示数据汇聚列队的当前任务个数， βy表示数据调度列队的当前任务个数。 3.根据权利要求1所述的调配Y arn计算资源的方法， 其特征在于， 所述定时获取数据汇 聚列队的当前任务个数和数据调度列队的当前任务个数， 并计算出当前负载因子， 包括： 根据不同任务的启动 时间， 由定时脚本根据启动 时间启动对应的任务， 并将该任务移 至数据汇聚列队中； 判定各个任务的归并结束时间， 由定时脚本根据归并结束时间调度对应的任务， 并将 该任务移至所述数据调度列队中； 按预设时间间隔， 统计所述数据汇聚列队的当前任务个数和数据调度列队的当前任务 个数， 根据所述数据 汇聚列队的当前任务个数和数据调 度列队的当前任务个数的比值更新 所述当前负载因子 。 4.根据权利要求3所述的调配Y arn计算资源的方法， 其特征在于， 所述判定各个任务的 归并结束时间， 由定时脚本根据归并结束时间调度对应的任务， 并将该任务移至所述数据 调度列队中， 包括： 在所述数据汇聚列队中， 定时扫描每一任务在mysql表中是否有对应的入库标记的记 录， 若有则判定对应的任务结束； 当判定对应的任务结束后， 由定时脚本调度对应的任务， 并触发数据调度程序将该任 务移至所述数据调度列队中。 5.根据权利要求4所述的调配Y arn计算资源的方法， 其特征在于， 所述在所述数据汇聚 列队中， 定时扫描每一任务在mys ql表中是否有对应的入库标记的记录， 若有则判定对应的 任务结束， 包括： 在所述数据汇聚列队中， 定时扫描每一任务在运行过程中生成的hive分区表的记录 数， 或者扫描接入hive分区表的对应分区h dfs目录是否生成， 若所述记录数达到预先设定权　利　要　求　书 1/2 页 2 CN 114296934 A 2的记录值 或分区hdfs目录已生 成， 则在mys ql表中插入对应任务入库标记的记录， 并判定对 应的任务结束。 6.根据权利要求1所述的调配Y arn计算资源的方法， 其特征在于， 所述定时获取数据汇 聚列队的当前任务个数和数据调度列队的当前任务个数之后， 包括： 当所述数据汇聚列队的当前任务个数为0时， 将所述数据汇聚列队的当前Yarn计算资 源配比设置为预设配比。 7.根据权利要求1所述的调配Y arn计算资源的方法， 其特征在于， 所述定时获取数据汇 聚列队的当前任务个数和数据调度列队的当前任务个数之后， 还 包括： 当所述数据调度列队的当前任务个数为0时， 将所述数据调度列队的当前Yarn计算资 源配比设置为预设配比。 8.一种调配Yarn计算资源的装置， 其特 征在于， 包括： 负载因子计算单元， 用于定时获取数据汇聚列队提交 的当前任务个数和数据调度列队 提交的当前任务个数， 计算出当前负载因子； 优先级因子设置单元， 用于根据所述数据汇聚列队和数据调度列队中的任务优先级， 设定对应的当前优先级因子； 资源配比更新单元， 用于根据所述当前负载因子和当前优先级因子， 更新所述数据汇 聚列队和数据调度列队的当前Yarn计算资源配比。 9.一种计算机设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 中任一项所述的调配Yarn计算资源的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序当被处理器执行时使 所述处理器执行如权利要求 1至7任一项 所述的调 配Yarn计算资源的方法。权　利　要　求　书 2/2 页 3 CN 114296934 A 3