(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111670934.2 (22)申请日 2021.12.31 (71)申请人 中国科学院上海微系统与信息技 术 研究所 地址 200050 上海市长 宁区长宁路865号 (72)发明人 吴昊南　杨秀梅　卜智勇　赵宇　 (74)专利代理 机构 上海智信专利代理有限公司 31002 专利代理师 杨怡清 (51)Int.Cl. H04B 7/185(2006.01) H04L 67/10(2022.01) H04W 28/16(2009.01) H04W 28/02(2009.01) H04L 47/70(2022.01)H04W 84/06(2009.01) G06F 9/50(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度强化学习的星地融合网络多 节点计算资源分配方法 (57)摘要 本发明涉及一种基于深度强化学习的星地 融合网络多节点计算资源分配方法， 包括： 从星 地融合网络中的各服务点中确定本地服务节点 和协作服务节 点， 从本地服务节 点中获取任务的 执行状态信息、 各服务节点的计算资源信息以及 各服务节 点间的无线传输信息； 构建以最小化卫 星能耗与任务执行时延的加权系统开销为目标 的优化问题的表达式； 建立深度强化学习模型； 基于近端策略优化算法求解深度强化学习模型； 确定各服务节 点的计算资源分配策略。 本发明不 仅能够从高维长跨度时序状态信息中提取特征， 在高维解空间中建立环境与策略的相关性， 而且 能够克服高维信息的存储资源占用问题， 具有较 好的泛化能力， 提升 了计算效率。 权利要求书2页 说明书15页 附图3页 CN 115250142 A 2022.10.28 CN 115250142 A 1.一种基于深度强化学习的星地融合网络多节点计算资源分配方法， 其特征在于， 包 括： 步骤S1， 从星地融合网络中的各服务点中确定本地服务节点和协作服务节点， 从本地 服务节点中获取任务的执行状态信息、 各服务节 点的计算资源信息以及各服务节点间的无 线传输信息； 步骤S2， 根据任务的执行状态信息、 各服务节点的计算资源信息以及各服务节点间的 无线传输信息， 构建以最小化卫星能耗与任务执行时延的加权系统开销为目标的优化问题 的表达式； 步骤S3， 根据任务的执行状态信息、 各服务节点的计算资源信息、 各服务节点间的无线 传输信息以及步骤S2构建的优化问题的表达式， 建立深度强化学习模型； 步骤S4， 基于 近端策略优化 算法求解步骤S3所建立的深度强化学习模型； 步骤S5， 根据求 解后的深度强化学习模型， 确定各服 务节点的计算资源分配策略。 2.根据权利要求1所述的基于深度强化学习的星地融合网络多节点计算资源分配方 法， 其特征在于， 所述任务的执行状态信息包括任务的需执行数据量、 执行时延需求、 任务 在本地服务节点的决策时间范围内的任一时刻的执行状态以及地面服务节点对于任务在 本地服务节点的决策时间范围内的任一时刻的可 见性。 3.根据权利要求1所述的基于深度强化学习的星地融合网络多节点计算资源分配方 法， 其特征在于， 所述各服务节点间的无线传输信息包括星地数据传输速率、 星间数据传输 速率、 星地传播时延和星间传播时延。 4.根据权利要求1所述的基于深度强化学习的星地融合网络多节点计算资源分配方 法， 其特征在于， 所述优化问题的表达式为： s.t.C1: C2: C3: C4: 式中， α ∈[0,1]表示卫星能耗占系统开销的权重， (1 ‑α )表示任务执行 时延占系统开销 的权重； cl(t)表示任务v在时刻t的计算卸载方式， l表示所有计算卸载方式中所选择的计 算卸载方式的序数； El(t)表示任务v在时刻t 采用第l种计 算卸载方式所需的卫星总能耗， Tl (t)表示任务v在时刻t采用第l种计算卸载方式所 需的执行时延。 约 束条件C1表示每个调度 时刻仅选择一种计算卸载方式； 约束条件C2表示每个服务节点为任务v分配 的计算资源不 能超过可用空闲计算资源上限， fni(t)表示在时刻t卫星服务节点ni为任务v分配的计算资 源， 表示在时刻 t卫星ni可使用的最大空闲计算 资源； 约束条件C3表示任务总执行时权　利　要　求　书 1/2 页 2 CN 115250142 A 2延应满足最大时延约束， τori表示任务v可容忍的最大处理时延； 约束条件C4表示任务 的全 部数据应在最大时延约束范围内完成， dl(t)表示在时刻t采用第l种计算卸载方式完成任 务v的数据量， dori表示执行完整任务v所需的数据量。 5.根据权利要求1所述的基于深度强化学习的星地融合网络多节点计算资源分配方 法， 其特征在于， 所述 步骤S3中， 建立深度强化学习模型包括： 步骤S31， 根据任务的执行状态信息、 各服务节点的计算资源信息、 各服务节点间的无 线传输信息以及步骤S2构建的优化问题的表达式， 构建状态函数； 步骤S32， 根据步骤S2构建的优化问题的表达式， 构建动作函数； 步骤S33， 根据所述状态函数和所述动作函数， 构建瞬时回报函数， 并获取对应的累积 回报函数。 6.根据权利要求5所述的基于深度强化学习的星地融合网络多节点计算资源分配方 法， 其特征在于， 所述瞬时回报函数 由回报函数、 任务完成时的激励值、 任务失败时的惩罚 值以及回报塑形函数构成。 7.根据权利要求1所述的基于深度强化学习的星地融合网络多节点计算资源分配方 法， 其特征在于， 所述星地数据传输 速率 按照下式计算： 式中， 表示本地服务节点ni与地面服务节点之间的通信带宽， 表示本地服 务节点ni在时刻t对地面服务节点的发射功率， 表示本地服务节点ni的发射天线增益 与地面服务节点的接收天线增益的乘积， 表示本地服务节点ni在时刻t与 地面服务 节点之间的信道增益， 表示地面服务节点的接收机噪声功率。 8.根据权利要求1所述的基于深度强化学习的星地融合网络多节点计算资源分配方 法， 其特征在于， 所述星间数据传输 速率 按照下式计算： 式中， 表示本地服务节点ni与卫星协作服务节点nj之间的通信带宽， 表示 本地服务节点ni在时刻t对卫星协作服务节点nj的发射功率， 表示本地服务节点ni的发 射天线增益与卫星协作服务节点nj的接收天线增益的乘积， 表示本地服务节点ni与 卫星协作服 务节点nj之间的信道增益， 表示卫星协作服 务节点nj的接收机噪声功率。权　利　要　求　书 2/2 页 3 CN 115250142 A 3