(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111167208.9 (22)申请日 2021.10.04 (71)申请人 长春工业大学 地址 130012 吉林省长 春市延安大街20 55 号 (72)发明人 张敖翔　张邦成　郑忠　胡冠宇　 吕仕元　 (51)Int.Cl. G06N 5/04(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种可解释的机器学习方法——深度证据 推理规则 (57)摘要 本发明涉及一种可解释的机器学习方 法——深度证据推理规则， 属于机器学习方法领 域。 该方法步骤如下： 1.将定量数据和定性知识 转化为置信 度分布输入到DERR模型中。 2.将输入 特征通过证据推理规则进行特征融合。 3.在前向 传播过程中， 利用若干个证据推理规则块(ERRB) 建立DERR模型的层结构。 对于输入特征， 提取每 个ERRB的局部输入特征作为输出特征。 4.当得到 下层权重时， 通过权重的反向传播得到上层权 重。 5.通过基于协方差矩阵的自适应演化策略 (CMA‑ES)优化算法， 对DERR模型参数进行优化。 本发明的优点是与传统机器学习方法相比， 本模 型具有出色的分类能力； 可以描述更一般的不确 定性信息； 可 以输入各种类型的特征； 本模型具 有良好的可解释性。 权利要求书1页 说明书4页 附图2页 CN 114358289 A 2022.04.15 CN 114358289 A 1.一种可解释的机器学习方法——深度证据推理规则， 其特征在于如下的深度证据推 理规则步骤： (1)将定量数据和定性知识转 化为置信度分布输入到DER R模型中； (2)通过证据推理(ER)规则将输入特 征进行特征融合； (3)在前向传播过程中， 利用若干个ERRB建立DERR模型的层结构， ERRB有一定的大小， 相邻的ERRB 有一定的间隔； 对于输入 特征， 利用每个ERRB从局部输入 特征中提取重要 特征， 提取的重要特 征作为输出 特征； (4)通过权 重的反向传播方式， 将下层的权 重反向传播 来进一步得到上层的权 重； (5)通过基于协方差矩阵的自适应演化策略(covariance  matrix adaptation   evolutionary  strategies， CMA ‑ES)优化算法， 对DERR模型中的权重参数进行优化， 然后得 到DERR模型的输出 结果。 2.根据权利要求1所述的一种可解释的机器学习方法——深度证据推理规则， 其特征 在于通过证据推理(ER)规则进行特征融合， 利用ER规则的置信度框架， 可以准确地描述不 确定性信息 。 3.根据权利要求1所述的一种可解释的机器学习方法——深度证据推理规则， 其特征 在于使用ERRB建立DERR模型的层结构， 在前向传播过程中将更重要的特征传播到下一层， 提高了模型的可解释性。 4.根据权利要求1所述的一种可解释的机器学习方法——深度证据推理规则， 其特征 在将ERRB内的下层重要权 重反向传播到上层， 可以大 大提高模型的可解释性。 5.根据权利要求1所述的一种可解释的机器学习方法——深度证据推理规则， 其特征 在于利用C MA‑ES优化算法对DER R模型中的权 重参数进行优化， 可以提高模型的准确率。权　利　要　求　书 1/1 页 2 CN 114358289 A 2一种可解 释的机器学习方法——深度证据 推理规则 技术领域： [0001]本发明涉及 一种可解释的机器学习方法——深度证据推 理规则， 属于机器学习方 法领域。 背景技术： [0002]随着人工智能技术的发展， 越来越多的重要决策将交给智能机器学习算法。 虽然 机器学习方法具有很强的非线性处理能力， 并且在很多情况下都取得了惊人 的表现， 但是 涌现性和自主性的特点却让人难以理解和解释。 大多数机器学习 方法都是“黑匣子”模型， 这意味着在复杂的神经网络结构中， 给定的神经元学习了什么和它如何与其他神经元 交互 并不清楚。 模型 的可解释性和透明度与人类的知情利益和主体地位有关， 人们对模型安全 性的信任程度取决于模型 的可理解性。 如果具体决策 的逻辑无法清晰解释， 机器学习模型 的应用范围将受到极大限制。 [0003]目前， 对模型可解释性的研究主要包括两个方面。 第一个方面是建模后用可解释 的方法解释模型。 深度学习模型的黑盒结构， 很难用人类的思维和经验来理解和解释。 但是 深度学习模型神经元的分层组合形式可以带来一个视角， 即使用材料组合来理解模型的工 作原理。 这种从低级概念到高级概念的生成过程将加深我们对模型数据处理的理解。 马修D 等采用反卷积的相关思想实现特征可视化方法， 将 CNN的隐藏层转化为可理解的图像。 在深 度学习模型中， 只有输入层才有一定的意义。 所以更直观的理解深度学习模型 的方法是通 过研究输入层的变化对 结果的影响来确定输入变量 或样本的重要性。 Pang  Wei Koh等提出 通过样本敏感性分析来理解深度学习模型， 通过样本的影响函数来理解深度学习模型的预 测效果。 第二个方面是建立可解释的模 型。 基于规则的方法主要使用规则来表达知识， 例如 经典决策树模型和深度森林模型， 其中任何决策都可以通过相应的逻辑规则来表达。 基于 案例的方法主要使用一些具有代表性的样本来解释聚类分类结果。 Kim  B等提出了贝叶斯 案例模型(BCM)将样 本分为三组， 找出每组中的代表 性样本和重要子空间。 基于稀疏性的方 法使用信息稀疏性来简化模 型的表示。 Velez  F等人提供了一种修剪机制， 其目的是在 减小 网络规模的同时增强网络的可解释性。 发明内容： [0004]本发明的目的是提供一种新的机器学习模型——深度证据推理规则(DE RR)， 它能 够继承深度学习模型的多层网络结构， D ERR模型摒弃了导致深度学习模型黑盒特征的神经 元组件， 模型内部以证据推理规则块(ERRB)为最小组成单元， 具有高度的可解释性。 一种新 的机器学习模型——深度证据推理规则分为以下三个模块： 模块一为将定量数据和定性知 识转化为置信度分布输入到D ERR模型； 模块二为将 输入特征通过证据推理(ER)规则进 行特 征融合； 模块三为基于协方差矩阵的自适应演化策略(covariance  matrix adaptation   evolutionary strategies， C MA‑ES)优化算法， 对DER R模型的参数进行优化。 [0005]本发明的技 术方案：说　明　书 1/4 页 3 CN 114358289 A 3