(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111187669.2 (22)申请日 2021.10.12 (71)申请人 东禾软件 （江苏） 有限责任公司 地址 213000 江苏省常州市武进区西太湖 科技产业园禾香路123号7号楼D区 3137、 3139室 申请人 江苏省中以产业 技术研究院 (72)发明人 朱晨阳　谢云欣　蔡玉洁　胡灿　 薛普俊　王立佳　于兴磊　 (74)专利代理 机构 常州唯思百得知识产权代理 事务所(普通 合伙) 32325 代理人 孙丽 (51)Int.Cl. G06F 8/60(2018.01) G06F 8/36(2018.01)G06N 20/00(2019.01) (54)发明名称 基于BPMN的边缘设备目标检测流程自动化 系统及方法 (57)摘要 本发明涉及了一种基于BPMN的边缘设备目 标检测流程自动化系统及方法， 该系统包括基于 BPMN流程规范的流程前端模块、 动态表单前端模 块、 训练数据集目标标注前端模块、 基于camu nda 流程引擎的流程后端模块、 机器学习工作流任务 调度模块、 目标检测模型训练触发器匹配模块、 Jenkins模型部署触发器匹配模块和存储模块。 本发明基于BPMN2.0规范自动化在服务器端训练 目标检测轻量模 型并部署至移动边缘端的流程， 简化目标检测部署中目标标注、 模型选择与训 练、 超参数调整等步骤， 并可重用已设计流程并 用于其他目标检测任务， 提高了开发边缘设备目 标检测功能的效率。 权利要求书2页 说明书6页 附图2页 CN 113900669 A 2022.01.07 CN 113900669 A 1.一种基于BPMN的边缘设备目标检测流程自动化系统， 其特征在于： 该系统包括前端 模块、 机器学习工作流任务调度模块、 模型部署模块、 存储模块和基于camunda流程引擎的 后端模块； 所述前端模块包括动态表单前端模块、 训练数据集目标标注前端模块和BPMN流 程前端模块； 所述BPMN流程前端模块用于供用户生成边缘设备目标检测流程自动化流程， 并将流程 数据以bpmn的格式发送到基于camunda流程引擎的后端模块， 基于camunda流程引擎的后端 模块解析生成的bpmn文件， 并根据设定的工作流 程调用机器学习任务； 所述基于camunda流程引擎的后端模块解析流程前端模块中的工作流对象， 在流程部 署后执行流程； 其中， 后台执行 的服务任务与机器学习工作流任务调度模块通过订阅方式 交互； 所述训练数据集目标标注前端模块， 用于让用户上传图片， 并在图片中标注需要检测 的目标， 保存图片以及标注数据至存 储模块， 并将文件路径提供 给动态表单模块； 所述动态表单前端模块用于供用户自定义动态表单， 并将表单数据以yml格式保存于 存储模块； 所述机器学习工作流任务调度模块订 阅服务任务主题， 当后台流程执行到该任务主题 时执行机器学习工作流的任务； 所述存储模块采用Mi nIO对象存 储进行存 储。 2.根据权利要求1所述的基于BPMN的边缘设备目标检测流程自动化系统， 其特征在于： 所述流程前端模块中的工作流对象主要包括开始事件， 结束事件， 服务任务， 用户任务， 脚 本任务， 互斥网关， 并行网关， 数据存 储这八个对象。 3.根据权利要求1所述的基于BPMN的边缘设备目标检测流程自动化系统， 其特征在于： 所述存储模块包括数据存储模块， 模型存储模块以及配置文件存储模块， 其中， 所述数据存 储模块主要保存训练数据集以及验证数据集， 保存格式为主要图片格式以及xml 目标标注 数据； 所述模型存储模块保存可部署于边缘终端设备的模型， 保存格式为pth文件； 所述配 置文件存储模块保存动态 表单内容。 4.根据权利要求1所述的基于BPMN的边缘设备目标检测流程自动化系统， 其特征在于： 所述动态表单模块主要包含目标检测模型架构表单模块以及数据表单模块； 其中， 所述 目 标检测模型架构表单模块能自定义模型架构； 所述数据表单模块主要包含训练数据集表单 以及验证数据集表单， 其中训练数据集表单可编辑的内容主要包含类别数量、 训练集图片 路径、 训练集标注数据路径、 输入大小和图像预 处理方法， 所述验证数据集表单主要包含类 别数量、 验证集图片路径、 验证集标注数据路径和输入大小。 5.根据权利要求4所述的基于BPMN的边缘设备目标检测流程自动化系统， 其特征在于： 所述目标检测模型架构表单模块主要包括模型的骨干网络架构、 特征金字塔网络架构以及 检测头网络架构， 其中， 所述骨干网络架构的可编辑内容包括骨干网络的选择， 输出层， 激 活函数， 骨干网络架构的选择包 含EfficientNet， Shuf fleNet,RepVG G以及CSPNet。 6.根据权利要求4所述的基于BPMN的边缘设备目标检测流程自动化系统， 其特征在于： 所述特征金字塔网络架构的可编辑内容主要包括输入层数， 输出层数， 检测头网络架构的 可编辑内容包括识别类别数量、 输入层数、 输出层数、 卷积层数、 激活函数、 步进 数和损失函 数； 其中， 损失函数主 要包括GFL， QFL和DFL。权　利　要　求　书 1/2 页 2 CN 113900669 A 27.根据权利要求4所述的基于BPMN的边缘设备目标检测流程自动化系统， 其特征在于： 所述图像预处理方法主要包含延伸、 旋转、 平移、 反转、 亮度、 对比度、 饱和度和归一化八种 方法。 8.根据权利要求1所述的基于BPMN的边缘设备目标检测流程自动化系统， 其特征在于： 所述机器学习工作流任务调度模块包含模型架构选择模块、 交叉验证模块、 模型训练模块 和测试验证模块； 其中， 所述模型架构选择模块读取存储模块的配置文件， 并根据目标检测模型架构表单内容 作为模型配置以及模板代码生成机器学习代码， 构建目标检测模型； 所述交叉验证模块将训练数据集表单内容作为训练数据源进行模型的交叉验证选取 最优模型架构及超参数， 训练模块将训练数据集表单内容作为训练数据源进行模型训练； 所述测试验证模块采用验证数据集表单作为验证方法验证模型准确性。 9.一种于BPMN的边 缘设备目标检测流 程自动化的方法， 其特 征在于， 包括以下步骤： 步骤1： 用户设计边缘设备目标检测流程， 包括服务任务设计、 用户任务设计、 网关设 计、 并通过动态 表单前端模块配置目标检测模型架构以及数据源； 步骤2： 用户通过流程前端模块生成bpmn流程， 并发送到基于camuda流程引擎的后端模 块， 后台解析流 程前端模块的工作流对象， 生成工作流。 10.根据权利要求7所述的一种基于BPMN的边缘设备目标检测流程自动化的方法， 其特 征在于， 所述工作流包 含以下任务： 机器学习工作流的任务订阅工作流中的主题， 当后台工作流执行到对应主题时， 触发 相应的机器学习工作流任务； 第一个成功订阅的实例将锁住该服务任务使得其他 实例不能 再执行此任务直至任务结束； 实例任务结束后解锁后台服务任务； 机器学习工作流可以根 据交叉验证结果自动选择最优 模型架构与参数， 并训练； 后台工作流执行到用户服务 时， 等待用户执行； 用户任务包括数据 上传至存储模块， 采 用训练数据集 目标标注前端模块标注数据； 标注完成后用户选择完成任务； 后台工作流则 执行下一步操作； 后台工作流执行到脚本服务时执行脚本； 脚本服务出发模型部署模块， 将模型部署至 边缘设备， 并在边 缘设备端通过脚本开启目标检测服 务。权　利　要　求　书 2/2 页 3 CN 113900669 A 3