新一代信息技术与煤炭开采技术深度融合,为智能矿山技术变革、发展提供关键技术支撑,将推动煤炭工业创新、绿色、安全、高效发展[1-2]。数字孪生作为人类解构、描述、认识物理世界的新型技术,是新一代信息技术领域中一个非常活跃的研究方向。数字孪生的理念最早由密歇根大学 MICHAEL Grieves 教授于 2002 年提出[3],目前被使用的最多的定义是NASA 于 2010 年提出:“数字孪生是充分利用物理模型、传感器更新、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,在虚拟空间中完成映射,从而反映相对应的实体装备的全生命周期过程[4]。”2017年佐治亚理工大学首次提出数字孪生城市,2018年中国信通院发布了《数字孪生城市研究报告》[5]。2019年ISO、IEC、IEEE三大标准化组织开始启动数字孪生相关标准化工作,提出数字孪生是综合运用感知、计算、建模等信息技术,通过软件定义,对物理空间进行描述、诊断、预测、决策,进而实现物理空间与Cyber空间的交互映射[6]。此外,文献[7]通过分析工业界和学术界对数字孪生不同定义背后的逻辑关联,指出数字孪生是通过接收来自物理对象的数据而实时演化的数字模型,强调该模型与物理对象在全生命周期保持一致性。除以上定义外,数字孪生还有诸如数字副本[8-9]、动态虚拟表示等多种描述[9-10]。
从技术迭代看,数字孪生技术理论来自于系统工程、系统建模、现代控制理论、模式识别理论、计算机仿真、计算机图形学及数据科学等。根据平行智能系统理论,数字孪生与工业互联网密不可分,工业互联网是数字孪生的延伸,数字孪生为工业互联网生态提供持续的改进优化。尤其是在关键装备的优化设计与预测性维护方面,数字孪生为工业物联网应用落地提供了全新的数据映射用例,而工业互联网以边缘层、云计算、智能终端和微服务技术架构,通过人机接口及工业组件为数字孪生提供应用服务。
从功能实现看,数字孪生是数字孪生体建模的技术、过程和方法,而数字孪生体是实现数字孪生的对象、模型和数据。其主要技术特征是:① 虚拟映射,在系统的全生命周期中建立一个与物理实体在几何、结构和性质相同的虚拟数字孪生体;② 虚实交互,建立信息空间和物理空间的关联,实现数据、信息交互;③ 虚实融合,通过数字孪生体直观地反映虚实融合和以虚控实的特征。④ 先知先觉,基于对不明机理计算和明确机理的推测,通过数字孪生体仿真、验证、解析,实现对物理实体未来状态的预测及对系统不稳定状态的预测。⑤ 孪生共智,同步构建相互依存的数字孪生体与物理实体,系统内部各构成要素之间孪生共享数据、算法,共享智慧。
从智能矿山看,基于数字化、网络化、智能化矿山转型需求,以泛在互联、全面感知和智能优化为特征的工业互联网将成为矿山信息技术领域全新工业生态、关键基础设施和新型应用模式。数字孪生将为智能化矿山搭建全数字化平台,通过矿山人、机、环的全息感知与全面互联,实现矿山全要素、全产业链和全价值链的全面连接,是实现煤矿智能化和无人化开采的核心技术,有望解决矿山智能化开采中物理世界和信息世界如何交互与共智的难题,将在智能开采、智能监控、人机交互等方面提供更加实时、智能、高效的服务。
目前,矿山数字孪生体系结构、应用生态已有研究[11]。葛世荣等[1,11-12]提出数字孪生智采工作面技术架构、系统构建和数字孪生煤矿智能化实施路线,涉及物理工作面、虚拟工作面、孪生数据、信息交互、模型驱动、边缘计算、沉浸式体验、云端服务、信息物理系统、智能终端等10项关键技术,实现煤矿智采工作面感知互联、学习预测和协同控制,很好地拓展了智采工作面数字孪生的设计思路,但缺乏对数字孪生模型构建方法的讨论。陶飞等[13]提出了数字孪生的三维结构和数字孪生五维模型,以适应数字孪生车间研究过程中的新需求,在此基础上,庄存波等[14]提出数字孪生模型的构建准则和理论体系,并以数字孪生车间为例做了研究分析。上述研究模型在数字孪生车间得以应用,但未对模型泛化性的解释和通用设计方案进行讨论,在智能矿山应用场景的适应性有待进一步研究。文献[15-16]对数字孪生概念、层次结构进行归纳总结。在建模仿真方面,RASHEED A从模型构建角度解析了数字孪生技术的价值、赋能和挑战因素[17]。王晓峰等[18]提出采用融合模型状态评估、全生命周期管理和数字孪生系统对工业智能化进行分析;董雷霆等[19]使用降阶模型实现了飞机结构数字孪生的实时映射;周有城等[20]基于数字孪生描述智能产品模型,并据此实现产品物理实体在信息域的功能映射;柳林燕[21]以生产车间系统模型为研究对象,阐述了基于OPC统一架构的数字孪生车间交互映射过程。上述模型描述对解释在数字孪生模型构建中引入数据驱动和交互映射提供思路。此外,在多智能体建模领域,许多常规方法是通过观测学习其他智能体的模型进行预测,如文献[22]提出面向智能试验的建模方法,基于大数据与信息物理系统(CPS),实现数字孪生技术与多智能体技术融合。文献[23]提出基于自身策略预测目标动作的SOM 算法,以推断其它智能体的目标信息并据此进行决策,但带来参数量的显著增加会额外占用开销去训练预测网络。而在矿井实际开采工作面物理场景建模方面,由于存在巷道壁和顶底板非物体表面,在最新数字孪生及虚拟仿真建模研究文献中[24-25],对于这些物体存在评价度量模糊。因此现有利用知识驱动的微分代数方法建立矿山数字孪生模型,仍然存在动态建模不完备的缺陷问题。王飞跃等[26-27] 提出“平行系统”的概念,旨在实现物理系统与虚拟系统虚实互动、平行执行。杨林瑶等[28]提出平行协同演化算法,为研究复杂系统的数字孪生、智能控制提供了新的思路。与数字孪生相比,平行系统强调虚拟系统对物理系统的引导,通过物理场景建模实现系统的精确仿真、精确预测与控制。
笔者基于平行智能理论,结合煤矿人工智能优化方法和平行动态规划计算模式,研究矿山数字孪生的理论方法与关键技术体系,提出数字孪生与平行智能深度耦合的矿山数字孪生模型构建方法、智能算法和演化路径,构建面向矿山应用场景的数字孪生体系架构、动态模型、技术生态和数据融合驱动的数字孪生系统,揭示矿山复杂场景下数字孪生模型耦合与演化机理,旨在为数字孪生技术在智能矿山无人化开采领域奠定新的理论与方法基础。
数字孪生已经成为工业互联网关键支撑,其利用边缘计算、5G、大数据、人工智能等数字技术对分布式资源物理实体的特征、行为、过程和性能等进行动态建模,为工业物联网在矿山领域应用落地提供了全息数据和技术支撑。
矿山数字孪生体系架构如图1所示,该架构包括基础支撑层、数据交互层、模型构建层和应用生态层4个层次,各层次之间自下而上相互耦合,并基于工业互联网平台,利用物联网、大数据、5G、边缘计算、云计算和人工智能技术,以及VR/AR/MR技术,通过API实现虚拟交互。
图1 矿山数字孪生体系架构
Fig.1 Architecture of mine digital twins
基础支撑层:为矿山数字孪生的建立提供大数据基础支撑。利用物联网和边缘计算技术感知获取智采设备数据,包括激光雷达点云模型数据、“三机”等设备行为特征数据和生产数据;智采环境数据,如瓦斯、粉尘、水、温度、压力、煤层GIS等数据;人机接口数据,如人机交互、交互干预数据,以及描述作业流程及逻辑关系的数据。
数据交互层:为矿山数字孪生的实时动态映射提供数据交互。基于工业互联网和5G技术[32],将矿井智采工作面现场工业数据通过PLC、DCS、SCADA和智能传感器等进行采集,再通过工业以太网、4G/5G网络、总线接口和智能网关等传输到云平台,通过深度学习和多源数据融合、解析,实现物理实体与数字孪生体的映射反馈和交互协同。
模型构建层:为矿山数字孪生建立物理实体虚拟映射的3D模型。利用云计算、大数据、人工智能和VR/AR技术,通过信息空间的数字孪生体虚拟展现矿山物理实体的外观、几何、运动机构、几何关联和耦合关系等属性,建立矿山物理实体多尺度多维度的数字虚拟模型。
应用生态层:为矿山数字孪生提供应用生态。基于大数据、人工智能术,利用数据建模得到的模型和数据分析结果实现矿山数字孪生预期功能和应用生态,通过数字孪生API为智能矿山提供精确描述、虚拟交互与控制、诊断、预测和决策等应用功能。
在上述体系架构与数据功能实现中,数字孪生通过数据采集、建模、解析、交互、反馈、优化、和预测来满足矿山业务应用需求,形成物理世界实体对象与数字空间业务应用的虚实映射,为矿山各类业务应用生态提供支撑。
基于平行智能理论的矿山数字孪生,其基本思想是利用人工智能等理论、方法、技术形式化地描述数字孪生生态系统核心要素的静态特征与动态行为。通过机器视觉、边缘计算、通信网络、映射算法、交互机制等构建智能数字孪生系统,利用计算仿真对数字孪生动态场景迭代优化,并以虚拟数字孪生体与实际物理实体的虚实同步与闭环反馈实现映射交互与智能协同,如图2所示。
图2 数字孪生平行智能理论
Fig.2 Parallel intelligence theory of digital twins
矿山数字孪生智能工作面具有可视性、可解释性、可计算性、可交互性和可预测性的技术特性,主要包含5项关键技术。
(1)数字孪生体。数字孪生体是实现矿山信息物理系统(CPS)与物理实体交互映射的关键技术,通过几何、物理、行为、规则的约束对数字孪生体进行全息投影和数字化描述,并基于VR、AR或MR虚拟技术映射物理场景的实时数据、历史数据、运行状态及动态性能,体现数字孪生工作面的可视性[11,24]。
(2)映射算法。数字孪生系统运行依靠各类精准高效的映射算法,根据静态、动态的驱动模型,建立采煤过程复杂对象、属性、关系的数学描述算法,通过数据和算力驱动实现物理实体与数字孪生体的映射交互,从而建立起模型、数据、算力驱动的控制模式,体现数字孪生工作面的可解释性。
(3)边缘计算。智采工作面数字孪生监控需要采用边缘计算技术对视频图像等非结构化数据处理,在智采工作面的煤机装备智能终端测,利用边缘网关在本地进行计算分析和处理,以减少上行数据流量对网络通信的压力,提高信息交互反馈和远程监控的实时性,体现数字孪生工作面的可计算性。
(4)交互机制。数据交互和信息互联是智采工作面与虚拟工作面、智能管控中心之间的信息通道。通过智采工作面实时感知、动态控制、自主学习构建交互机制的CPS,利用边缘计算、5G通信和智能控制技术,实现采煤工作面虚实融合与共智协同,体现数字孪生工作面的可交互性。
(5)数据线程。数据线程是数字孪生的驱动引擎,涉及物理实体、数字孪生体、服务及知识数据等同步映射。包括环境参数、状态参数、设备性能及耦合扰动等感知数据,对象、过程、行为等仿真数据,以及物理过程、驱动因素、运行机制等模型数据,服务及知识数据包括模型、算法、开采工艺等功能型数据,体现数字孪生工作面的可预测性。
受自然语言处理Set Transformer[17]思想启发,复杂系统解耦后的潜在变量在通过网络生成原图像的过程应服从人类对于世界因果关系的认知过程和动态演变,这为构建矿山数字孪生的解耦表征学习模型提供了思路。因此,矿山数字孪生构建需要将真实世界存在的物理约束加入模型设计中,并考虑模型局部与整体间的逻辑映射关系。平行智能理论[26-27]是复杂自适应系统理论和复杂性科学在复杂环境下的逻辑延展和创新,是CPS与人工智能相结合的新型研究范式。基于平行智能理论的矿山数字孪生研究主要解决如下3个关键问题:
2.1.1 矿山数字孪生复杂生态系统的建模、仿真与精确表征
矿山模型构建是实现智能矿山数字孪生的理论基础和方法论,因此构建高逼真度、高可信度的数字孪生模型是开展矿山数字孪生应用的核心和基础。目前,用于数字孪生模型构建的关键技术主要有:平行理论和信息物理融合技术、知识和数据驱动的融合建模技术、高性能计算技术、虚拟化和容器技术、深度学习和人工智能技术和3D 建模技术等[26-31]。笔者基于平行智能理论和信息物理融合思想,通过建立数字孪生矿山场景、设备和作业流程等虚拟仿真模型,实现物理空间实际场景与所对应的虚拟空间仿真场景虚实交互、数据同步,真正实现面向智能矿山模型构建与设计优化。面向智能矿山和数据驱动的数字孪生模型构建方法,主要包括:
(1)矿山数字孪生工艺模型构建。研究基于矿山多物理量与多尺度几何量融合的物理实体数字孪生模型构建理论与方法、矿山数据高精度实时获取技术、矿山生产过程全息感知建模与动态仿真技术。
(2)基于物理属性和动力学特性的仿真。研究实现数字孪生模型在控制数据驱动下的对象仿真、过程仿真、行为仿真、性能仿真,提高控制系统模型的自主决策性和准确性。
(3)数字孪生模型的精确表征及优化方法。研究基于矿山大数据挖掘的知识建模、精确描述与图像特征精确提取和优化方法,以及基于神经网络、深度学习等自主优化和决策方法。
2.1.2 矿山多源异构数据解析、数据驱动与交互映射机理
矿山智能数字孪生体是建立在虚拟空间的、反映物理实体真实性的矿山数字模型,随着人工智能技术的迅速发展,数字孪生采集数据的自动、精准智能感知对系统的智能辨识与控制预测能力至关重要,备受研究者的广泛关注[24-25,33-34]。利用先进多源传感器技术,实时采集设备状态参数及三维地质、煤岩识别、矿压监测、煤流监控、目标定位等开采过程数据,通过多源异构数据解析、系统功能完整性校验和控制算法迭代优化,实现对智采装备数字孪生体的决策控制、性能评估和健康预测,以及对物理实体实时状态和历史状态实时反馈与自主学习。面向矿山数字孪生智能体数据解析、数据驱动与交互映射,主要包括:
(1)矿山装备、设备部件及系统集成描述与精确表征。通过矿山智采工作面机械、电气、液压等智采装备子系统与零部件耦合仿真、描述方法,实现对数字孪生矿山智能体的精确表征。
(2)矿山虚实交互的动态数据实时更新与可视化呈现。通过矿山智采装备物理模型、状态参数、运行数据的实时更新、数据驱动与交互迭代,实现对智采装备数字孪生体的过程监控、性能评估和健康预测。
(3)矿山数字孪生与平行智能系统的一致性映射检测。通过平行智能、压缩感知与深度学习,引入生成对抗学习实现虚实互动的数字孪生体交互映射生成与优化,实现可靠的准确数据解析与一致性映射检测。
2.1.3 矿山数字孪生完整性校验、模式识别和智能控制算法
人机交互协同是矿山智能开采中一个典型的数字孪生应用场景,通过AI模式识别、手势感知或语义理解等实现人-机-环-控的智能协调与有机融合,实现对智采工作面远程控制、实时监测与精确定位[11,30]。利用强先验物理语义信息与逻辑关系构建矿山数字孪生模型,通过数字孪生数据解耦表征,提高深度学习的可解释性和数字孪生完整性校验。根据智采工作面多输入数据间的物理关联性、部件-个体间的逻辑拓扑关系,个体-整体间的空间物理关系等,完成数据内部语义空间的挖掘,实现矿山复杂场景的模式识别和智能控制。面向数字孪生矿山的人机交互,主要包括:
(1)基于数字孪生的三维图像精确重构为映射、智能孪生数字体的衍生与构建、全息投影技术和完整性校验。
(2)基于5G边缘计算的多尺度多维度数据精确表征、图像清晰化与精准模式识别技术,以及超低时延、边缘计算和高速通信技术。
(3)基于机器视觉和知识引擎的多源数据融合、数字孪生数据解耦表征学习、模式识别和智能控制算法迭代优化。
上述3个问题分别对应着平行智能基础理论中数据驱动的描述智能、模型驱动的预测智能和交互反馈的引导智能。矿山数字孪生利用平行智能理论,利用矿山实际系统与人工智能系统的数字孪生技术表征,加载预测解析与平行引导功能,从而更好地服务于未来智能矿山复杂系统的建模、验证与决策需求。
根据物理空间智能矿山场景与虚拟空间智能矿山场景的信息物理映射关系,建立面向智能矿山场景的数字孪生驱动的理论架构,逻辑框图如图3所示。数字孪生逻辑框图包括物理空间、虚拟空间和数字孪生模型。其中,物理空间元素包括智能矿山场景物理对象、智能矿山作业场景与工况状况、智能矿山生产过程和智能矿山采矿装置等。虚拟空间元素包括只能矿山三维物理模型、智能矿山场景仿真模型以及智能矿山虚拟场景,数字孪生元素包括对象孪生、过程孪生和性能孪生。数字孪生模型通过知识数据驱动动态优化仿真模型,实现智能矿山场景在物理空间与虚拟空间的信息交互,数字孪生模型采用多源数据融合和深度学习算法,并通过模型训练、迭代优化和智能决策方法,实现对智能矿山场景采矿装置进行数据分析与健康预测。
图3 智能矿山数字孪生逻辑框
Fig.3 Digital twin logic block diagram of intelligent mine
矿山数字孪生模型构建方法由物理模型、机理模型、仿真模型和数据模型相互耦合和演化而成[29-30]。基于物理空间矿山场景与虚拟空间矿井场景的信息物理映射关系,构建矿山数字孪生模型,包括数字孪生模型、物理空间物理实体、虚拟空间数字孪生体及数字孪生集成。矿山数字孪生模型采用物理实体结构模型、几何模型和材料模型等多物理、多尺度、多层次集成,将物理空间中的物理实体在虚拟空间进行全要素重构,采用基于卷积神经网络深度学习算法对多源传感器感知数据、状态数据以及历史数据进行数据挖掘,通过训练和优化实现数字孪生模型的自学习、自优化,基于模型驱动和数据驱动,实现虚拟空间的矿山场景与物理空间的矿山场景的对象孪生、过程孪生和性能孪生。其技术路径流程如图4所示。
图4 模型构建流程
Fig.4 Flow chart of model construction
具体实现步骤如下。
步骤1:物理建模。利用机器视觉三维建模工具建立物理实体三维模型,采用有限元分析法求解三维模型的结构参数、几何参数、材料参数、状态参数及边界条件,得出其随状态变量变化的收敛条件,据此进一步优化目标函数,更新参数集并进行迭代计算,求得目标函数的局部最优解,从而获取矿井物理模型的点云图最优方案。
步骤2:模型优化。使用3dsMax三维渲染工具对物理实体三维模型的结构透视图或点云图进行渲染、添加材质,并对其边缘部分进行优化。主要通过定义物理模型的表面颜色、透明度、粗糙度和纹理,添加物理模型的材料参数、结构数据和几何数据及优化边界条件,以及导入物理模型对模型边缘进行渲染优化。
步骤3:仿真构建。使用3dsMax内置的物理引擎构建可视化仿真模型,利用物理引擎的计算结果驱动图形渲染引擎进行渲染和绘制,并对矿井场景物理模型旋转、平移和姿态进行解析,求解出其倾角、夹角、位置与运动状态变量之间的关系,从而构建矿井场景可视化仿真模型,实现数字孪生体可视化建模、虚拟空间生产过程与可视化展示。
步骤4:多源融合。将物理实体的多源传感器数据作为输入,经多源数据融合后驱动物理实体与数字孪生体进行信息交互与数据同步,并将传感器实时数据、历史数据及物理模型存储在云数据库中;
步骤5:交互协同。通过OPC UA、TCP/UDP、Web Service通信接口实现数据实时采集、远程通信和多源动态数据的实时更新,通过人机接口和数据库接口,实现数字孪生体与物理实体的实时交互及同步反馈。
面向智能矿山的数字孪生演化机理理论模型如图5所示,包括数字孪生模型、物理空间智能矿山场景和虚拟空间智能矿山场景及四维时空数字孪生。数字孪生模型由三维物理模型、可视化仿真模型、可演化机理模型和可计算数据模型构成,通过模型相互耦合与演化而成。可视化仿真模型通过构建与物理空间在视觉效果上几何结构一致的虚拟场景,为数字孪生提供人机交互平台,体现模型的可交互性。机理模型通过对物理空间组成要素、组织结构和运行过程建模,通过对历史数据、更新数据和仿真数据等多源异构数据解析与标准化,实现对物理模型的优化,达到与物理模型运动状态一致的虚拟场景,体现模型的可演化性。数据模型通过构建数据采集通信、数据分析、优化与决策,实现物理空间或虚拟空间的1∶1镜像,体现模型的可计算性。
图5 矿山数字孪生演化机理的理论模型
Fig.5 Theoretical model of mine digital twins evolution mechanism
3.1.1 仿真模型
仿真模型通过设备对象、系统结构和作业过程可视化,旨在构建一个与物理矿山在视觉效果上高度逼真的虚拟矿山。对象可视化和系统结构可视化构建了虚拟工作面的静态场景,过程可视化则描述了虚拟工作面的动态作业过程。
(1)设备对象可视化。基于图形学、机构学等实现矿井智采工作面生产对象几何外形和机械结构的映射,根据设备对象的耦合关系建立对象拓扑结构、定义部件间拓扑关系,以及设备几何属性、运动属性和功能属性描述,实现设备对象的可视化。
(2)系统结构可视化。基于矿井智采工作面可视化对象模型库,通过矿井设备对象在工作面坐标系下的运动状态和位姿信息,关联矿井工作面系统作业装备对象,描述智采装备耦合关系及作业流程,实现对矿井智采工作面生产系统的虚拟映射。
(3)作业过程可视化。基于机器视觉与三维仿真技术,构建虚拟矿井工作面数字孪生体,并基于历史数据和实时更新数据的融合驱动,实现对工作面智采全要素、全过程的可视化仿真和虚拟场景的动态重构、远程实时监控。
3.1.2 机理模型
机理模型通过对矿井物理工作面组成要素、组织结构和运行过程建模,通过对历史数据、更新数据和仿真数据等多源异构数据融合与分析,实现对矿井物理工作面的逻辑描述和解释,体现模型的可解释性。如图6所示,机理模型分为组成要素、组织结构、行为过程3个部分,前2部分描述了矿井工作面作业系统的静态结构,而后者则刻画了静态结构下各要素间的相互耦合关系与互动过程。
图6 矿山数字孪生的机理模型
Fig.6 Mechanism model of mine digital twins
(1)组成要素建模。将工作面开采、主运、辅运和控制设备、工作面煤层、通讯接口等多智能体分别映射为处理器、执行器、缓存器、控制器、流动实体和虚拟节点六个基本逻辑元素,并通过图形化、形式化描述各要素的属性和作业过程[18]。
(2)组织结构建模。将逻辑元素与虚拟单元关联,实现对智采工作面生产工艺与系统组织单元的映射,并通过虚拟单元封装内部行为和外部接口,拟合组织单元和虚拟节点,形成智采工作面网络模型,实现虚拟单元间的关联和组织关系的描述[19]。
(3)行为过程建模。基于智采工作面物理实体、虚拟单元和协同控制模型,动态关联生产工艺、运行机制、作业控制,构建生产逻辑模型,实现虚拟工作面有序逻辑作业流程,展示工作面作业系统的行为过程。
3.1.3 数据模型
数据模型通过多源数据采集、数据分析评价、数据辅助决策体系,构建实现物理与虚拟场景的1∶1镜像,体现数据模型的可计算性。数据模型通过监控变量、评价指标和系统决策3个层次进行表征。
(1)监控变量。将矿井地质扰动模型、智采工作面多源传感、设备PLC控制等实时采集信息,以及设备运行参数、状态和告警信息等不同格式数据,定义为统一数据格式的监控变量V:其中,各参数分别表示扰动模型、监控对象、监控变量、监控值、边界条件、告警信息等。
V
(1)
(2)评价指标。为了表征矿井智采工作面作业设备状态、生产过程和系统性能,对监控变量进行统计分析形成评价指标I为监控变量V的函数,可表示为
I=f(V1,V2,…,Vn)
(2)
(3)系统决策。定义目标优化T,评价指标f(In),利用评价指标f(In)对系统决策,对系统参数进行调节,最终通过监控变量进行表征。目标优化T为评价指标f(In)的函数,可表示为
T=f(I1,I2,…,In)
(3)
将数字孪生体构建看作是多智能体的多目标优化问题[33-34],因此多目标优化问题通过 Pareto 最优解的多目标优化算法可以求解,其数学模型表示为
(4)
式中,f1(x),f2(x),…,fn(x)为数字孪生体的n个目标函数;gi(X)为目标优化的约束函数,目标是使数字孪生体优化达到最优;X∈Rm为其变量的约束集合,即为数字孪生体变量的取值范围。
为进一步解释智能矿山数字孪生演化机理,本文构建数字孪生演化机理的数据体系模型。如图7所示,数据体系模型自下而上分别为感知层、网络层、数据层和表示层。其中,感知层作为数字孪生数据模型的最底层,用于感知智能矿山场景工况环境、设备运行参数和设备工作状态,为数字孪生的对象孪生提供信息流;网络层在数据模型的感知层之上,用于智能矿山场景设备的统一组网、协议转换、边缘计算和网络传输,为感知层和数据层提供通信接口,为数字孪生的过程孪生提供控制流;数据层在数据模型的网络层之上,用于智能矿山场景多源数据的汇聚融合、迭代计算、数据孪生、分析挖掘和存储管理,为数字孪生的性能孪生提供数据流;表示层在数据模型的最上层,为用户提供数字孪生与信息交互服务,以及智能矿山应用场景设备的智能识别、精确定位、实时监控和智能运维,为数字孪生提供决策流。
图7 智能矿山数字孪生演化机理的数据体系模型
Fig.7 Data model of digital twins evolution mechanism for intelligent mine
上述体系结构为构建物理空间智能矿山在虚拟空间的数字孪生模型,实现虚拟空间场景与物理空间场景的映射重构、数据镜像、同步反馈、信息交互,以及对智能矿山应用场景及作业设备的智能感知、实时监控、精确定位、预测维护和健康管理提供基本架构设计。
面向智能矿山场景的数字孪生演化,其演化过程是:首先基于全息感知和边缘计算的仿真模型验证与过程孪生模型仿真;然后基于数据驱动对数字孪生模型对象、行为、过程进行交互映射与实时反馈;再利用神经网络或支持向量机进行数据训练和模型迭代优化;最后,基于数据驱动方式实现物理空间到虚拟空间的数字孪生与映射重构,即完成由智能矿井场景虚拟化到场景模型数字化、再到数字场景镜像化和镜像场景数字孪生化的全周期演化闭环过程。数字孪生演化的流程如图8所示。
图8 数字孪生演化过程
Fig.8 Evolution process of digital twins
(1)物理模型构建。建立物理实体的三维物理模型,定义物理实体的几何属性、运动属性和功能属性,以及几何外形、机械结构和仿真迭代优化条件。
(2)机理模型表示。将物理模型映射到机理模型,通过图形化、形式化描述机理模型的组成要素、组织结构和运行机制,并通过机理模型将各要素属性和行为反馈到物理模型,实现对物理模型的优化。
(3)仿真模型建立。基于开源图形场景OSG构建可视化的仿真模型,利用计算仿真对数字孪生机理模型进行仿真计算与优化,实现物理实体的孪生对象、孪生结构和孪生过程的可视化。
(4)仿真模型优化。基于建立的仿真模型和多源异构数据,采用Pareto多目标优化算法对仿真模型进行训练和优化,并将仿真结果反馈到物理模型。
(5)仿真模型验证。对物理模型与仿真模型进行一致性与可靠性验证,根据仿真模型的目标函数迭代优化条件,进一步构建数据模型。
(6)数据模型构建。构建可计算的数据模型,采用多源数据融合和深度学习算法,实现物理空间与虚拟空间信息流、控制流、数据流和决策流的数据融合及迭代优化,实现物理实体与虚拟孪生体的数据镜像和数据交换。
(7)数字孪生体衍生。镜像重构和交互映射,建立物理空间的物理实体在虚拟空间的数字孪生体,通过数据驱动与实时交互,实现物理空间智能矿山场景在虚拟空间的数字孪生。
面向智能矿山场景的数字孪生演化机理,其本质在于数字孪生体和物理实体服从相同的物理规律,并据此规律驱动下独立演化。具体来说,在给定的矿山数字空间边界条件下,基于物理空间智能矿山场景与虚拟空间智能矿山场景的信息物理映射关系,通过构建包括物理模型、仿真模型、机理模型和数据模型相互耦合的矿山数字孪生体,数字孪生体利用上述模型自主推演,获得输出变量的演化轨迹,解释各模型相互耦合及演化机理。并采用神经网络、支持向量机等构建工作面地质扰动预测、工况扰动预测、扰动叠加分析等数据模型,通过迁移学习和增量式训练实现数据模型的自学习、迭代优化,实现矿山数字孪生全生命周期的对象孪生、行为孪生、过程孪生和性能孪生,并通过实时态势感知、多源数据融合、增强虚拟现实以实现数据驱动、实时交互和闭环反馈。
上述数字孪生演化的数据流如图9所示。以物理实体的多源传感器数据、机理模型和仿真模型的监控数据作为输入,经多源数据融合后输出,据此驱动数字孪生体完成与物理实体的信息交换,并将传感器实时数据、历史数据及仿真模型的融合数据存储在云数据库中;然后使用OPC UA、TCP/UDP、Web Service通信接口实现数据实时更新和远程通信,并通过人机接口实现矿山数字孪生体与物理实体的实时交互、虚实映射与协同控制。
图9 数字孪生演化的数据流
Fig.9 Data flow of digital twins evolution
笔者以中煤王家岭煤矿作为矿山数字孪生应用场景,结合地质信息、围岩信息、时空数据、设备及关键部件设计参数等基础信息和环境传感、设备传感、生产状态等实时感知数据,开展了数字孪生模型演化实例研究。基于矿山生产场景各物理实体的状态演化机理和生产过程的运行模式,建立数字孪生虚拟模型与实时感知信息的之间的交互机制,利用动态数据驱动和模型驱动,模拟矿山生产场景数字孪生模型演化与协同控制,验证矿山生产场景的数字孪生建模效果。王家岭煤矿年生产能力为6.00 Mt/a,煤层厚度5.8~6.2 m,平均厚度为6.1 m,煤层倾角-7°~+2°,煤层硬度为中硬,开采煤层为2号煤层。井下布置2个综采放顶煤工作面,选择12309工作面作为矿井数字孪生综采放顶煤工作面的实验面,工作面长度为315 m,回采长度为1 318 m。
矿井数字孪生智能综放工作面主要设备见表1。
表1 12309综放工作面主要设备
Table 1 Main equipment of 12309 fully mechanized caving face
序号设备型号数量安装地点1端头支架ZT25600/23/40一组工作面机头2排头液压支架ZFP12000/24/3612架工作面端头3放顶煤液压支架ZFY12000/23/34165架工作面4回风巷超前支架ZFDC51200/23/401套回风巷5胶带巷超前支架ZYDC38400/23/401套胶带巷6前部刮板输送机SGZ1000/2∗10001部工作面前部7双滚筒采煤机MG620/1660-WD1部工作面8后部刮板输送机SGZ1000/2∗10001部放煤运输9破碎机PCM4001部胶带巷10转载机SZZ1200/7001部胶带巷
数字孪生体的三维建模采用Creo parametric软件,仿真引擎采用Unity3D开发工具,通过实时数据采集、数据融合、模型驱动和迭代计算,形成具有感知、分析、决策和执行能力的数字孪生体。如图10所示,数字孪生体采用集成的多物理、多尺度和动态概率仿真模型,基于机器视觉和深度学习算法,实现对矿井综放智采工作面物理实体的数字镜像和模型优化。该实施例具有以下技术特征:
图10 智采工作面数字孪生演化实例
Fig.10 Typical application scenarios of mine digital twins evolution
(1)可视性。数字孪生体融合了矿山物理量测结果和仿真计算结果,能够很好地解决工作面物理对象的可观测性问题。智采工作面三维数字模型,采用物理实体及其内部关键部件的三维动态模型,将各种量测信息或计算得到的工作面运行数据与设备的三维全景模型相结合,在虚拟场景下实现对生产场景数字孪生智能监控。
(2)可预测性。数字孪生具有感知分析、仿真模拟、迭代优化与决策控制功能,通过数字孪生体实现对矿山物理实体的智能感知、实时监控、精确定位和健康预测。在孪生数据和模型驱动下,通过物理智采工作面、虚拟智采工作面、数字孪生模型与孪生数据的迭代运行,实现矿山生产要素管理、生产过程监控、设备性能预测。
(3)可解释性。数字孪生基于机器视觉和神经网络,通过构建物理模型、仿真模型、机理模型和数据模型,利用深度学习算法描述数字孪生模型的演化机理,并融合当前传感器数据、状态数据和历史数据,训练优化数字孪生体的准确性和鲁棒性,使其具有自感知、自学习、自适应和自优化能力,实现对矿山生产场景的全要素、全流程、全数据表征。
(4)可交互性。数字孪生采用物理实体结构模型、几何模型和材料模型的多尺度、多层次集成和全要素重构,并基于OPC UA服务架构和边缘计算技术,通过Web Service接口和ODBC数据库通信接口,并通过数据驱动方式实现物理实体与数字孪生体之间的对象孪生、过程孪生和性能孪生,实现物理综放工作面与虚拟数字孪生工作面双向映射、实时交互与智能协同。
上述矿山数字孪生实现了虚拟场景智能矿山的远程可视化监控,解决了现有虚拟现实技术无法实现对矿山应用场景目标实时监控难题。
本文将数字孪生技术与平行智能理论相结合,提出并解析了矿山数字孪生的概念框架、关键技术、基础理论、模型构建与演化机理等研究方法体系,并探讨了矿山数字孪生内涵和应用方向,以期为今后矿山数字孪生技术研究提供理论借鉴。
尽管研究团队在矿山智采工作面研究领域取得了一定的研究进展,但由于矿井地质赋存复杂、环境场景存在差异、数据驱动与处理实时、移动目标姿态动态变化等,尤其是目前矿井地质探测技术、煤岩识别技术和多智能体建模技术仍存在技术瓶颈,与传统矿山地质建模和仿真相比,数字孪生深度融入矿山智能生产系统的数字化业务链,而非单纯作为仿真工具使用。因此,矿山数字孪生目前仍然是一个具有挑战性的核心难点问题,未来的研究工作可以从以下几个方面展开:
(1)四维时空矿山机器视觉建模及认知机理分析。通过研究人类视线的注视点,对其注意力变化动态建模,然后基于现有机器视觉及注意力机制实现机器注意力估计,将人类注意力模型和机器注意力模型对比耦合,利用四维仿真高精度全过程可视化再现,以及全景分割的评价指标评估和比较不同聚类方法的有效性,有助于进一步探究矿山感知场景及任务驱动下的认知机理,从而实现四维时空矿山人机交互与混合增强智能,推进矿山数字孪生在无人智采、自动驾驶和人机交互技术的发展与应用。
(2)矿山数字孪生时空演化轨迹的同步性。在客观世界中,物理实体时刻处于变化和发展的过程中,因此,矿山数字孪生模型需要根据物理实体的时空演化不断修正自身结构与参数,从而准确反映当前场景的物理规律。为了实现矿山数字孪生体和物理实体的同步,特别是在矿山生产场景的动态过程分析领域,通过构建矿山数字孪生数据驱动的时空演化轨迹与统计相关性模型,以弥补知识驱动的微分代数模型的动态建模不完备性缺陷,并通过与物理实体间的实时双向数据交互确保数字孪生与物理实体的状态同步。
(3)矿山复杂环境多模态数据融合与精确表征。在井下雾尘低清晰度、低光照等环境,获取数字孪生体的视频图像数据信息有限,传统的基于统计学的数据融合技术和基于图像数据驱动的深度学习方法鲁棒性较低,难以实现机器视觉识别与视线估计。利用红外图像、深度图像、激光雷达等其他传感器数据提供的更多信息,通过知识驱动和多模态数据融合,数据驱动与知识引导相结合,以自适应的学习方式对数据进行训练及预测,可以有效提高智能感知和视觉融合的精度,从而满足矿山数字孪生实际应用场景的精准性需求。
[1] 葛世荣,张帆,王世博,等.数字孪生智能采煤工作面技术架构研究[J].煤炭学报,2020,45(6):1925-1936.
GE Shirong,ZHANG Fan,WANG Shibo,et al.Digital twin for smart coal mining workface:Technological frame and construction[J].Journal of China Coal Society,2020,45(6):1925-1936.
[2] 王国法,王虹,任怀伟,等.智慧煤矿2025情景目标和发展路径[J].煤炭学报,2018,43(2):295-305.
WANG Guofa,WANG Hong,REN Huaiwei,et al.2025 scenarios and development path of intelligent coal mine [J].Journal of China Coal Society,2018,43 (2):295-305.
[3] GRIEVES M,VICKERS J.Digital twin:Mitigating unpredictable,undesirable emergent behavior in complex systems[J].Transdisciplinary Perspectives on Complex Systems,2017:85-113.
[4] 刘大同,郭凯,王本宽,等.数字孪生技术综述与展望[J].仪器仪表学报,2018,39(11):1-10.
LIU Datong,GUO Kai,WANG Benkuan,et al.Summary and prospect of digital twin technology[J].Chinese Journal of Scientific Instrument,2018,39(11):1-10.
[5] 中国电子信息产业发展研究院.数字孪生白皮书(2019)[EB/OL].[2021-05-02].https://www.518doc.com/ p-5250.html.
[6] 王巍,刘永生,廖军,等.数字孪生关键技术及体系架构[J].邮电设计技术,2021(8):10-14.
WANG Wei,LIU Yongsheng,LIAO Jun,et al.Key technology and architecture of digital twin[J].Designing Techniques of Posts and Telecommunications,2021(8):10-14.
[7] GRIEVES M.Virtually intelligent product systems:Digital and physical twins[M].Melbourne,FL USA:American Institute of Aeronautics and Astronautics,2019.
[8] ANSYS.Digital twin:transform your operations with data-driven and simulation-based digital twin software[EB/OL].[2022-10-20].https://www.ansys.com/products/digital-twin.
[9] ZHOU G,ZHANG C,LI Z,et al.Knowledge-driven digital twin manufacturing cell towards intelligent manufacturing[J].International Journal of Production Research,2020,58(4):1034-1051.
[10] MANDOLLA C,PETRUZZELLI A M,PERCOCO G,et al.Building a digital twin for additive manufacturing through the exploitation of blockchain:A case analysis of the aircraft industry[J].Computers in Industry,2019,109:134-152.
[11] 张帆,葛世荣,李闯.智慧矿山数字孪生技术研究综述[J].煤炭科学技术,2020,48(6):1-9.
ZHANG Fan,GE Shirong,LI Chuang.The digital twin technology for smart mines [J].Coal Science and Technology,2020,48(6):1-9.
[12] 苗丙,葛世荣,郭一楠,等.煤矿数字孪生智采工作面系统构建[J].矿业科学学报,2022,7(2):143-153.
MIAO Bing,GE Shirong,GUO Yinan,et al.Construction of digital twin system for intelligent mining in coal mines[J].Journal of Mining Science and Technology,2022,7(2):143-153.
[13] 陶飞,刘蔚然,张萌,等.数字孪生五维模型及十大领域应用[J].计算机集成制造系统,2019,25(1):1-18.
TAO Fei,LIU Weiran,ZHANG Meng,et al.Five-dimension digital twin model and its ten applications[J].Computer Intergrated Manufacturing Systems,2019,25(1):1-18.
[14] 庄存波,刘检华,熊辉,等.产品数字孪生体的内涵、体系结构及其发展趋势[J].计算机集成制造系统,2017,23(4):753-768.
ZHUANG Cunbo,LIU Jianhua,XIONG Hui,et al.The connotation,architecture and development trend of product digital twin[J].Computer Integrated Manufacturing System,2017,23(4):753-768.
[15] 张霖.关于数字孪生的冷思考及其背后的建模和仿真技术[J].系统仿真学报,2020,32(4):1-10.
ZHANG Lin.Cold thinking about digital twin and modeling and simulation techniques behind it[J].Journal of System Simulation,2020,32(4):1-10.
[16] WANG J,YE L,GAO R X,et al.Digital twin for rotating machinery fault diagnosis in smart manufacturing[J].International Journal of Production Research,2018,57(12):1-15.
[17] RASHEED A,SAN O,KVAMSDAL T.Digital twin:Values,challenges and enablers from a modeling perspective[J].IEEE Access,2020,8:21980-22012.
[18] 王晓峰,杨亚东.基于生态演化的通用智能系统结构模型研究[J].自动化学报,2020,46(5):1017-1030.
WANG Xiaofeng,YANG Yadong.Research on structure model of general intelligent system based on ecological evolution[J].Acta Automatica Sinica,2020,46(5):1017-1030.
[19] 董雷霆,周轩,赵福斌,等.飞机结构数字孪生关键建模仿真技术[J].航空学报,2021,42(3):113-141.
DONG Leiting,ZHOU Xuan,ZHAO Fubin,et al.Key technologies for modeling and simulation of airframe digital twin [J].Acta Aeronauticate Astronautica Sinica,2021,42(3):113-141.
[20] 周有城,武春龙,孙建广,等.面向智能产品的数字孪生体功能模型构建方法[J].计算机集成制造系统,2019,25(6):1392-1404.
ZHOU Youcheng,WU Chunlong,SUN Jianguang,et al.Function model construction method based on digital twin for intelligent products [J].Computer Integrated Manufacturing Systems,2019,25(6):1392-1404.
[21] 柳林燕,杜宏祥,汪惠芬,等.车间生产过程数字孪生系统构建及应用[J].计算机集成制造系统,2019,25(6):1536-1545.
LIU Linyan,DU Hongxiang,WANG Huifen,et,al.Construction and application of digital twin system for production process in workshop[J].Computer Integrated Manufacturing System,2019,25(6):1536-1545.
[22] RAILEANU R,DENTON E,SZLAM A,et al.Modeling others
using oneself in multi-agent reinforcement learning[C]//International conference on machine learning.PMLR,2018:4257-4266.
[23] 孙长银,穆朝絮.多智能体深度强化学习的若干关键科学问题[J].自动化学报,2020,46(7):71-79.
SUN Changyin,MU Chaoxu.Important scientific problems of multi-agent deep reinforcement learning[J].Acta Automatica Sinica,2020,46(7):71-79.
[24] 谢嘉成,王学文,杨兆建.基于数字孪生的智能开采工作面生产系统设计与运行模式[J].计算机集成制造系统,2019,25(6):1381-1391.
XIE Jiacheng,WANG Xuewen,YANG Zhaojian.Design and operation mode of production system of fully mechanized coal mining face based on digital twin theory[J].Computer Integrated Manufacturing Systems,2019,25(6):1381-1391.
[25] 丁恩杰,俞啸,夏冰,等.矿山信息化发展及以数字孪生为核心的智慧矿山关键技术[J].煤炭学报,2022,47(1):564-578.
DING Enjie,YU Xiao,XIA Bing,et al.Development of mine informatization and key technologies of intelligent mines [J].Journal of China Coal Society,2022,47(1):564-578.
[26] 王飞跃,孙奇,江国进,等.核能5.0:智能时代的核电工业新形态与体系架构[J].自动化学报,2018,44(5):922-934.
WANG Feiyue,SUN Ji,JIANG Guojin,et al.Nuclear energy 5.0:New formation and system architecture of nuclear power industry in the new IT era[J].Acta Automatica Sinica,2018,44(5):922-934.
[27] 杨林瑶,陈思远,王晓,等.数字孪生与平行系统:发展现状、对比及展望[J].自动化学报,2019,45(11),2001-2031.
YANG Linyao,CHEN Siyuan,WANG Xiao,et al.Digital twins and parallel systems:State of the art,comparisons and prospect[J].Acta Automatica Sinica,2019,45(11):2001-2031.
[28] 陈龙,王晓,杨健健,等.平行矿山:从数字孪生到矿山智能[J].自动化学报,2021,47(7):1633-1645.
CHEN Long,WANG Xiao,YANG Jianjian,et al.Parallel mining operating systems:From digital twins to mining intelligence[J].Acta Automatica Sinica,2021,47(7):1633-1645.
[29] 张帆.面向智能矿山场景的数字孪生演化机理及方法[P].中国专利:ZL201911388541.5,2020-5-29.
[30] 张帆.一种矿山数字孪生模型构建方法 [P].中国专利:ZL201911390383.7,2020-5-15.
[31] 张超,张旭辉,毛清华,等.煤矿智能掘进机器人数字孪生系统研究及应用[J].西安科技大学学报,2020,40(5):813-822.
ZHANG Chao,ZHANG Xuhui,MAO Qinghua,et al.Research and application of digital twin system for intelligent tunneling equipment in coal mine[J].Journal of Xi’an University of Science and Technology,2020,40(5):813-822.
[32] 孙继平.煤矿智能化与矿用5G[J].工矿自动化,2020,46(8):1-7.
SUN Jiping.Coal mine intelligence and mine-used 5G[J].Industry and Mine Automation,2020,46(8):1-7.
[33] GARIBALDI J M,陈虹宇,李小双.差异与学习:模糊系统与模糊推理[J].智能科学与技术学报,2019,1(4):319-326.
GARIBALDI J M,CHEN Hongyu,LI Xiaoshuang.Variation and learning:Fuzzy system and fuzzy inference[J].Chinese Journal of Intelligent Science and Technology,2019,1(4):319-326.
[34] 蒋弘毅,王永娟,康锦煜.目标检测模型及其优化方法综述[J].自动化学报,2021,47(6):1232-1255.
JIANG Hongyi,WANG Yongjuan,KANG Jinyu.A survey of object detection models and its optimization methods[J].Acta Automatica Sinica,2021,47(6):1232-1255.