★北京力控元通科技有限公司
1 背景
石油工业是全球最重要的产业之一,涉及到石油的开采、生产、存储、运输和销售等方面,对我们的现代社会和经济产生了巨大的影响。石油是全球最重要的能源之一,被广泛应用于交通运输、工业生产、电力生产、家庭供暖等领域。石油工业还具有地缘政治的重要意义,是世界各国重要的战略资源之一,对现代社会的发展和经济繁荣也具有很大的作用。随着技术和管理的不断创新,石油工业将发挥重要作用,为人类社会的持续发展做出贡献。
国内某油气田公司隶属于中国石油天然气集团有限公司,拥有矿权面积约10万平方千米,累计探明天然气地质储量超4万亿立方米,探明率约16%;历年累产天然气约5700亿立方米,现具备年产能力400亿立方米以上;拥有集输和燃气管道近7万千米,年综合输配能力440亿立方米。
该油气田公司长久以来原生产数据平台采用国外数据库产品,技术受制于人,存在较大的产业安全隐患。随着公司管网规模不断扩大,井口、场站数量更多,分布范围更广,公司与二级单位、场站之间的实时通讯与调度面临更大的数据接入挑战,旧有的数据应用方式、管理手段和管理模式已无法满足新的管控需求,实时数据库迭代升级工作迫在眉睫。
2 项目应用
为响应国家及集团内部的号召,敢于自我突破,实现生产核心数字资产自主可控。在不影响原有业务应用的前提下,该油气田公司和相关服务单位及力控科技合力打造生产数据平台升级改造的方案。力控科技实时数据库解决方案帮助油气田公司实现了数据库的升级改造,从而保证油气田生产数据自主可控、安全可靠。力控科技实时数据库解决方案帮助企业实现以下功能:
(1)实现一线生产单元各类生产、物联数据和管理数据的采集、传输、存储、转换以及分析。
(2)采用国产实时数据库pSpace软件平台升级扩容,新数据库容量从原数据库的20万点提升到50万点。
(3)数据质量管理平台有效解决二级单位、基层单位数据重复录入问题,位号不合规问题和通讯监控不及时问题。
(4)发布油气田公司上千张工艺流程图,为上层40多个应用系统提供各类生产数据。
力控科技实时数据库解决方案通过调研油气田公司现有国外数据库应用情况,为油气田公司量身打造了基于国产数据库pSpace并配套数据质量管理和设备资产管理的解决方案。针对该油气田公司替代国外知名数据库的需求,力控科技把主要着力点放在了原有系统评估、新数据库评估以及如何实现平稳替代上面。项目具体实施情况如下:
(1)采用力控科技企业级实时历史数据库pSpace作为数据库核心。力控科技企业级实时历史数据库pSpace具有高性能、高吞吐、跨平台、分布式应用、冗余容错机制、安全机制、驱动丰富、数据服务接口齐全、级联交互等特征,可提供数据计算、生产流程展示、高级报警分析、数据质量管理及资产模型管理等应用扩展,实现生产监控到调度管理的完美整合,可与工业云平台无缝对接,极大地提高企业信息化决策的准确性。油气田公司为验证力控科技的能力,通过多次测评验证,最后一致认可了力控科技企业级实时历史数据库pSpace替代国外产品数据库的能力。
图1 力控科技实时历史数据库pSpace架构图
(2)评估原有采集系统实现采集迁移。该油气田公司在使用国外数据库这几年,部分子公司做了多次升级改造,采集测点、设备、矿区都有所调整,同时因为业务需要,在办公网的数据库要汇聚多家兄弟单位的生产数据,这些都是当前数据库已经不能满足的采集需求。力控实时历史数据库采用国外数据库原有采集方式交接了采集系统,并完成了原数据库没有汇聚的测点。将数据库原来20万数据容量扩充到pSpace的50万数据容量。
(3)为保证新库历史数据完整,解决原有历史数据迁移问题。为满足数据完整性要求,在部署力控实时历史数据库pSpace后,需要把原有国外数据库中历史数据通过迁移方式移至力控实时历史数据库pSpace中。在进行数据迁移过程中确保迁移数据的完整性及准确性。本方案采用了力控科技自主研发的迁移方法,最终完成了原国外数据库从2013年到2022年9年历史数据的迁移工作。迁移效果佳,原国外数据库一年的历史数据存储空间约为4T,经过3天时间迁移到力控实时历史数据库pSpace中,且存储空间大大降低到约1.2T,并且通过了客户完整性和准确性的验证。
(4)通过对原有流程画面解析,避免重复工作量。为减少流程画面工具切换后导致的工程量问题,力控科技针对原国外数据库流程画面进行解析。针对线、多折线、多边形、圆、文本、矩形等基本图元以及阀门、电机、仪器仪表等系统图元和图元的条件动画、数据绑定进行逐项分析,通过统一流程图格式的方式实现流程画面的迁移工作,迁移过程简单快捷,迁移后的流程图画面实现高保真性,并可进行二次编辑和修改操作,满足客户个性化应用需求。
(5)提供多种接口,解决原有第三方系统集成迁移问题。该油气田公司原有数据库集成的第三方系统统计约有30多个,主要应用的接口方式为OPC、OPC HDA、OLEDB、JDBC;力控科技提供应用接口为OPC、OPC UA、OPC HDA、ODBC、OLEDB、WebAPI、JDBC等多种方式,实现测点属性、用户、实时数据、历史数据、报警、事件等信息的多维度查询和访问,实现了原有第三方系统的全部接入并对部分接口进行了升级,且并入其他原来数据库未接入的第三方系统,共计40个业务系统。
(6)配套设备资产管理平台。设备资产管理平台可实现设备管理人员更便捷地查看设备基础信息、使用记录、设备相关的实时数据以及报警信息,相关人员能更好地管理设备,了解设备全生命周期,掌控资产动态,从而使得与设备资产相关的各种记录实现计算机化、无纸化、数据化,让设备相关人员与设备紧紧相连,更加高效地进行设备资产管理。
(7)配套数据资产管理平台。数据质量管理平台可实现用户的测点入库前审核和入库后管理,了解数据通讯是否正常,测点的增删改是否合规,报警可以通过即时通通知相关人员。平台可以定期形成操作日志供各级用户查看。整个管理流程可以确保数据管理的合规性,同时形成闭环管理,提高数据质量管理,数据链路各环节状态监视,质量异常提醒及管理。
3 项目三大核心成果
整体项目在经过近一年的生产现场运行测试,经过专家鉴定,一致认为依托该项目形成以下三个核心成果。
(1)工业时序数据库高效压缩方法:组合应用物理压缩+逻辑压缩算法,平衡压缩能力、失真度、所需计算资源等要素,对时序数据值、数值获取时间、质量戳各元素分类压缩,采用标识符代替法有效提升压缩率,相较原始数据,降低磁盘空间占用90%。
(2)工业时序数据库存储与查询优化方法:业务系统多、查询压力大、多样化数据查询需求,存储和查询效率直接影响用户的体验。本项目采用B+Tree与LSM Tree组合索引结构、分段存储、分段压缩,解决海量历史归档写放大问题,提高数据汇聚排序量,提高时序数据读写支撑能力。
(3)分布式实时数据库级联镜像传输方法:为保证生产网数据与办公网数据的隔离与安全防护,该方案在生产网进行数据汇聚后数据库所有信息通过单向网闸向办公网进行数据传输,满足数据库的级联镜像需求。平衡安全防护与传输效率优化,实现生产网数据库存储的实时数据、历史数据、用户、权限、位号等信息快速有效地传输到办公网数据库中。
4 项目意义
此次国产化替代的探索突破了长久以来该油气田公司生产数据平台只能依赖国外数据库产品、关键技术受制于人的桎梏。国产化替代完成后,新数据库容量从原数据库的20万点提升至50万点,同时配套定制了数据入库检查、数据校对等数据质量管理功能,设备台账、设备维护等设备资产管理功能,以及组态图在线管理、数据可视化查询、应用服务发布等平台资源管理功能。通过优化实时数据传输架构,节省了二级单位实时数据库软件与服务器部署费用162万元;通过优化实时数据传输架构减少运维节点,每年可以节省运维费220余万元。该项目为公司提质增效、增储上产提供强大的数据支撑,为集团公司打造“数字中国石油”开辟了数据库国产“试验田”。
摘自《自动化博览》2023年7月刊