1
关注中国自动化产业发展的先行者!
2024
2024中国自动化产业年会
2023年工业安全大会
OICT公益讲堂
当前位置:首页 >> 案例 >> 案例首页

案例频道

重点用能单位能耗在线监测系统 数据治理及质量提升方法
  • 企业:     领域:边缘计算    
  • 点击数:484     发布时间:2023-04-03 21:53:50
  • 分享到:
随着重点用能单位能耗在线监测系统建设的逐步推进,覆盖1万家以上重 点用能单位的能耗在线监测系统正面临着企业能耗上报数据质量低、持续性差、 企业端系统运维管理工作开展不力等诸多问题,无法为省(市)级节能主管部门 以及国家发改委、能源局等宏观政策制定部门提供有效数据支撑。本文通过对数 据源、数据流、数据关键节点的深入分析,提出了一种在企业端进行数据质量提 升治理的软件算法,并在云平台引入了数据质量评价指标的综合解决方案,通过 云边协同应用技术实现了数据质量提升的目标。

★上海华瑞众信技术有限公司 田海涛,唐俊 

 摘要: 随着重点用能单位能耗在线监测系统建设的逐步推进,覆盖1万家以上重 点用能单位的能耗在线监测系统正面临着企业能耗上报数据质量低、持续性差、 企业端系统运维管理工作开展不力等诸多问题,无法为省(市)级节能主管部门 以及国家发改委、能源局等宏观政策制定部门提供有效数据支撑。本文通过对数 据源、数据流、数据关键节点的深入分析,提出了一种在企业端进行数据质量提 升治理的软件算法,并在云平台引入了数据质量评价指标的综合解决方案,通过 云边协同应用技术实现了数据质量提升的目标。 

关键词:数据质量;数据治理;评价指标;云边协同 

Abstract: With the gradual advancement of the construction of the online monitoring system for energy consumption of key energy-consuming units, the online monitoring system for energy consumption covering more than 10,000 key energy-consuming units is facing many problems such as low quality of the reported data of energy consumption of enterprises, poor sustainability, and ineffective implementation of the operation and maintenance management of the enterprise-end system. The system cannot be used by the provincial (municipal) energy conservation authorities and the National Development and Reform Commission The energy bureau and other macro-policymaking departments provide effective data support. After an in-depth analysis of data sources, data flows, and key data nodes, this paper proposes a software algorithm for data quality improvement governance at the enterprise end, introduces a comprehensive solution of data quality evaluation indicators on the cloud platform, and achieves the goal of data quality improvement through cloud-side collaborative application technology. 

Key words: Data quality; Data governance; Evaluation indicators; Cloudedge collaboration 

1 引言 

随着重点用能单位能耗在线监测企业端系统建设数 量的不断增加,各省级能耗在线监测系统平台对企业端 实时上报的企业能耗数据质量越来越重视,各地节能主 管部门相继发文要求重点用能单位重视企业端系统的运 维管理工作并提高能耗数据上报质量,为国家节能主管 部门基于数字化平台上的重点用能单位能源消费总量数 据做宏观决策分析提供重要的辅助支撑,同时也为我国 碳达峰、碳中和政策的落地实施提供扎实的数据依据。 

因此,基于边缘计算平台的企业端数据质量治理与 提升工作将会是下一阶段的工作重点,本文在详细梳理 了重点用能单位能耗在线监测系统的技术框架和数据质 量不高的表现形式以及分析了深层次原因后,提出了一 套切实可行的数据质量治理解决方案。

2 系统概述 

重点用能单位能耗在线监测系统是国家发改委和质 检总局联合发文推动的针对年消耗10000吨(部分地市 按5000吨统计)标准煤的约1.6万家重点用能单位要求 建设的能源消费总量统计上报的信息化系统。文件要求 企业侧建设能耗数据采集与上报的企业端系统,实现企 业用能主要指标数据上传省(市)级能耗在线监测系统 平台,再由省(市)级平台将数据汇总上报至国家级能 耗在线监测平台。 

该系统建成后服务于各级政府节能主管部门和重点用能单位。通过建设重点用能单位能耗在线监测系统,健 全能源计量体系,加强能源消费总量和强度“双控”形势 分析和预测预警,推动完成能耗“双控”目标任务。

3 系统架构介绍 

重点用能单位能耗在线监测系统采用“国家平台+ 省级平台+重点用能单位企业端系统”的三层架构,为 各部委、各级节能主管部门和质监部门、重点用能单位 等用户提供不同层次的服务,其具体架构如图1所示。 

image.png

图1 系统架构图 

重点用能单位企业端系统由能耗在线监测端设备、 计量器具、工业控制系统、生产监控管理系统、管理信 息系统、通信网络及相应的管理软件等组成,部署在重 点用能单位内部,由重点用能单位负责建设,主要为用 能单位提供能源管理服务。企业端系统架构如图2所示。 

image.png

图2 企业端系统架构图

自2018年5月一系列重点用能单位能耗在线监测系 统建设标准技术规范发布及全国性标准宣贯培训活动 启动后,全国各地掀起了企业端系统及省级平台的建设 热潮。截至2021年底,全国共建成超过1万家重点用能 单位企业端系统和26个省(市)级能耗在线监测系统 平台,85%以上企业端系统实现了数据采集与上报至省 (市)级平台或国家平台的建设目标。 

国家发改委在《关于进一步加快推进重点用能单位 能耗在线监测系统建设的通知》中明确提出,加快提升 数据质量,加强数据管理,着力提升数据传输稳定性、 连续性;拓展和巩固能耗数据来源渠道,探索打破信息 孤岛和数据壁垒,逐步建立跨行业、跨部门数据共享机 制;对系统数据质量进行核查,及时剔除异常数据,确 保所传数据真实、准确、有效。 

4 数据质量评价指标 

4.1 数据质量评价指标国家标准 

根据国家标准《信息技术 数据质量评价指标》 GB/T 36344-2018中对数据质量评价指标的定义,通用 性评价指标有6种,如图3所示。

image.png

 图3 数据质量评价指标框架 

(1)规范性:数据符合数据标准、数据模型、业 务规则、元数据或权威参考数据的程度。 

(2)完整性:按照数据规则要求,数据元素被赋 予数值的程度。 

(3)准确性:数据准确标识其所描述的真实实体 (实际对象)真实值的程度。 

(4)一致性:数据与其他特定上下文中使用的数 据无矛盾的程度。 

(5)时效性:数据在时间变化中的正确程度。 

(6)可访问性:数据能被访问的程度。 

4.2 企业实时能耗数据质量评价标准 

做好重点用能单位能耗数据质量评价,需要理清企业实时数据来源、数据流经环节、数据利用方式等基本 信息,再从两个层面进行深度分析。首先是企业端侧的 各种数据源(各种计量器具、工业信息化系统、智能传 感器等)生成的实时数据以工业现场总线、工业以太网 等传输介质传输至企业端设备系统,企业端系统对数据 进行准确性、完整性、可靠性校验并根据数据上报要求 对数据进行封装后按上报协议上传至省(市)级平台; 第二个层面是省(市)级平台对所辖区域内的重点用能 单位上报的一定时间内的能耗数据进行完整性、上报 率、时效性、可用性等指标的量化评价与分析,并生成 数据质量报告。 

image.png

图4 能耗在线监测系统数据流向图 

常规的企业端系统设计模式是将各种数据源的高频 实时数据,经过数据采集与实时存储功能模块将数据录 入到实时数据库中,再通过能耗数据上报软件对采集数 据项进行能耗数据编码匹配设定,然后按照数据上报标 准技术规范要求完成实时能耗数据上报功能。 

看似流畅合理的数据处理过程,在实际项目运行过 程中会由于多种预期之外的异常情况而产生大量的异常 数据,主要表现在以下几个方面: 

(1)计量器具自身稳定性原因以及受通信网络信 号干扰导致的数据异常扰动; 

(2)自动化系统软件及服务(尤其是OPC Server 服务)间歇性故障导致的数据不能稳定推送带来的异 常; 

(3)企业端系统的数据采集插件不具备数据过滤 与清洗功能导致异常数据录入数据库,给区间消费量统 计分析工作带来极大不便,影响数据上报的准确性。目 前大部分企业端系统软件均不具备数据深度处理及数据 治理能力; 

(4)部分数据存储记录不连续导致的部分能耗采 集数据项定时上报指标不完整,影响企业数据上报的完 整性; 

(5)企业端系统因操作系统故障、硬件不稳定等 因素导致不能持续稳定运行,进而影响企业能耗数据上 报率指标。 

以上所列的几种现象为企业端系统在实际运行过程 中比较常见的异常情况,还有诸如计量器具更换导致的 数据不能步进累加、手工填报数据滞后导致的月度消耗 数据统计不完整、省(市)级平台同时接收多企业能耗 数据时并发处理能力不足导致的数据上报失败等多种原 因都会对能耗数据上报质量产生影响。

 综上,重点用能单位能耗数据上报的数据质量评价 根据其采集与上报的数据特征、数据获取方式及数据价 值利用规则,可以采用时效性、完整性、准确性、上报 率这4个关键性指标作为评价企业实时能耗数据质量高 低的评价标准。 

从数据产生到传递的过程看,重点用能单位能耗在 线监测系统的数据质量提升的关键点在于企业端系统的 数据治理能力,即在数据产生及存储过程的源头进行治 理,可以有效提升系统数据质量。对企业端系统的数据 流向所涉及的各关键环节进行节点分析,可以找到影响 数据上报质量的关键因子,如图5所示。

image.png

 图5 多维度数据质量管理 

5 数据质量提升解决方案 

能耗在线监测企业端系统的数据质量提升工作需要 在原有企业端系统内加入数据治理软件包,从数据采集 插件送入实时数据库的数据开始进行治理,包含数据预 处理、数据工程处理、数据应用处理等几个业务模块, 以链式数据管道处理模式建立一条主数据流水线,以元 数据为基础构建数据基础模型,源数据经过数据清洗与 过滤、模式识别与数据标识、数据分析与运算、数据插 值与补偿等一系列数据治理策略,再根据业务应用模型 需要进行数据应用属性及工程参量定义与关联匹配,经 过处理的有效能耗数据进入到时序数据库后,再根据业 务应用需要由数据上报插件完成数据上报任务。具备数据治理能力的企业端系统数据流向如图6所示。 

image.png

图6 叠加数据治理软件包的企业端系统数据流向图

 为进一步提升能耗在线监测系统的数据质量提升 效力与企业端系统的运维时效性,有必要借助云边协同 应用技术与基于MQTT协议的数据订阅与发布机制,建 立一套能耗实时数据上报消息推送系统,以实现能耗数 据上报成功与否的即时消息推送,方便运维管理单位及 重点用能单位第一时间掌握数据上报动态。同时,该系 统还可增加企业边缘侧的各项异常信息推送服务,为故 障诊断分析提供更加有价值的参考信息。该系统架构原 理图如图7所示。 

image.png

图7 基于云边协同应用技术的能耗数据上报即时消息推送系统 

基于该系统,企业端系统能耗数据上报软件在完成 每日数据上报任务后,自行将数据上报状态、数据上报 完整度、数据上报异常状况等消息推送至云服务平台, 关注并订阅了特定企业端系统的用户便可以第一时间接 收到平台推送的消息。系统建设及运维单位的工程技术 人员可以同时订阅多个相关的自建企业端系统主题消 息,当发现企业端系统有数据上报异常或故障消息后, 可以及时开展远程故障诊断与数据补报操作,提高了企 业端系统运维管理效率及能耗数据上报质量。

 6 平台侧数据质量评价方法 

在解决了企业端的能耗实时数据质量问题之后,省 (市)级能耗在线监测平台需要一套行之有效的企业能 耗数据质量的评价体系及方法,用于评价所辖区域内的 重点用能单位能耗数据上报质量并公示,进一步督促数 据质量较差企业完成数据质量提升改造工程。 

根据前文所述,以时效性、完整性、准确性、上 报率这4个关键性指标作为评价企业实时能耗数据质量 高低的评价标准,在能耗在线监测系统从建设初期试运 行阶段、验收后的质保服务期、过保后的系统持久运行 期等不同阶段,数据质量评价各项指标的权重应有所不 同,故需要能耗在线监测平台将指标权重系数设计为可 变参量,方便不同阶段灵活调整各指标权重系数。系统 初始运行阶段参数设置方法见表1。 

表1 评价指标及权重系数 

image.png


(1)完整指标:反映重点用能单位能源消费种类 的指标,采集数据项的完整性是最重要的考察指标,该 指标不完整意味着企业上报的能源消费数据不能覆盖全 部能源品种; 

通过实际上报数据项个数与应上报数据项个数的比 值,可以发现漏报数据项指标,查证后通过补报及修正 工程配置的方式进行完整度优化。 

(2)准确指标:反映重点用能单位实时上报的能源消费数据与企业实际消费情况的一致性程度;

 通过计量器具配备率、计量等级、校准及年检日期 等信息,判定企业上报的能源消费数据是否准确,可以 通过调优或更换更加精准的计量器具实现数据准确性指 标提升。 

(3)时效指标:反映重点用能单位是否按照标准 技术规范要求实时上报数据到省(市)级能耗在线监测 平台; 

通过该指标可以观察企业端系统的运行稳定性及系 统运维管理是否得当。 

(4)上报率指标:反映企业在过去一段时间内 (如30天)成功上报能耗数据天数与实际区间运行天数 的比率;

 该指标可以真实反映企业端系统是否处于正常运行 状况以及企业端系统与省(市)级平台之间的互联互通 状况;持续的上报率指标过低需要引起重视,大概率表 明该企业端系统已经失去正常运行能力或与省(市)级 平台失联,需要运维服务单位介入。 

7 数据利用价值 

能耗“双控”考核是经济规划中的约束性指标, 最初出现在“十一五”发展规划纲要中,重点关注重点 用能单位的能源消费总量和能源消费强度两项指标。 “十三五”时期,我国正式建立了能耗“双控”考核制 度,在全国设定能耗强度降低目标和能源消费总量目 标,并将目标分解到各省市自治区,严格考核并按季度 进行通报排名。 

重点用能单位能耗在线监测系统是能耗“双控”考 核制度中的重要手段,以信息化系统为基础,以能耗数 据上报的高时效性、准确性、完整性为依据,全面落实 能耗“双控”目标。随着企业端系统建设数量的不断增 加,企业端系统上报至各省(市)级平台的实时能耗数 据量与日俱增,部分省(市)节能主管部门陆续出台了 企业端系统验收标准技术规范(指南)文件,用于指导 企业端系统项目验收,希望从源头把好数据质量关。数 据质量提升已成为当下能耗在线监测系统运维管理工作 的重中之重。

 8 结语 

在当下互联网、云计算、大数据、万物互联、企业 数据上云业务应用等新兴技术与应用场景蓬勃发展的年 代,数据治理是数据价值变现与数字化决策的前提,已 成为广大企业和政府机构的广泛共识。避免陷入大数据 积累演变为大“垃圾”数据困境,通过数据治理策略确 保企业的数据资产得到正确有效及安全地管理,通过对 数据源信息资源的有效获取和科学处理,实现企业能耗 数据有序存储并上报至省(市)级平台,发挥辅助宏观 决策分析的应用价值,成为各级节能主管部门的关注重 点。 

本文中提到的从源头对数据进行数据管道式的数 据质量治理策略,除了适用重点用能单位能耗在线监 测系统之外,也适用于工业互联网、数字化工厂建设 等多种构建于云边协同技术架构下的应用场景。基于 行业特征数据进行数据建模与归类,形成一系列模式 化的数据治理规则引擎,在边缘侧实现高质量的数据 流,为大数据应用平台的数据分析利用奠定了良好的 数据基础。 

作者简介: 

田海涛(1980-),男 ,高级工程师,现任上海华瑞众 信技术有限公司总经理,研究方向为边缘计算网关、 能耗在线监测端设备、OT/IT融合应用技术产品设计与 云边协同应用技术解决方案推广。 

唐 俊(1989-),男,中级工程师,现任上海华瑞众 信技术有限公司研发总监,研究方向为边缘计算网关、 能耗在线监测端设备、OT/IT融合应用技术产品研发。

摘自《自动化博览》2023年第2期暨《边缘计算2023专辑》

热点新闻

推荐产品

x
  • 在线反馈
1.我有以下需求:



2.详细的需求:
姓名:
单位:
电话:
邮件: