引言

   工业企业已进入了“大数据”时代，企业所管理数据的规模、种类和复杂度都在以前所未有的速度呈爆炸式增长。据麦肯锡咨询公司统计，“制造业的数据存储量高于其它行业——2010年的新数据存储量接近2EB”。

   大数据源自各种系统、设备和应用程序数据量的激增，使用传统软件解决方案，在可以接受的时间内完成这些数据的采集、管理和处理会非常困难。一个数据集内的大数据规模从几十TB到许多PB不等。随着高级装置和设备的数量不断增加，大量运行数据随之上线，这种趋势经常被称为工业互联网。前瞻型企业正在利用这些数据实现卓越运营和预测性分析，获得竞争优势，加速企业成长。

   云计算已成为数据处理、储存和分配的可行、主流解决方案，但对于具有TB量级数字内容的企业，大量数据在云内外的传输成为了难以解决的困难。作为在企业内实现高速海量数据传输的先导企业，GE采用行业领先的历史数据库解决方案，提供适用于大数据的云技术。

   基于实时和历史过程信息的数据驱动策略有助于企业优化绩效。信息是实现工业企业竞争力和增长的核心要素，因此利用大数据云势在必行。

   云技术前景

   云计算可带来按需扩展、逐步投资的计算和存储能力。与企业内部数据中心相比，云技术不需要大量的前期IT投资，企业可以方便地升级基础实施，只对需要的能力进行投资。这就难怪越来越多的企业开始采用云技术——亚马逊网络服务（AWS）S3云存储系统内储存的数据量从2010年的2620亿个对象激增至2012年第一季度末的9050亿个对象。

   工业数据面临的难题

   目前，大数据的创建和使用已经扩展到了雅虎、谷歌和Facebook等大型网络公司之外的领域。各个领域的企业（包括工业企业）都面临不断上升的压力，须利用数据推动的策略保持竞争优势——这需要不断增长的数据，致使数据集的规模日益庞大。此外，不断发展和日趋严格的监管要求也需要采集更多信息，作为审计和合规性的证明。

   制造型企业须记录大量的过程数据，不断增长的数据量成为了普遍存在的情况。例如，生产个人护理产品的CPG公司每33毫秒产生5000个数据样本，其结果是：

   • 每秒152000个样本

   • 每分钟9百万个样本

   • 每小时5.45亿个样本

   • 每个轮班40亿个样本

   • 每天130亿个样本

   • 每年4万亿个样本
 
                    

   显然，用于提取值的数据量超出了传统数据管理系统的能力范围。此外，管理工业大数据的困难并不只限于信息量；由于数据具有不同的格式和来自不同来源，还存在数据多样性和复杂度问题。经常存在过程信息“岛”，必须进行合并、储存和分析，以便获取背景和有意义的值。

   为了利用大数据，企业需要具备支持多种信息类型的能力、储存大数据集的基础设施及信息采集和储存后对信息进行利用的灵活性——能够对关键趋势进行历史分析，以实现实时预测性分析。随着企业愈发了解到其价值主张源自于信息，大数据处理技术正快速获得发展动力。

   几乎每一种企业感兴趣的分析洞察都涉及时间元素，这要求专为利用大时间序列数据集实现关键洞察而设计的解决方案对其数据的值加以利用。

   寻求工业数据解决方案

   工业企业应感到庆幸的是，谷歌、雅虎和Facebook对大数据具有更高的需求。这几家公司对点击流、网络日志和社会互动的分析需求迫使它们创建新型的大数据集存储和分析工具。这些公司打下的基础也可应用到工业领域，用于管理今后只会继续增长的数据爆炸。

   例如，Hadoop是一种可通过使用标准硬件，实现数据存储扩展的工具，可在许多低成本计算机间分配数据。数据分配后，随之而来的是数据定位和处理难题，这可以使用Map Reduce解决，Map Reduce提供一个框架，数据在一个簇内的许多节点间并行处理，允许将处理映射给许多位置的数据，然后将类似数据元素的输出缩减成一个结果。

   虽然Hadoop可能在处理大数据集方面具有良好前景，但创建Hadoop环境时的复杂度和要求的专业技能超出了工业企业的能力范围。但这些企业仍须在整个企业内进行升级，以处理生产过程和其它工业运营中产生的大量时间序列数据。

   例如，生产经理可能想要了解通过生产线的原料流速变化时，温度改变对品质的影响；电厂主管可能想要分析过去5年的数据，研究异常情况和变化，了解之后是否发生了断电，以实现预测性分析。

   这种层面的运营洞察需要能够对特定时间段的大数据集进行快速查询的能力——这种独特、强大的能力需要一种工业数据解决方案。

   GE高级历史数据库的强大之处

   对于工业大数据解决方案，人们首先想到的可能并不是历史数据库软件，但许多企业可能没有意识到的是：这些先进、开箱即用的解决方案是专为高效采集、存储和管理大量时间序列过程数据而设计，而这正是工业大数据的难点所在。

   随着数据集的规模和复杂度不断增加，高级历史数据库为企业提供了一种有效、简单、方便的方法，能够高效地利用大量实时和历史过程数据，这是优化决策支持的关键要求。它们可以帮助企业连接和采集不同系统和设备的数据，发掘数据中隐含的信息。

   高级历史数据库采用了时间序列友好的数据结构，使其性能大大优于传统的关系或关键值数据结构，可在大数据集和相关时间段内高效地进行查询。历史数据库为真正的实时数据提供速度大幅加快的读写性能和微秒级分辨率，能够采集过程级的信息值，持续推动改良。

   此外，高级历史数据库能够与过程数据源连接，直接获取数据——合并整个企业的数据并进行压缩，实现高效存储，极大减少了精确再生时间序列信号所需的数据量。

   对于前文提及的CPG公司，与采用传统数据库相比，历史数据库可把每个样本需要的磁盘空间减少85%。由于采用了智能记录，历史数据库本质上能比传统方法更加高效地储存时间序列数据，智能记录精简了占用大量磁盘空间的无附加值数据点，但仍能表示“真实的全貌”。

   推动创新、竞争和增长

   拥有了完备的历史数据库性能，工业企业就能够充分利用高级分析，有效地查询几年内的历史数据，明确趋势和模式，从而支持实时决策。企业能够更充分地了解产品质量或生产时间损失等影响关键领域的因素，作出更明智的决策。

   随着越来越便宜的云存储和越来越强大的云处理，云正成为存储和分析公司所收集数据的不二选择。借助云服务以及随之而来的大数据工作流和其他类型的应用程序，用户不再需要或同等程度的新软件和新分析方法的培训过程，耗费劳力。

   借助Proficy Historian， GE的M&D中心持续管理整个系统内的数据流，通过大数据更好、更快地作出决策，从而优化运营和财务绩效。

   案例研究：大数据帮助GE能源节省数百万

   只有实现轻松的时间序列过程数据访问，从而通过数据分析确定关键业务的趋势，工业企业才能从大数据中获益。有了这一洞察力，企业能够提高自身的运营响应度和灵敏度，凭借差异化竞争信息从业内同行中脱颖而出。

   例如，位于亚特兰大的GE能源监测和诊断（M&D）中心，乔治亚州收集全球50多个国家上千台燃气轮机的数据，每天为客户收集10千兆字节的数据。中心不得不组织并阐明来自系统内传感器振动和温度信号的恒定数据流。

   • 高数据压缩和实时数据访问

   监测和诊断中心仰仗GE的Proficy Historian软件收集并管理其连续数据流。软件强大的数据压缩性能实现了极其高效的海量数据收集、存储和集中。它将年度存储容量从之前的60百万兆字节缩减到10百万兆字节，降低了每百万兆字节存储数据的管理成本，从而显著削减了成本。

   使用Proficy Historian之前，中心只能以多个关系数据库为基准，在线存储3个月原有应用程序的数据，优化数据的能力有限。从存档中拉出数据，手动加载离线数据，然后运行数据查询，落实数据请求需要几天甚至几周的时间，这是一项耗时且艰巨的任务。

   现在，借助Historian，中心能够在线存储长达10年的数据，无需手动移动数据，即可高效查询更大的数据集，从而实现近乎实时的数据分析。它能够快速地给出自安装后设备性能劣化等影响运营性能的关键问题的答案。更快地确定问题，从而及时地作出决策，更快地实行纠正措施。

   • 更快的分析和预测诊断

   如今，中心每天连续运行上百个不同的数据算法，企业得以更快地进行历史数据的分析，为实时运营系统带来意义和上下文，从而获得关键竞争优势。它也能通过比较历史数据和当前资产绩效，查看劣化迹象的趋势和模式，提前数周预测资产故障和停机时间，在问题发生之前进行检测、诊断和预测。

   例如，中心避免了多起由阀门伺服和执行机构问题引起的故障，利用历史和高级分析实现数据脉络化和可行性情报，减少停机时间，为客户节省了数百万的支出。安装Historian后，通过系统内大数据的使用，每年能节约和免除0.75亿美元的成本，同时将性能增强为双倍，为客户带来价值。

   结语

   业务和IT主管们需要扪心自问，他们的工业企业是否最大化过程数据的潜在价值，并通过对过程数据的分析推动实时改进。随着数据容量的不断增大，信息驱动的战略将成为一种很普遍的竞争力来源，在工业领域应用大数据比以往任何时候都来的迫切。

   仔细分析高级历史，不难发现技术是如何通过对大量历史数据集的高效、实时分析帮助企业利用其时间序列过程数据的。这些解决方案能够为企业提供关键见解，以便及时地作出运营决策，改革业务方式，同时确保整个企业内的持续改进。

   未来，通过信息，企业能够更好地了解自身的业务，并预见可能发生的问题，利用大数据的价值，提高绩效，超越竞争对手。企业拥有更为出众的创新力和竞争力，推动价值。云中的大数据能够显著地促进业务增长，持续推动绩效优化，获得长期成功。 

   摘自《自动化博览》2012年第12期