1    项目背景

随着工业互联网技术的飞速发展和工业网络应用的普及,工业互联网络信息安全问题也层出不穷,各类负面消息使人们对工业互联网络的态度更加谨慎。为防止各种网络安全隐患,政府、企业也都提高了宣传力度。为了更好地保护互联网用户的企业信息安全,防止黑客攻击,工业互联网安全监测与态势感知系统平台更好协助通信管理局实现对网络中的攻击进行监测，实现“关键行业，重点监测”、“关键时刻，快速处置”、“关键态势，多为感知”的全方位、全天候的监测与诊断能力。

“永恒之蓝”事件的威胁风波刚刚过去，北京时间2019年3月20日，全球最大铝生产商海德鲁遭受“LockerGoga” 勒索病毒攻击，致多个工厂关停。北京时间2019年10月，美国电网遭网络攻击，纽约停电长达4小时……

从“十三五”中后期开始，我省通信管理局上线了像工业互联网态势感知相关试验平台，对我省辖区内工业互联网现状进行详细的摸底，通过对省内公共互联网的抽样数据流量进行分析，已经取得了初步成效。探明全省触网工业资产9万余个，捕获涉及我省工业资产的安全事件128万余次，捕获针对联网工控设备弱口令、指令篡改等安全风险1291个。整体工业互联网安全形势不容乐观。

通过多安全事件的分析，不难得出电力系统、通信系统、城市关键基础设施系统、先进制造系统等重要行业是攻击的重点，也再次说明了“世界上没有攻不破的网络，也没有不存在漏洞的系统”，工业互联网威胁防不胜防，工业互联网安全监测也是一种常态。事实表明传统的围墙模式防护思维，已没有办法监管变化多端的新安全形势，必须基于持续监测和即使相应的安全能力，也安全监测和态势感知能力，才能对安全形势有完整的了解，并对未来的态势进行预测，才能有效地应对当前的网络安全威胁。

江苏省是工业和制造大省，为尽快掌握全省工业互联网安全态势，防范针对工业互联网的网络攻击，提升工业互联网领域网络安全威胁信息共享和应急处置能力，建设一个“可感、可知、可监管”的工业互联网安全技术保障平台变得十分必要。

2 项目目标

全面提升通管局对我省工业互联网系统基于电信网络流量信息安全的“实时监测、全面感知、重点监管、综合分析、预警通报、应急处置”等方面的能力，为通管局履行“工业互联网信息安全管理工作、指导监督工业互联网信息安全保障工作、协调处理工业互联网信息安全应急和处理重大事件”等监管职责提供有效技术与平台支撑，以及为我省工业互联网专业实训人才的培养提供强有力的基础教学保障。

2.1项目服务目标

（1）安全数据采集：省内不少于90家企业部署安全探针；部署系统与“省工业信息安全保障平台”数据对接；实现企业安全告警定期上传、分析；在省级平台全面展示工业企业安全态势。

（2）安全事件分析：形成面向工业企业、联网设备与系统的全天候全方位安全监测与态势感知能力；实现对我省工业互联网安全态势的分析研判，有效支撑重大工业安全事件的科学决策与风险处置。全面提升江苏省工业互联网安全技术保障水平。

（3）社会经济效益：进一步扩大省平台监管范围，补充增强省平台监管能力；新增25个就业岗位；预计产生1000万元销售收入，实现300万利润，250万税收。

3项目实施与应用

针对用户在安全性方面的关切重点是来自互联网的攻击行为，而互联网与用户的办公网是建立连接的，因此，项目建设重点是对办公网和控制网之间的网络流量实施探针监控，以实时监测来自互联网的网络攻击行为。

目前，该项目已完成在办公网和生产网之间的安全探针部署，系统已在线连续运行7个月时间，帮助用户对木马、病毒、可疑连接、可疑指令等对象进行检测和识别，并对安全事件进行预警提示。

3.1.1项目实施方案

该项目的设备部署方案，如下图所示。

图 1部署方案

安全探针部署在生产网和办公网之间的三层交换机中，通过旁路方式与三层交换机进行连接，通过端口镜像的方式实时获取生产网与办公网之间的网络流量，并从中识别出恶意软件和恶意指令等异常行为，并对用户业务不会产生任何影响。

3.1.2技术路线

    针对用户的应用场景和使用需求，项目的技术路线主要包括工业控制协议深度解析、工业控制网入侵实时检测、工业控制网指令安全监测、工业控制网流量监测、工控设备智能识别定位六个方面，如下图所示。

图 2技术路线

（1）工业控制协议深度解析

工业控制协议深度解析实现对主流工控网络协议（Modbus/TCP、OPC、S7、IEC104等）进行研究，全面深层次的解析工控系统通讯语言，建立符合现场工艺的业务指令流模型，打破传统控制系统的黑匣子，可识别出工控现场上位机对下位机的指令操作、工程师站对现场工业控制器的配置变更、以及对现场开关量和过程量阀值的输入等等，可以识别出网络通讯行为与工艺操作行为。同时， 工业控制网监测子平台支持私有工控协议的扩展接口，可对不同用户的私有工控协议进行定制化的二次开发。

该技术路线采用DPDK，DPDK是Data Plane Development Kit的缩写。简单说，DPDK应用程序运行在操作系统的User Space，利用自身提供的数据面库进行收发包处理，绕过了Linux内核态协议栈，以提升报文处理效率。由于包处理任务存在内核态与用户态的切换，以及多次的内存拷贝，系统消耗变大，以CPU为核心的系统存在很大的处理瓶颈。为了提升在通用服务器（COTS）的数据包处理效能，采用了服务于IA（Intel Architecture）系统的DPDK技术。

DPDK是一组lib库和工具包的集合。最简单的架构描述如下图所示：

图 3工控协议深度解析架构

蓝色部分是DPDK的主要组件：

PMD：Pool Mode Driver，轮询模式驱动，通过非中断，以及数据帧进出应用缓冲区内存的零拷贝机制，提高发送/接受数据帧的效率；

流分类：Flow Classification，为N元组匹配和LPM（最长前缀匹配）提供优化的查找算法；

环队列：Ring Queue，针对单个或多个数据包生产者、单个数据包消费者的出入队列提供无锁机制，有效减少系统开销；

MBUF缓冲区管理：分配内存创建缓冲区，并通过建立MBUF对象，封装实际数据帧，供应用程序使用；

EAL：Environment Abstract Layer，环境抽象（适配）层，PMD初始化、CPU内核和DPDK线程配置/绑定、设置HugePage大页内存等系统初始化；

下图简单描述了DPDK的多队列和多线程机制：

图 4 DPDK多队列和多线程机制

DPDK将网卡接收队列分配给某个CPU核，该队列收到的报文都交给该核上的DPDK线程处理。存在两种方式将数据包发送到接收队列之上：

RSS（Receive Side Scaling，接收方扩展）机制：根据关键字，比如根据UDP的四元组<srcIP><dstIP><srcPort><dstPort>进行哈希；

Flow Director机制：可设定根据数据包某些信息进行精确匹配，分配到指定的队列与CPU核；

当网络数据包（帧）被网卡接收后，DPDK网卡驱动将其存储在一个高效缓冲区中，并在MBUF缓存中创建MBUF对象与实际网络包相连，对网络包的分析和处理都会基于该MBUF，必要的时候才会访问缓冲区中的实际网络包。

图 5缓冲区的网络包

（2）工业控制网入侵实时检测

随着工控网络的信息化程度加深，所面临的网络攻击手段也越来越多，各种入侵和病毒攻击利用工控设备的漏洞对工控网络进行攻击。

安全探针支持对入侵行为特征进行分析，实时捕捉各种攻击行为。入侵检测模块核心的专家知识库目前包含了共15个大类的1300余种攻击特征，并在不断增加更新中，包括病毒攻击，木马攻击，拒绝服务攻击，数据库攻击，Web攻击，Icmp攻击，FTP攻击，DNS攻击，ARP攻击，邮件攻击，漏洞攻击，后门软件，IP/端口扫描，RPC攻击，缓冲区溢出攻击等等。

（3）工业控制指令安全监测

安全探针可对“未知通信行为”、“用户误操作”、“用户违规操作”、“工艺阈值非预期波动”等进行实时报警。

指令变更：指上位机电脑向下位机PLC或者DCS控制器发送开关阀、开关泵等操作变化。

阈值报警：指上位机电脑读取下位机PLC或者DCS控制器传输的阀门状态，温度、压力等传感器的数据的上限或者下限报警。

组态变更：指上位机电脑向下位机PLC或DCS灌装程序，或者从下位机PLC或DCS上载程序的网络行为。

负载变更：指上位机与下位机，或者下位机PLC或DCS与负载设备之间通信的变化。

符合工艺的指令变采用白名单策略，例如某个阀门的开启动作，而不符合工艺的指令变更是需要报警，某个阀门的关闭动作。因此在这个过程中，安全监测平台需要及时发现这些合法和非法的网络行为，实时的进行报警。控制指令安全检测采用POWERLINK方法，将一个执行周期分为三个阶段：同步阶段、异步阶段以及空闲阶段。

a）同步阶段（Isochronous phase）

在进入这个阶段时，MN首先会广播一个名为SoC（Start of Cycle）的数据包，提示网络内所有的CN注意点名。然后开始挨个点名。在每一次点名的过程中，一个叫做 PReq(Poll-Request)的数据包会被定向发给特定的CN，这个数据包中包含了MN 对CN中变量的期望值。CN 收到这个数据包之后，会对这些变量进行处理，并广播一个PRes（Poll-Respond），这个数据包中包含了CN 希望其它节点看到的变量的当前值。

POWERLIN引入复用时隙的概念（Multiplexed Timeslots），对某些CN，MN 不必在每个周期中都对其进行数据同步，而是在特定次数个周期之后，对这些CN进行数据同步。

b）异步阶段 （Asynchronous phase）

在进入这个阶段时，MN 会广播一个 SoA （Start of Asynchronous）数据包，告知网络内所有用户，现在是异步时间，并且这个数据包中应当包含需要交互的对象。

在这一阶段，MN 只会与一个CN 进行交互或者不与任何CN交互。如果交互，将以ASnd （Asynchronous Send）数据包发送，MN 只提供一条服务，并且CN 在接收服务后可能不会即时反馈，而是在数个周期后再给出服务评价，这就是所谓的异步阶段。

在这一阶段MN 提供的服务包括：身份认证（Ident Requests）、状态认证（Status Requests）、通用传输请求（Generic transmit Requests）、发言请求（Transmit Requests），前三者的发起人都是 MN, 而第四者的发起人为 CN。

身份认证：在MN 启动之初，所有的CN 都将标记为未识别状态，身份认证就是识别这些CN的第一步。如果被点名的CN未做出响应，那么MN 将点名下一位CN，直到全部点名完毕后。重新开始新一轮点名，在新一轮点名中，标记为识别状态的将被跳过。

状态请求：一般在出现错误时，MN会向CN发起状态请求，CN应当立即相应该请求，相应内容中应包含详细错误信息。除此情况外，异步CN 也会被周期性的发起该请求以检查其状况。

c) 空闲阶段（Idel Phase）

在完成同步阶段和异步阶段后，系统进入空闲阶段，等待任务队列下发的数据。

（4）工业控制网流量监测

安全探针可对被监测控制网络中各个资产的网络流量进行监视，针对根据不同的资产设置不同的流量阈值,进行安全预警。通过流量曲线图、柱状图和详尽的流量分布表等多种方式对整个控制网络总体流量监测结果进行展示。

根据流量监测获取的数据，工业互联网安全监测平台还可进行流量异常检查，针对网络中流量的突变和异常的数据流模式，适时发送流量相关警报信息，为用户提供了了解网络异常状态的新途径。

项目采用sFlow技术连续实时地监视交换机/ 路由器的每一个端口, 采集的数据种类繁多, 长时间运行数据量大, 这些数据并非是面向事务, 而主要是面向分析, 因此采用了数据仓库技术。sFlow技术和数据仓库技术的结合, 为网络流量分析提供了一个非常好的架构。如下图所示, 该架构分为五个模块: 数据采样模块、数据接收模块、数据存储与管理模块和数据分析模块。

下面详细叙述这五个模块的功能。

图 6流量监测功能架构

a）数据采样模块：该模块实际上就是一个支持 sFlow 机制的交换机或路 由器, 由制造商在内部加入硬件采样器( ASIC) 。硬件采样器完成数据采样功能, 并将采样数据发往 sFlow Agent。可通过超级终端对硬件采样器的采样频率进行设置。采样数据分为两种: 一种是在网络中的数据包( Flow Sample) ; 另一种是交换机/ 路由器本身产生的数据( Count Sample) , 包括采样间隔、接口状态、数据包丢失率等。采样过程由专用硬件完成, 对交换机/ 路由器的性能没有影响。

b）数据接收模块：该模块由 sFlow Agent 和数 据 存储 子模 块 实现。 sFlow Agent是交换机/ 路由器的一部分, 与硬件采样器不同的是sFlow Agent 属于软件部分。sFlow Agent由Sam- pler和Poller 两部分组成, 前者接收网络中的数据 Flow Sample, 后者接收接口统计数据(Count Sample)。sFlow Agent 接收到的数据按照 RFC 3176规定的统一格式编码, 并以UDP 数据包的形式向指定的目的地进行发送。数据存储子模块位于指定目的地的指定IP 地址和指定端口, 该模块接收sFlow Agent 发来的合法的sFlow 数据包, 并按照 RFC 3176 的统一格式进行解码。 然后将解码后的数据存入数据源。数据源是一个或多个数据库, 它以一定的结构组织存储原始数据, 该数据库是面向事务的, 可支持一些实时的事务处理; 同时, 数据源也是后面数据仓库的基础, 是构建于该架构之上的网络性能管理、流量分析的数据源泉。

c）数据存储与管理模块：该模块是架构的核心, 架构的真正关键是数据的存储与管理。数据仓库的组织形式决定了它有别于传统数据库, 同时也决定了其对外部数据的表现形式。 该模块的功能是从数据源抽取数据, 对所抽取的数据 进行筛选、清理, 将处理过的数据导入或加载到数据仓库中, 根据用户的需求设立数据集市, 完成数据仓库的复杂查询、决策分析和知识挖掘等。同时, 针对不同类型的数据进行相应的数据管理。

d）数据分析模块：该模块对分析需要的数据进行有效集成, 按多维模型予以组织, 以便进行多角度、多层次的分析,并发现趋势。 该模块包括数据分析器和事件分析器。数据分析包括三方面的功能:

基本统计功能, 如按线路、路由器端口、网络或自治域统计流量; 按应用类型统 计流量分布。

性能趋势预测, 按照一些数学模型, 如时间序列预测、回归分析、概率预测、判断预测技术、最优分割预测、判断分析预测等, 对基础数据做进一步加工处理, 作为网络规划的参考。

数据关联分析, 利用数据挖掘技术对基础数据进行旋转、关联, 发现潜在的问题。在进行数据 分析时, 数据扫描任务由一组数据扫描器实现。数据扫描 器的功能是把数据( 或一批数据) 按特定要求格式化, 以供后续性能分析工具所用。事件分析器根据特定的原则进行事件过滤, 并决定适当的处理方式。事件按紧急程度划分为不同的优先级, 优先级高的事件优先响应。对于由同一问题引发的连续事件尽量归并, 对于不同来源的事件应尽量关联。

（5）工控设备智能识别定位

安全探针具有半自动网络拓扑发现技术和半自动拓扑绘制技术，可将被监测的工业控制网的拓扑在页面上动态呈现。包括识别上下位设备的IP地址、MAC地址等设备属性发现网络资产，以及管理员对拓扑图上的设备属性进行修改、添加设备或者删除设备，并根据设备通信状态进行连线生成动态拓扑图。

当控制网中设备发生异常行为，安全探针可直接在拓扑图相应设备上进行报警。独特的不间断的网络监视功能，非常直观方便的告知用户是哪台设备发生异常。网络拓扑可完全呈现出网络中正在进行的工作过程及安全事件，更直观的对入侵行为进行监测。

安全探针可自动发现网络资产及资产间通信状态，可半自动生成网络结构动态拓扑图并可通过人工修改拓扑图。动态拓扑图上可完全呈现出网络中正在进行的工作过程及安全事件，实现对网络中用户资产的梳理，实时可见通讯状态，以及报警的精准定位。

案例分析(案例1-苏州某光伏企业)：

检测到网络攻击：发现有境外扫描器对企业内网资产进行扫描嗅探。

检测到有害程序：发现2台资产中木马，并且木马程序与外部CC服务器连接。

检测到了有害程序：发现永恒之蓝病毒。

处置方式：

内网资产关闭不必要的映射端口和服务到互联网。

外网出口防火墙配置安全访问防护策略。

对中木马的资产进行病毒查杀，并进行主机加固。

案例分析(案例2-江苏某化工企业)：

检测到恶意程序传播：多台服务器有传播恶意程序。

检测网络攻击：网络扫描。

检测到有害程序：基于smb协议传输恶意文件。

检测到异常违规行为事件：sql缓冲区溢出攻击

处置方式：

内网防火墙增加安全防护策略，异常IP加入黑名单。

内网资产关闭不必要的端口和服务。

对指定资产进行病毒木马查杀，并进行主机加固。

案例分析(案例3-江苏某电气公司)：

检测到有害程序：基于http协议的传输恶意文件，蠕虫传播。

检测到有害程序：检测到相关间谍软件用户代理。

检测到网络攻击事件：检测到基于http协议的ddos攻击工具HOIC。

检测到网络工具事件：检测到基于http的目录穿越

处置方式：

发现了大量攻击，与IT人员沟通，防护墙坏了导致，重装防火墙进行网络攻击防范。

4 效益分析

（1）贯彻落实信息安全政策文件和支撑服务政府工作

贯彻落实党中央、国务院相关文件精神，构建涵盖省级重要节点的工业监测网络，加强对所辖工业企业日常监督管理，形成快速高效、各方联动的信息通报预警.Yeah体系，持续完善我省工业网络安全保障体系。

（2）推动工业4.0、两化深度融合在我省安全可靠发展

构建企业侧态势感知系统，建立完善的监管体系，实现对全省工业企业安全事件监督管理，全力保障我省工业企业转型升级。

（3）逐步形成我省工业互联网信息安全风险预警和信息共享能力

全面掌握我省工业互联网暴露在公网的工业资产情况以及工业互联网的网络安全状况，有效促进我省各级主管部门和工业互联网运营单位提升工业网络安全意识、及时开展风险消减，逐步形成我省工业控制信息安全风险预警和安全信息共享能力。