数字化工业网络需求、架构与关键技术分析

今天我们分享典型工业网络需求、架构与关键技术分析~

01

工业网络需求

工业互联网中的整个生产经营流程大体可分为研发设计、生产制造、物流仓储、运维服务等场景【1】。工业网络的概念已经从最初的工业控制网络延伸到包含工业控制网络（OT）、工业信息网络（IT）以及工业物联网在内的网络全集。工业网络主要应用可以体现在运动/过程控制、监控及测量、机器视觉、数字孪生、精准定位，预测性维护等6个典型场景中，由于流量特征的差异，不同场景对于确定性网络的能力要求不尽相同。表1从带宽、时延、抖动、丢包、时间同步等网络关键性能指标分析了上述场景对于工业网络的确定性需求。

表1 典型工业业务网络需求表



工业控制网络（OT）主要连接工业现场设备，需要同时具备实时通信和非实时通信能力，对网络传输确定性要求极高，其流量具有报文长度小、周期性信号（测量、控制及监控）与非周期性信号（告警、程序上下载）共存、有限时间响应、较为固定的信息流向以及信息保序要求等特点。工业信息网络则与互联网流量特征相近，而工业互联网新业务（如OT/IT融合）的流量则兼具二者特点。可以看出新型工业网络将是一张业务种类多样、流量模型复杂的网络，其确定性不仅仅是某一类流量的确定性的实现，更要考虑在共网传输的情况下如何差异化保证各类业务的传输承载质量。因此，确定性工业网络需要解决时延控制、资源调配、跨域互通等3方面问题。

1.1  时延控制问题

端到端时延是确定性网络最关键的指标，所谓确定性就是要确定时延上限，甚至是抖动上限。确定性网络更专注于时延最大值不大于阈值，消除统计分布的长尾，如图1所示。



图1 网络时延采样分布示意图

确定性工业网络的端到端时延主要由转发时延、协议时延、排队时延以及物理时延组成。转发时延主要由转发设备的转发流程决定（如存储转发查表）。协议时延主要由承载网络协议决定（如TCP等拥塞控制协议丢包重传导致的时延）。排队时延则是由流量拥塞导致。物理时延则是与传输距离及介质相关【2】。

端到端时延的控制需要基于对于各类时延的联合控制，可以通过优化分组转发流程，减少转发时延；通过传送协议创新，减少协议时延；通过更优的流量工程方法缓解甚至避免拥塞，减少排队时延；通过联合部署边缘计算节点等方式，控制物理时延。除了物理时延以外，转发时延、协议时延及排队时延都是在网络节点内部产生。

1.2  资源调配问题

工业互联网时代网络作为基础设施，需要根据不同业务承载质量要求灵活选择确定性承载技术并进行精准资源匹配，差异化保证不同业务的承载传输质量也是确定性网络的一个重要指标。这需要网络架构支持模块化的资源分配及插卡式的服务提供方式，支持选择合理的网络资源及传送路径，实现传输跳数及距离的最优化。

1.3  跨域互通问题

新型的工业网络将是工业控制网络、工业信息网络及工业物联网络的集成，要实现源宿系统端到端确定性传输，异构网络的跨域协同问题同样不容小觑，工业互联网网络系统需要建立网络指标及参数的映射规则及异构网络的协同机制，才可以不受源宿系统部署位置的限制，在工业互联网全域实现全业务端到端确定性保证。

02

工业网络架构

2.1  确定工业网络业务架构

确定性工业网络要通过构建网络的确定性能力向应用提供差异化的端到端确定性服务保证，本文提出的确定性工业网络的业务架构如图2所示。



图2 确定性工业网络业务架构

确定性的工业网络涉及的网络域可以分为工厂内网、工厂外网以及互联网/其他3个大类。

工厂内网主要指工业现场的生产网络（OT）以及信息网络（IT），传统的生产网络以工业控制网络为主，由工业总线及以太网技术实现，可以满足控制系统信号的传输确定性；信息网络则主要以工厂信息系统及办公网络为主，OT网络与IT网络彼此隔离的现状已经无法满足产业数字化，工业互联网大趋势下多种业务彼此协同、共网传输的差异化的质量保证需求【3】。在此背景下，工厂内网需要既关注控制网络的确定性，又要具备多种业务共网传输保障能力。

工厂外网主要指企业分支间互联、企业与上下游合作互联所涉及的网络，主要可以分为园区网络和运营商网络2种运营模式。园区网络是指以实现园区企业设备互联和信息互通的网络基础设施，由园区到厂区、由管理到生产的综合性基础网络体系。运营商网络部分则通常采用专线方式，用于连接典型企业分支机构、异地工厂及数据中心等。由于业务上云，视频会议、远程控制、预测性维护等新型工业互联网业务的出现，确定性的工厂外网也应具备多种业务共网传输保障能力。

互联网及其他涉及网络主要对标消费互联网的相关业务，如供应链、销售所涉及的网页访问、电子商务等，对于确定性要求相对较低。

2.2  确定性工业网络分域架构

正如上节所述，新型工业网络往往包含多个局部网络，大部分业务仅需要在局域网络中满足其确定性需要，但由于工业互联网的蓬勃发展，数据流转范围逐步扩大，传输路径跨域的新兴业务不断涌现，比如数字孪生、预测性维护等业务就有大量数据需要从生产现场实时传送至企业信息网络或者园区数据中心，也可以通过运营商网络专线连接到其他分支机构。在这种情况下，网络系统除了保证局部区域内的网络确定性，还应该具备保证端到端网络确定性的协同机制。基于此，确定性工业网络应兼具域内确定性及跨域协同确定性，避免出现跨域后确定性指标严重劣化的情况。

确定性工业网络要通过构建网络的确定性能力向应用提供差异化的端到端确定性服务保证，本文提出的确定性工业网络的分域架构如图3所示。



图3 确定性工业网络分域架构图

此架构依据安全分区、网络规模、技术特征等原则对全网划分区域，在区域内部署集中式区域控制器，负责管理域内网络节点，学习本域拓扑信息，感知负载，发起及执行跨域通信，域内流量配置生成等。

全网需要部署端到端协同控制器，负责维护区域控制器的域级拓扑、全局信息处理、负载均衡和主备倒换决策、跨域流量配置生成等。

2.3  确定性工业网络分层架构

工业领域业务种类繁多，网络架构需要适应各类业务对网络的承载需求，并差异化满足其确定性要求。本文构建了一个通用的确定性工业网络分层架构，以应对工业领域碎片化的网络需求，具体如图4所示。



图4 确定性工业网络分层架构图

该体系结构基于SDN网络模型构建了一个开放的、可编程的分层体系结构。此架构分为设备层、控制层、业务层及应用层，控制层、业务层及应用层均应具备可编程性并在一定范围内实现接口开放。在工业网络业务类型繁杂，需求碎片化的情况下架构网络需要承载各类业务，同时要差异化保证各类业务的确定性，架构要兼具通用性和专业性。依据此架构构建的网络模型，其通用性从上至下递减，专业性自下而上递增。简单而言，设备层被视作通用资源存在，其功能性能需求实际由应用层的服务质量决定。

在业务发放阶段，应用层APP与工业应用相对应，感知工业应用服务质量；业务层的场景级协调器则对多类业务的服务质量要求进行整合、翻译及编排，以场景为单位生成网络指标模板（时延、抖动、丢包、可靠性、安全性等）；控制层的行业级控制器则负责将网络指标转化为对网络资源的需求（路径、带宽、QoS能力、安全分域），并进一步生成配置模板下发给设备层对全网进行实际的设备配置。

03

工业网络技术

3.1  流量调度

分组传输网络通常使用QoS系统来评估服务提供商满足客户服务需求的能力，即评估在传输过程中能够支持带宽、延迟、延迟抖动和丢包率等核心要求的服务能力，采用流量调度提高服务质量保障能力。交通调度通常基于优先级映射，使用交通监控和整形、拥堵管理和避免、流量策略等技术。

作为新一代以太网技术，TSN技术被认为是典型的确定性网络技术之一，因为它符合标准的以太网体系结构，具有准确的流量调度能力，能够保证公共网络高质量传输多业务流量，并且具有技术和成本优势。与分组传输网络的流量调度类似，TSN的流量调度也是基于上述机制实现的。最为典型的特性就是门控和抢占机制。

门控机制是TSN解决帧调度时延的确定性问题的关键技术，采用时间感知整形器（TAS）和门控列表(Gate Control Entries，GCEs),通过TAS实现队列时隙的时分复用，并根据流量的周期性、实时性、等时同步性等特征给每个队列分配时隙，隔离质量要求不同的流量【4】。

抢占机制是TSN实现流确定低时延传输的关键技术，在原有机制基础上新增加了高速MAC（express MAC, eMAC）和可抢占MAC（preemptable MAC, pMAC），不同优先级流量经过决策分别由eMAC和pMAC转发，eMAC帧有绝对的传输优先权，可以打断pMAC正在转发的帧，以此来保证eMAC流量的低时延【5】。

3.2  路径规划

流量调度技术是报文在单节点实现确定性转发的基础技术，但是确定性的路径也是保证报文端到端网络确定性的重要因素。无论是基于以太网的TSN还是基于IP的SRv6都建立了显式路径规划技术。该项技术可以基于SDN体系，在数据平面用IS-IS（Intermediate System-to-Intermediate System）、LSP（Path Control and Reservation）等协议执行拓扑发现和路径计算等基础功能，而在SDN的集中管理控制平面管理显式路径，实现与数据平面IS-IS协议的交互。

选择最短路径往往可以有效降低业务的链路时延，因此在相同约束条件（主要受网络负载及业务需求影响）的前提下，确定性网络需要选择最短路径进行转发。最短路径优先（Constrained Shortest Path First，CSPF）算法是最典型的路径选择算法，该算法基于dijkstra在选择路径的时候实现了约束的扩展，从而挑选出合适的路径。

3.3  质量调优

流量调度和路径规划都是在网络业务发放阶段配置以提升业务传输的确定性。在业务运行阶段，现网状态的变化可能会导致业务传输质量劣化。因此在线实时根据业务质量变化进行网络资源、配置的调整是实现业务稳定、保证确定性传输的关键。

SDN控制器通过引入人工智能技术，可以实现网络流量的智能优化【6】，具体如图5所示。



图5 SDN融合AI技术示意图

要构建确定性工业网络，首先需要明确工业互联网中的各类业务系统的应用服务质量要求，并进行网络相关业务需求的提炼，同时进一步量化成为业务质量指标，可以针对一个场景范围的业务进行质量指标聚类建模，初步构建业务模型。然后根据算法将业务体验指标向网络服务质量指标映射，并根据服务质量形成网络资源配置的约束条件，映射到网络资源模板，最终形成网络配置下发给网络。在网络业务承载运行过程中，还需要实时监测业务系统的运行状况，采集实时的业务体验数据，与质量指标进行比较，如果发现体验数据低于质量指标阈值，则触发网络调整机制。相应的网络系统在线对网络运行状态进行监控，如果网络状态出现异常或者服务质量低于指标，也将触发网络保护倒换或调优机制。

此外，实时获得的业务体验质量及网络服务质量还将用于训练业务模型、算法模型以及映射算法的参数，使业务体验对网络的驱动更精准，网络可以更精确地匹配业务系统需求【7】。

04

结束语

随着产业数字化转型的不断加快，传统业务的优化升级及新型业务的不断涌现，网络作为信息通信领域的基础措施，在复杂场景下对综合承载的各类业务实现差异化质量保证，确定性网络已经成为其发展的必然方向。确定性网络相关新技术技术不断涌现，如TSN、FlexE、5G uRLLC 、SRv6、边缘计算、网络分片、算网融合等。

确定性网络目前虽然已经渐渐成为产业界及学术界的关注和研究热点，但在概念、内涵及关键技术等方面还处于百花齐放的状态。工业互联网网络具有需求场景碎片化、业务模型多样化、网络资源复杂化的特点，确定性主要体现在对网络传输指标（带宽、时延、抖动、丢包）的精准保证上，这些指标则需要根据实际业务需求实现量化，确定性的实现则需要根据指标量化选择合适的确定性网络技术来实现。

确定性工业网络需要构建灵活统一的网络服务质量体系及技术架构，来兼顾多业务共网传输的成本因素与差异化业务质量保证的性能因素，才能满足工业互联网发展过程中传统业务升级改造及新兴业务对于网络承载的质量要求。

参考文献

[1]  朱瑾瑜，段世惠，张恒升，等. 时间敏感网络技术在工业互联网领域应用必要性分析[J]. 电信科学，2020，36（5）：115-124.

[2]  刘鹏，杜宗鹏，李永竞，等. 端到端确定性网络架构和关键技术[J]. 电信科学，2021，37（9）：64-73.

[3]  工业互联网产业联盟. 工业互联网网络连接白皮书1.0[EB/OL]. [2021-12-15]. https://max.book118.com/html/2019/0505/6001051033002030.shtm.

[4] IEEE.standard for local and metropolitan area networks-bridges and bridged networks-amendment 25：enhancements for scheduled traffic：802.1Qbv-2015[S]. Piscataway，NJ：IEEE，2016.

[5] IEEE.standard for local and metropolitan area networks-bridges and bridged networks-amendment 26：frame preemption：IEEE 802.1Qbu-2016[S]. Piscataway，NJ：IEEE，2016.

[6]  高赟，魏昕，周亮. 关于人工智能对用户QoE提升的若干思考[J]. 中兴通讯技术，2019，25（6）：59-64.

[7]  朱瑾瑜，陈洁，郭文双. 业务体验驱动的时间敏感网络架构研究[J]. 信息通信技术与政策，2021，47（1）：74-81.

作者简介：

朱瑾瑜，工程师，硕士，主要从事工业互联网网络架构、时间敏感网络技术、确定性网络、移动承载网络等技术相关研究咨询工作及标准化工作；

陈洁，硕士，工程师，主要从事工业互联网网络架构、园区网络等技术研究及标准化工作；

段世惠，教授级高级工程师，博士，主要从事工业互联网网络、工业云平台等技术相关研究咨询及标准化工作。

+