华为堆叠技术讲解

什么是堆叠

堆叠的特征

堆叠的优缺点

华为堆叠技术

框式交换机堆叠技术CSS

CSS堆叠涉及的相关基础概念

主交换机选举过程

堆叠系统主备倒换

CSS两种堆叠口

CSS堆叠方式

CSS以太网链路聚合

本地优先转发

CSS双主检测

CSS版本升级

CSS堆叠实现与解除

盒式交换机堆叠技术iStack

iStack堆叠涉及的相关基础概念

iStack堆叠物理连接方式

主备交换机选举过程

堆叠成员加入与退出

堆叠合并

iStack双主检测

iStack堆叠升级、堆叠实现与解除

常见的堆叠组网与数据转发

为什么出现堆叠

堆叠之前的组网

VRRP+MSTP+Eth-trunk实现类似堆叠的效果

缺点

不过MSTP会阻塞链路，链路利用率不高

VRRP在Vlan数量对的情况下存在配置多的问题

因此提出了堆叠来到达相同的效果

什么是堆叠

把多台支持堆叠特性的单独交换机组合在一起（单独交换机之间通过堆叠线缆连接在一起），从逻辑上组成一台整体交换机，从逻辑上像一台交换机实现报文转发，同时用户使用一个IP对堆叠进行管理和维护

堆叠的特征

多台交换机虚拟为一台

多台交换机的转发平面合一（转发平面上只有一台设备工作，转发平面多台设备都工作）

堆叠设备逻辑上无环路

注意事项：

堆叠设备虽然逻辑上无环路，但是为了防止有人私接线路导致环路，还是需要开启MSTP来防止环路

堆叠的优缺点

优点

简化运维，多台设备被堆叠为一台设备

可靠性高，堆叠内一台设备故障，其他设备可以接管堆叠的控制和转发，避免单点故障

扩大带宽等优点

缺点

堆叠是一种非标准化技术，厂商自己定制标准，与厂商以及设备型号有强关联

升级业务会出现业务中断现象

堆叠线路出现故障，导致堆叠分裂，网络上会出现两台一摸一样的设备，造成网络配置冲突

堆叠后控制层面只有主设备的主控板正常工作，导致整个系统的物理节点规模就受限于主控能够节点的处理能力

可以从容应付一般的中、小型数据中心，对于一些超大型的云数据中心来说就显得力不从心

华为堆叠技术

华为S系列交换机堆叠助手

Huawei Info+ - 交换机堆叠助手 (企业网) - Huawei

华为堆叠技术分类

盒式交换机堆叠方式iStack技术（最大可以9~16台堆叠）

框式交换机堆叠方式CSS技术（只可以两台堆叠）

框式交换机堆叠技术CSS

CSS堆叠涉及的相关基础概念

 堆叠端口

堆叠端口是一个逻辑口（框式设备只有一个堆叠口）

将物理接口加入到此堆叠逻辑端口，这些物理口就成为了堆叠成员端口

堆叠成员角色

主交换机——只有一台

负责堆叠系统的管理和报文数据转发

备用交换机——只有一台或0台

只负责报文数据转发，当主交换机故障时，备用交换机会接替原主交换机的所有业务

当没有备用交换机时，就称作单机堆叠（部分交换机支持）——此技术为CSS2技术

即一台交换机使能了堆叠功能，此堆叠系统只有一台主交换机（无备用交换机）

总结

主备交换机都转发流量，不分主备

只有主交换机进行系统的管理，在控制平面上分主备

堆叠成员ID

堆叠成员交换机的编号（Member ID），唯一的，用来标识和管理成员交换机

如果备交换机的成员ID与主的成员ID相同

则主交换机会为备交换机重新分配堆叠成员ID

堆叠成员ID决定着堆叠成员交换机的接口编号

当设备未运行堆叠功能时，接口编号采用三维格式“槽位号/子卡号/端口号”；

当设备运行堆叠功能时，堆叠成员端口的接口编号会变成四维格式“堆叠成员ID/槽位号/子卡号/端口号”

堆叠优先级

主要用来确定成员交换机的角色

优先级高的不一定是Master，只能说优先级高的成员交换机成为主交换机的几率更大

一般建议将优先级最大值分配给希望成为主交换机的设备

堆叠域

用来区分不同的堆叠系统，堆叠成员交换机做的集合就为堆叠域

一个网络可以有多个堆叠域

主交换机选举过程

主交换机选举规则如下（依次从第一条开始判断，直至找到最优的交换机才停止比较）：

• 运行状态比较，最先完成启动的交换机优先选为为主交换机
• 堆叠优先级比较，堆叠优先级高的交换机选为为主交换机
• 软件版本比较，软件版本高的交换机优先选为为主交换机
• 主控板数量比较，有2块主控板的交换机比只有1块主控板的交换机优先选为为主交换机
• 桥MAC地址比较，桥MAC地址小的交换机优先选为为主交换机

（设备在出厂时会被分配一段MAC地址（16个），其中最小的MAC地址即为桥MAC地址）

堆叠系统主备倒换

导致主备交换机倒换的因素较多

此处主要介绍由主控板故障引起的主备倒换以及通过命令执行的主备倒换

关于CSS系统的介绍

主MPU（系统主）：主交换机通过此MPU来负责整个CSS系统的管理

备MPU（系统备）：主MPU的热备份，在主MPU故障时承担CSS的管理

从MPU（候选备）：作为MPU的冷备份，一旦主备MPU当中的一个发生故障，从MPU将自动升级为备MPU

CSS转发通道：通过业务线卡或者集群卡组成，进行CSS主备间的业务转发、数据同步

业务线卡：向CSS系统外提供业务接入和转发

堆叠系统主用交换机的主控板故障

原备升为主，原主降为备

 堆叠系统备用主控板故障

主备角色不发生变化

通过命令执行主备倒换后

原备升为主，原主降为备

CSS两种堆叠口

使用专用集群卡和专用的堆叠线缆堆叠

将专用集群子卡插入交换网板中作为堆叠口，不占用业务口槽位

直接使用交换网板上的业务口和普通线缆堆叠

直接将业务口作为堆叠端口，无需采购额外部件，降低了成本

随着设备性能的显著提升，此堆叠方式将大放异彩

部分交换机只支持集群卡做堆叠口堆叠，部分交换机只支持业务口做堆叠口堆叠，部分交换机两者都支持

CSS堆叠方式

堆叠涉及到的两种链路

管理链路：主用交换机通过管理链路负责堆叠系统管理

转发链路：主用、备用交换机通过转发链路进行数据转发

主控板直连方式做堆叠

管理链路与转发链路分离

管理链路通过主控板上的SIP（光电混合口）接口连接来实现（每个主控板有两个SIP接口）

建议SIP都使用光口或都是用电口（当有光口也有电口时，优选光口）

转发链路可以用业务口，也可以用集群子卡来实现

业务板直连方式做堆叠

管理链路与转发链路合一

控制链路可以用业务口，也可以用集群子卡来实现

转发链路可以用业务口，也可以用集群子卡来实现

配置命令

Stack link-type mainboard-direct/linecard-direct（主控板直连/业务板直连）

配置堆叠成员设备之间的连接方式，默认为主控板直连方式

CSS以太网链路聚合

对得支持以太网链路聚合协议，将不同成员交换机上的物理以太网端口配置为一个聚合端口

保证了数据流量的可靠性传输

 注意事项

当通过Eth-Trunk根据负载分担算法走路时，通过两条路走，可能导致时延不一致

对于时延要求高的业务，可以适当调整Eth-trunk负载分担算法，保证同一流走同一条路，保证时延一致

本地优先转发

在流量转发时，根据Eth-trunk负载分担算法，发现绿色流量绕行到另一个Eth-Trunk成员端口转发，降低了流量转发效率，此时就可以使用Eth-trunk的本地优先转发技术来解决这个问题

什么是本地优先转发

从本设备进入的流量，优先从本设备转发出去，减轻CSS转发通道的负担，减少转发延迟

如果本设备的接口出现故障，在会从其它成员交换机的接口转发出去

注意事项

流量本地优先转发功能只对已知单播有效，对广播、组播和未知单播均不生效。

对于组播、广播、未知单播有单向隔离机制，避免重复报文泛洪

但是设备如果有其它同子网链路，会继续将组播、广播等报文泛洪到其链路中

配置命令

华为默认开启了本地优先转发

Eth-trunk视图下

Undo local-preference disable 使能Eth-trunk接口流量本地转发功能

CSS双主检测

堆叠分裂

什么是堆叠分裂

堆叠建立后，主交换机和备交换机之间定时发送心跳报文来维护堆叠系统的状态

当堆叠线缆、主控板发生故障或者其中一台交换机下电、重启都会导致两台交换机之间失去通信，导致堆叠系统分裂为两台独立的交换机

堆叠分裂的危害

堆叠分裂后，若两台交换机都正常运行，其两台交换机配置完全相同，会以相同的IP地址和MAC地址（堆叠系统MAC）与网络中的其他设备交互，这样就导致IP地址和MAC地址冲突，引起整个网络故障。此现象就称为双主现象。

可以依靠堆叠的双主检测来避免堆叠分裂后出现双主现象

注意事项

堆叠分裂不一定会产生双主现象，设备下电、重启会导致堆叠分裂，但是不会导致双主故障

双主检测（DAD）

DAD（Dual-Active Detect）是一种检测和处理堆叠分裂的协议，可以实现分裂的检测、冲突处理和故障恢复，降低堆叠分裂对业务的影响

冲突处理和故障恢复机制

配置双主检测后，主交换机在检测链路上发送DAD竞争报文。

堆叠分裂后，每个交换机都认为自己为主，都发送DAD竞争报文，并将接收到的竞争报文信息与本部分竞争信息做比较。

如果本端胜出，则不做处理，继续保持Active（正常工作状态）状态，正常转发业务报文

如果本部分竞争失败，则除保留端口（保留端口可以手动配置）外的所有业务端口Error-Down，转入Recovery（业务禁用状态）状态，停止转发业务报文。

DAD竞争规则如下（依次从第一条开始判断，直至找到最优的交换机才停止比较）：

堆叠优先级比较，堆叠优先级高的交换机优先竞争胜出

设备MAC地址比较，MAC地址小的交换机优先竞争胜出

在主控板直连方式下，会优先比较整机业务口Down的原因（比不出来在比较堆叠优先级与MAC地址）

当接口Down的原因不是以下两种的交换机胜出

因无转发链路而导致的整机业务口Error-Down（no-stack-link）

因接口板和交换网板之间的链路故障而导致的整机业务口Down（fabric-link-failure）

以上接口Down的原因同时存在时，因no-stack-link导致接口Down的交换机胜出

如果接口Down的原因都一致，比较堆叠优先级、MAC地址

DAD检测方式

通过中间设备的直连检测方式

双主检测的报文是根据BPDU改造的，在通过中间设备直连检测方式中，中间设备需要做BPDU透传功能

Eth-trunk代理方式双主检测

通过堆叠与代理设备相连的跨设备Eth-trunk链路进行双主检测，代理设备需要启用DAD代理功能

代理设备可以是一台单独的交换机，也可以是一个堆叠系统（即两堆叠系统互为代理）

管理网口检测

要求堆叠系统的管理网口必须配置IP地址（堆叠后，整个系统逻辑上只显示一个管理网口，Meth0/0/0/0，只需要在这一个管理网口下配置IP地址）

实际的物理设备上，一个堆叠系统有多个管理网口，即多个物理管理网口映射为一个逻辑管理网口

堆叠端口双主检测

只有堆叠连接方式为主控板直连时，才可以使用堆叠端口检测方式

CSS版本升级

三种升级方式

传统升级方式

通过指定启动文件后整机重启进行升级，业务中断时间较长

快速升级方式

ISSU升级方式（在线业务软件升级，升级不断业务）

通过单板（主控板）级别倒换实现堆叠系统的升级，可靠性更高，业务中断时间更短

ISSU升级方式

无损升级-当所有特性都支持ISSU升级时，设备进行无损升级

有损升级-当有部分特性不支持ISSU升级时，设备进行有损升级

ISSU升级过程-四个阶段

升级过程类似于快速升级方式，不过ISSU是基于主控板来实现的

版本回退（能使处于ISSU升级过程中的系统恢复到升级前的版本）

通过ISSU升级回退定时器自动回退：

在ISSU升级进入ISSU Check阶段时，回退定时器被激活。

如果在进入ISSU Switchover阶段之前回退定时器超时，系统将自动恢复到升级前的版本

通过ISSU Abort功能手动回退：

在ISSU Switchover阶段前，用户可以使用命令执行ISSU Abort功能

让系统恢复到升级前的版本状态。

CSS堆叠实现与解除

实现步骤

提前规划堆叠方案（成员ID、主备j交换机、堆叠域、堆叠方式）

连接堆叠线缆（主控板直连或业务板直连）

根据规划的堆叠方案配置堆叠属性

配置堆叠端口

检查堆叠配置信息

保存配置并使能设备堆叠功能（使能堆叠后设备会自动重启）

检查堆叠是否组建成功

配置双主检测功能

解除步骤

操作员分别向主备设备下发undo stack enable命令，去使能设备的堆叠功能

操作员分别向主备设备下发Restart命令，重启命令

设备重启后，设备成为两台独立的设备，拆除其堆叠线缆

盒式交换机堆叠技术iStack

iStack堆叠涉及的相关基础概念

相比于CSS，在交换机角色和堆叠端口上有所改变

主和备都只有一台，作用同CSS

堆叠成员角色（多了从交换机）

主交换机——只有一台

负责堆叠系统的管理和报文数据转发

备用交换机——只有一台或0台

只负责报文数据转发，当主交换机故障时，备用交换机会接替原主交换机的所有业务

从交换机——多台或0台

只负责报文数据转发，从交换机的数量越多，堆叠系统的转发能力越强

除了主和备，堆叠系统的其它交换机都为从交换机

当没有备用和从交换机时，就称作单机堆叠（部分交换机支持）——此技术为CSS2技术

即一台交换机使能了堆叠功能，此堆叠系统只有一台主交换机（无备和从交换机）

总结

主备交换机都转发流量，不分主备

只有主交换机进行系统的管理，在控制平面上分主备

堆叠端口

支持两个逻辑的堆叠端口（一台交换机最多与两台设备堆叠）

iStack堆叠物理连接方式

链形连接

环形连接

两者之间的区别

主备交换机选举过程

堆叠建立时，成员设备间互发堆叠竞争报文，选举出主交换机

主交换机选举规则如下（依次从第一条开始判断，直至找到最优的交换机才停止比较）：

• 运行状态比较，最先完成启动的交换机优先选为为主交换机。
• 堆叠优先级比较，堆叠优先级高的交换机选为为主交换机。
• 软件版本比较，软件版本高的交换机优先选为为主交换机。
• 桥MAC地址比较，桥MAC地址小的交换机优先选为为主交换机。

（设备在出厂时会被分配一段MAC地址（16个），其中最小的MAC地址即为桥MAC地址）

备交换机的选举

当主交换机发现成员交换机的成员ID冲突，会为成员交换机重新分配成员ID

主交换机选举完成后，主交换机会收集成员交换机的信息并计算拓扑，然后将整个堆叠系统的拓扑信息同步给所有成员交换机，并选举出一台备用交换机（选举规则如下）

• 软件版本比较，软件版本高的交换机优先选为为主交换机。
• MAC地址比较，MAC地址小的交换机优先选为为主交换机。

堆叠成员加入与退出

堆叠成员加入

加入前先分析当前堆叠的物理连接，选择加入点

       链形连接---新加入的交换机建议添加在链形的两端

       环形连接---需要把当前环形拆成链形，在链形的两端添加设备，重新组成环形

堆叠成员的退出

不同的物理连接拆除堆叠线缆和移除交换机的过程不同

       链形连接---拆除中间交换机会造成堆叠分裂（要在拆除前进行业务分析，尽量减少对业务的影响）

       环形连接---成员交换机退出后，为保证网络的可靠性还需要把退出交换机的两个端口通过堆叠线缆进行连接

堆叠合并

将稳定运行的两个堆叠系统合并为一个新的堆叠系统，两个堆叠系统的主交换机进行竞争

竞争胜出的主交换机以及所在的堆叠系统将保持原有主、从角色和配置不变

竞争失败的主交换机所在的堆叠系统的所有成员交换机将重新启动，以从交换机角色加入到新的堆叠系统中

两个堆叠主竞争规则

• 主交换机的堆叠优先级比较，堆叠优先级高的竞争胜出
• 主交换机的软件版本比较，软件版本高的竞争胜出
• 主交换机的桥MAC地址比较，桥MAC地址小的竞争胜出

（设备在出厂时会被分配一段MAC地址（16个），其中最小的MAC地址即为桥MAC地址）

什么情况称为堆叠合并

• 待加入堆叠系统的交换机配置了堆叠功能，在不下电的情况下，使用堆叠线缆连接到正在运行的堆叠系统。
• 堆叠链路或设备故障导致堆叠分裂，链路或设备故障恢复后，分裂的堆叠系统重新合并。

iStack双主检测

堆叠分裂

什么是堆叠分裂

稳定运行的堆叠系统中带电移出部分成员交换机、或者堆叠线缆故障导致一个堆叠系统变成多个堆叠系统，都称为堆叠分裂

堆叠分裂的分类

根绝堆叠分裂后主交换机和备交换机所处的位置不同可以分为两类

堆叠分裂后，原主、备交换机在同一堆叠系统中

原主交换机会重新计算堆叠拓扑，将移出的成员交换机的拓扑信息删除，并将新的拓扑信息同步给其他成员交换机；

而移出的成员交换机将自动复位，重新进行选举，形成新的堆叠系统。

堆叠分类后，原主、备交换机在不同堆叠系统中

原主交换机所在堆叠系统重新指定备交换机，重新计算拓扑信息并同步给其他成员交换机；

原备交换机所在堆叠系统将发生备升主，原备交换机升级为主交换机，重新计算堆叠拓扑并同步到其他成员交换机，并指定新的备交换机。

双主检测

相比于CSS双主检测，多了全互联双主检测模式（Full-mesh全连接）

Full-mesh全连接时，由于成员设备两两之间都需要连线，在成员设备数量较多的情况下，会占用较多的业务口。因此当堆叠成员设备数量在三台或以上时，建议优先采用Eth-Trunk口代理检测方式。

iStack堆叠升级、堆叠实现与解除

同CSS堆叠升级、堆叠实现与解除

常见的堆叠组网与数据转发