一、引言

现今几乎各行各业内部都建立了自己的服务器，由于服务器的特殊地位，它的可靠性、可用性及其 I/O 速度就显得非常的重要， 保持服务器的高可用性和安全性是企业级IT 环境的重要指标，其中最重要的一点是服务器网络连接的高可用性，为实现这些要求，现在服务器大都采用多网卡配置，系统大都采用现在非常流行的 linux 作为服务器工作的环境。现在带宽已经不是服务质量提高的瓶颈了，相对的网络设备和服务器的处理能力就渐渐成为新的瓶颈。为提高服务器的网络连接的可用性和可靠性，目前Sun公司的Trunking技术、3Com 公司的 DynamicAccess 技术、Cisco 公司的Etherchannel技术等等都在研究将服务器的多个网卡接口绑定在一起的链路聚集技术, 链路聚集技术将多个链路虚拟成一个逻辑链路进而提供了一种廉价、有效的方法扩展网络设备和服务器的带宽，提高网络的灵活性与可用性。

本文介绍 linux 下的 bonding 技术，linux 2.4.x 的内核中采用了这种技术，利用 bonding 技术可以将多块网卡接口通过绑定虚拟成为一块网卡，在用户看来这个聚合起来的设备好像是一个单独的以太网接口设备，通俗点讲就是多块网卡具有相同的 IP 地址而并行连接聚合成一个逻辑链路工作。

二、bond的几种算法

Linux的bond支持7种工作模式,可以参考内核源码包文件： Documentation/networking/bonding.txt 。这里逐一介绍。

模式1：mode=0 ，即：(balance-rr) Round-robin policy（平衡轮循策略）

特点：传输数据包顺序是依次传输（即：第1个包走eth0，下一个包就走eth1….一直循环下去，直到最后一个传输完毕），此模式提供负载平衡和容错能力；但是我们知道如果一个连接或者会话的数据包从不同的接口发出的话，中途再经过不同的链路，在客户端很有可能会出现数据包无序到达的问题，而无序到达的数据包需要重新要求被发送，这样网络的吞吐量就会下降。

模式2：mode=1，即： (active-backup) Active-backup policy（主-备份策略）

特点：只有一个设备处于活动状态，当一个宕掉另一个马上由备份转换为主设备。mac地址是外部可见得，从外面看来，bond的MAC地址是唯一的，以避免switch(交换机)发生混乱。此模式只提供了容错能力；由此可见此算法的优点是可以提供高网络连接的可用性，但是它的资源利用率较低，只有一个接口处于工作状态，在有 N 个网络接口的情况下，资源利用率为1/N

模式3：mode=2，即：(balance-xor) XOR policy（平衡策略）

特点：基于指定的传输HASH策略传输数据包。缺省的策略是：(源MAC地址 XOR 目标MAC地址) % slave数量。其他的传输策略可以通过xmit_hash_policy选项指定，此模式提供负载平衡和容错能力。

模式4：mode=3，即：broadcast（广播策略）

特点：在每个slave接口上传输每个数据包，此模式提供了容错能力。

特点：创建一个聚合组，它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。

外出流量的slave选举是基于传输hash策略，该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的是，并不是所有的传输策略都是802.3ad适应的，尤其考虑到在802.3ad标准43.2.4章节提及的包乱序问题。不同的实现可能会有不同的适应性。

必要条件：

条件1：ethtool支持获取每个slave的速率和双工设定

条件2：switch(交换机)支持IEEE 802.3ad Dynamic link aggregation

条件3：大多数switch(交换机)需要经过特定配置才能支持802.3ad模式

模式6：mode=5，即：(balance-tlb) Adaptive transmit load balancing（适配器传输负载均衡）

特点：不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载（根据速度计算）分配外出流量。如果正在接受数据的slave出故障了，另一个slave接管失败的slave的MAC地址。

该模式的必要条件：ethtool支持获取每个slave的速率。

模式7：mode=6，即：(balance-alb) Adaptive load balancing（适配器适应性负载均衡）

特点：该模式包含了balance-tlb模式，同时加上针对IPV4流量的接收负载均衡(receive load balance, rlb)，而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答，并把源硬件地址改写为bond中某个slave的唯一硬件地址，从而使得不同的对端使用不同的硬件地址进行通信。

平时经常用到的是mode=0、mode=1、mode=4、mode=6算法。

三、bond配置

A、centos/redhat下的配置1

1、dist.conf配置

1# vim /etc/modprobe.d/dist.conf
2# 编缉该配置文件，在行尾增加如下内容
3alias bond0 bonding
4options bond0 miimon=100 mode=1
5alias bond1 bonding
6options bond1 miimon=100 mode=1
7alias net-pf-10 off  //这行是关闭ipv6支持,也可以不要

说明：miimon 是用来进行链路监测的。如果miimon=100，那么系统每100ms 监测一次链路连接状态，如果有一条线路不通就转入另一条线路；mode 的值表示工作模式 。一些老的redhat/centos发行中已使用/etc/modprobe.conf配置文件。

2、网卡配置

1# cat ifcfg-eth0
2DEVICE=eth0
3TYPE=Ethernet
4ONBOOT=yes
5BOOTPROTO=none
6USERCTL=no
7MASTER=bond1
8SLAVE=yes

这里只列出了eth0网卡的配置。假设目前服务器有四快网卡，eth0、eth1配置为bond1，eth2、eth3配置为bond0 。参照上面的配置，同理eth1网卡只需复制一份eth0的配置，修改下设备名；再复制两份为eth2、eth3，需要修改DEVICE和MASTER bond名称即可。

3、bond 网卡配置

以bond1网卡为例：

1# cat ifcfg-bond1
2DEVICE=bond1
3TYPE=Ethernet
4ONBOOT=yes
5BOOTPROTO=static
6USERCTL=no
7IPADDR=10.211.89.202
8NETMASK=255.255.255.224
9#GATEWAY=10.211.89.193

注：centos/redhat下有network和NetworkManager两个服务管理网卡，两个服务同时开启在配置bond生效后会有报错。可以通过以下配置命令关闭NetworkManager服务：

1# /etc/init.d/NetworkManager stop
2# chkconfig NetworkManager off

B、centos/redhat下的配置2

bond选择的配置也可以不配置在dist.conf文件，而直接配置在ifcfg-bond网卡接口中，具体如下：

1# vim /etc/sysconfig/network-scripts/ifcfg-bond0
2DEVICE=bond0
3BOOTPROTO=none
4ONBOOT=yes
5IPADDR=192.168.0.180
6NETMASK=255.255.255.0
7GATEWAY=192.168.0.1
8USERCTL=no
9BONDING_OPTS="mode=1 miimon=100"

C、sles（suse）下的配置

suse类似于redhat/centos，即支持写到modprobe配置文件，也支持在bond网卡配置文件中增加。以下是在bond网卡中的配置（注意和上面使用BONDING参数项略有不同）：

1# vim /etc/sysconfig/network/ifcfg-bond0
2BOOTPROTO='static'
3IPADDR='10.211.0.21'
4NETMASK='255.255.255.0'
5STARTMODE='onboot'
6BONDING_MASTER='yes'
7BONDING_MODULE_OPTS='mode=1 miimon=200 use_carrier=1'
8BONDING_SLAVE0='eth1'
9BONDING_SLAVE1='eth2'

四、删除bonding设备

如由于最初配置的bonding设备取名为bond0，而后改名为了bond1，造成了两个bonding设备的存在，现在需删除bond0 。先查看下网络设备：

1# ls /sys/class/net
2bond0  bond1  bonding_masters  eth0  eth1  lo

直接删除bond0，会提示无权限。可以通过bonding_masters文件删除bond设备：

1# cat bonding_masters
2bond0  bond1
3直接编辑bonding_masters文件会提示权限问题
4# echo -bond0 > bonding_masters
5echo后的 - 号表示删除设备， + 号表示添加设备
6# cat bonding_masters
7bond1
8# ls /proc/net/bonding
9bond1

可以看出bond网口已经删除成功。

1把eth0加入bond(bond0)：
2# echo +eth0 > /sys/class/net/bond0/bonding/slaves
3从bond(bond0)里移除eth0：
4# echo -eth0 > /sys/class/net/bond0/bonding/slaves

增加第一个bond，带有两个e1000接口，工作于active-backup模式，使用ARP监控，可以通过如下命令：

 1# modprobe e1000
 2# echo +bond1 > /sys/class/net/bonding_masters
 3# echo active-backup > /sys/class/net/bond1/bonding/mode
 4或
 5echo 1 > /sys/class/net/bond1/bonding/mode
 6# ifconfig bond1 192.168.2.1 netmask 255.255.255.0 up
 7增加arp目标地址：
 8# echo +192.168.2.100 /sys/class/net/bond1/bonding/arp_ip_target
 9# echo 2000 > /sys/class/net/bond1/bonding/arp_interval
10# echo +eth2 > /sys/class/net/bond1/bonding/slaves
11# echo +eth3 > /sys/class/net/bond1/bonding/slaves

查看bond接口信息：

 1# cat /proc/net/bonding/bond1
 2Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)
 3Bonding Mode: fault-tolerance (active-backup)
 4Primary Slave: None
 5Currently Active Slave: eth0
 6MII Status: up
 7MII Polling Interval (ms): 100
 8Up Delay (ms): 0
 9Down Delay (ms): 0
10Slave Interface: eth0
11MII Status: up
12Speed: 1000 Mbps
13Duplex: full
14Link Failure Count: 0
15Permanent HW addr: a0:b3:cc:e5:97:68
16Slave queue ID: 0
17Slave Interface: eth1
18MII Status: up
19Speed: 1000 Mbps
20Duplex: full
21Link Failure Count: 0
22Permanent HW addr: a0:b3:cc:e5:97:6c
23Slave queue ID: 0

五、ifensalve 工具

ifensalve是一款linux下的负载均衡工具，使用ifensalve 配置bonding，如下：

1# modprobe bonding mode=1 miimon=100
2# ifconfig bond0 192.168.1.10 netmask 255.255.255.0
3# ifenslave bond0 eth0  eth1

也可以使用ifensalve 工具从bond接口里删除一个物理接口，如：

1# ifenslave -d bond0 eth0

同样可以使用ifensalve工具将一个物理接口作为active接口：

1# ifenslave -c bond0 eth0

还可以使用ifenslave bond0 显示接口的详细信息。

参考页面：redhat Channel Bonding Interfaces