多网卡绑定-负载均衡
保持服务器的高可用性是企业级 IT 环境的重要因素。其中最重要的一点是服务器网络连接的高可用性。网卡(NIC)绑定技术有助于保证高可用性特性并提供其它优势以提高网络性能。 双网卡绑定实现就是使用两块网卡虚拟成为一块网卡,这个聚合起来的设备看起来是一个单独的以太网接口设备,通俗点讲就是两块网卡具有相同的IP地址而并行链接聚合成一个逻辑链路工作。其实这项技术在Sun和Cisco中早已存在,被称为Trunking和Etherchannel技术,在Linux的2.4.x的内核中也采用这这种技术,被称为bonding。bonding技术的最早应用是在集群——beowulf上,为了提高集群节点间的数据传输而
的。下面我们讨论一下bonding 的原理,什么是bonding需要从网卡的混杂(promisc)模式说起。我们知道,在正常情况下,网卡只接收目的硬件地址(MAC Address)是自身Mac的以太网帧,对于别的数据帧都滤掉,以减轻驱动程序的负担。但是网卡也支持另外一种被称为混杂promisc的模式,可以接收网络上所有的帧,比如说tcpdump,就是运行在这个模式下。bonding也运行在这个模式下,而且修改了驱动程序中的mac地址,将两块网卡的Mac地址改成相同,可以接收特定mac的数据帧。然后把相应的数据帧传送给bond驱动程序处理。 详细信息请参考RedHat中Bonding
实验的操作系统是Redhat Linux Enterprise AS3
绑定的前提条件:芯片组型号相同,而且网卡应该具备自己独立的BIOS芯片。
双网卡邦定的拓朴图(见附件)
1.编辑虚拟网络接口配置文件,指定网卡IP
vi /etc/sysconfig/ network-scripts/ ifcfg-bond0 [root@rhas-13 root]# cp /etc/sysconfig/network-scripts/ifcfg-eth0 ifcfg-bond0
2 #vi ifcfg-bond0
将第一行改成 DEVICE=bond0
# cat ifcfg-bond0
DEVICE=bond0
BOOTPROTO=static
IPADDR=172.31.0.13
NETMASK=255.255.252.0
BROADCAST=172.31.3.254
ONBOOT=yes
TYPE=Ethernet
这里要主意,不要指定单个网卡的IP 地址、子网掩码或网卡 ID。将上述信息指定到虚拟适配器(bonding)中即可。
[root@rhas-13 network-scripts]# cat ifcfg-eth0 DEVICE=eth0
ONBOOT=yes
BOOTPROTO=dhcp
[root@rhas-13 network-scripts]# cat ifcfg-eth1 DEVICE=eth0
ONBOOT=yes
BOOTPROTO=dhcp
3 # vi /etc/modules.conf
编辑 /etc/modules.conf 文件,加入如下一行内容,以使系统在启动时加载bonding模块,对
外虚拟网络接口设备为 bond0
加入下列两行
alias bond0 bonding
options bond0 miimon=100 mode=1
说明:miimon是用来进行链路监测的。 比如:miimon=100,那么系统每100ms监测一次链路连
接状态,如果有一条线路不通就转入另一条线路;mode的值
示工作模式,他共有0,1,2,3四
种模式,常用的为0,1两种。
mode=0表示load balancing (round-robin)为负载均衡方式,两块网卡都工作。
mode=1表示fault-tolerance (active-backup)提供冗余功能,工作方式是主备的工作方式,也
就是说默认情况下只有一块网卡工作,另一块做备份.
bonding只能提供链路监测,即从主机到交换机的链路是否接通。如果只是交换机对外的链路down掉了,而交换机本身并没有故障,那么bonding会认为链路没有问题而继续使用
4 # vi /etc/rc.d/rc.local
加入两行
ifenslave bond0 eth0 eth1
route add -net 172.31.3.254 netmask 255.255.255.0 bond0
到这时已经配置完毕重新启动机器.
重启会看见以下信息就表示配置成功了
................
Bringing up interface bond0 OK
Bringing up interface eth0 OK
Bringing up interface eth1 OK
................
下面我们讨论以下mode分别为0,1时的情况
mode=1工作在主备模式下,这时eth1作为备份网卡是no arp的
[root@rhas-13 network-scripts]# ifconfig 验证网卡的配置信息
bond0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0 UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1 RX packets:18495 errors:0 dropped:0 overruns:0 frame:0 TX packets:480 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0
RX bytes:1587253 (1.5 Mb) TX bytes:89642 (87.5 Kb)
eth0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0 UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1 RX packets:9572 errors:0 dropped:0 overruns:0 frame:0 TX packets:480 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000
RX bytes:833514 (813.9 Kb) TX bytes:89642 (87.5 Kb) Interrupt:11
eth1 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0 UP BROADCAST RUNNING NOARP SLAVE MULTICAST MTU:1500 Metric:1 RX packets:8923 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000
RX bytes:753739 (736.0 Kb) TX bytes:0 (0.0 b) Interrupt:15
那也就是说在主备模式下,当一个网络接口失效时(例如主交换机掉电等),不回出现网络中断,系
统会按照cat /etc/rc.d/rc.local里指定网卡的顺序工作,机器仍能对外服务,起到了失效保护
的功能.
在mode=0 负载均衡工作模式,他能提供两倍的带宽,下我们来看一下网卡的配置信息
[root@rhas-13 root]# ifconfig
Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B bond0
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0
BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1 UP
RX packets:2817 errors:0 dropped:0 overruns:0 frame:0 TX packets:95 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0
RX bytes:226957 (221.6 Kb) TX bytes:15266 (14.9 Kb)
eth0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0 UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1 RX packets:1406 errors:0 dropped:0 overruns:0 frame:0 TX packets:48 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000
RX bytes:113967 (111.2 Kb) TX bytes:7268 (7.0 Kb) Interrupt:11
eth1 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0 UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1 RX packets:1411 errors:0 dropped:0 overruns:0 frame:0
TX packets:47 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:112990 (110.3 Kb) TX bytes:7998 (7.8 Kb)
Interrupt:15
在这种情况下出现一块网卡失效,仅仅会是服务器出口带宽下降,也不会影响网络使用.
通过查看bond0的工作状态查询能详细的掌握bonding的工作状态
[root@rhas-13 bonding]# cat /proc/net/bonding/bond0
bonding.c:v2.4.1 (September 15, 2003)
Bonding Mode: load balancing (round-robin) MII Status: up
MII Polling Interval (ms): 0
Up Delay (ms): 0
Down Delay (ms): 0
Multicast Mode: all slaves
Slave Interface: eth1
MII Status: up
Failure Count: 0 Link
Permanent HW addr: 00:0e:7f:25:d9:8a
Slave Interface: eth0
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:0e:7f:25:d9:8b
本文出自 51CTO.COM技术博客
查看( 464 ) / 评论( 2 ) / 评分( 5 / 0 ) 1 实验环境
操作系统:CentOS Linux 5(Kernel:2.6.18-53.el5)
网卡说明:双网卡(非同品牌型号)名字分别为eth0、eth1
网络设置:192.168.1.201/24
2 配置方法
2.1 相关文件
/etc/sysconfig/network-scripts/ifcfg-bond0
/etc/sysconfig/network-scripts/ifcfg-eth0
/etc/sysconfig/network-scripts/ifcfg-eth1
/etc/modprobe.conf
/etc/rc.local
/proc/net/bonding/bond0
2.2 开始配置
1.备份eth0、eth1配置文件
# cd /etc/sysconfig/network-scripts
# cp ifcfg-eth0 bak.ifcfg-eth0
# cp ifcfg-eth1 bak.ifcfg-eth1
2.建立ifcfg-bond0
# vi ifcfg-bond0
加入如下内容:
DEVICE=bond0
ONBOOT=yes
BOOTPROTO=none
BROADCAST=192.168.1.255 IPADDR=192.168.1.201 NETMASK=255.255.255.0 GATEWAY=192.168.1.1
3.编辑ifcfg-eth0
# vi ifcfg-eth0
加入如下内容覆盖原有内容:
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=none
MASTER=bond0
SLAVE=yes
HWADDR=00:16:EC:AE:07:54
4.编辑ifcfg-eth1
# vi ifcfg-eth1
加入如下内容覆盖原有内容:
DEVICE=eth1
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=none
MASTER=bond0
SLAVE=yes
HWADDR= 00:50:BA:0C:65:02
5.编辑modprobe.conf
# cd /et c
# vi modprobe.conf
追加如下内容:
alias bond0 bonding
options bond0 miimon=100 mode=1
说明:
miimon表示链路检查间隔,单位为毫秒;mode的值表示工作模式,他共有0、1、2、3、4、5、6
七种模式,
0模式:负载均衡模式,RR方式,全负载均衡,需要Switch侧做Trunk,可失效一网卡;
1模式:热备模式,不需要Switch侧支持;
2模式:负载均衡模式,XOR方式,根据来源MAC;
3模式:广播模式,所有网卡一起收发数据包,可失效一网卡;
4模式:802.3ad模式,需要Switch支持802.3ad Dynamic Link Aggregation;
5模式:负载均衡模式,TLB方式,半负载均衡,发送为负载均衡,接收为动态分配,不需要Switch
侧支持,可失效一网卡;
6模式:负载均衡模式,ALB方式,全负载均衡,网卡需支持动态更改MAC,不需要Switch侧支持,
可失效一网卡;
常用的为0,1两种。
6.编辑rc.local
# vi rc.local
追加如下内容:
ifenslave bond0 eth0 eth1
route add -net 192.168.1.0 netmask 255.255.255.0 bond0
3 结果测试
重启服务器,在开机加载服务有如下提示输出则说明模块成功加载。
Bringing up interface bond0 [ OK ]
Bringing up interface eth0 [ OK ]
Bringing up interface eth1 [ OK ]
3.1 查看IP配置
输出信息应该与下方的输出类似
# ifconfig -a
bond0 Link encap:Ethernet HWaddr 00:16:EC:AE:07:54
inet addr:192.168.1.201 Bcast:192.168.1.255 Mask:255.255.255.0
inet6 addr: fe80::216:ecff:feae:754/64 Scope:Link
UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1
RX packets:10452933 errors:0 dropped:0 overruns:0 frame.:0
TX packets:2245803 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:2313966546 (2.1 GiB) TX bytes:1240415537 (1.1 GiB)
eth0 Link encap:Ethernet HWaddr 00:16:EC:AE:07:54
inet6 addr: fe80::216:ecff:feae:754/64 Scope:Link
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:10353385 errors:0 dropped:0 overruns:0 frame.:0
TX packets:2245519 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:2305237371 (2.1 GiB) TX bytes:1240369619 (1.1 GiB)
Interrupt:225 Base address:0xc800
eth1 Link encap:Ethernet HWaddr 00:16:EC:AE:07:54
inet6 addr: fe80::216:ecff:feae:754/64 Scope:Link
UP BROADCAST SLAVE MULTICAST MTU:1500 Metric:1
RX packets:99554 errors:0 dropped:0 overruns:0 frame.:0
TX packets:291 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:8729599 (8.3 MiB) TX bytes:47044 (45.9 KiB)
Interrupt:217 Base address:0xac00
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:12133 errors:0 dropped:0 overruns:0 frame.:0
TX packets:12133 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:18922380 (18.0 MiB) TX bytes:18922380 (18.0 MiB)
3.2 网关连通状态
# ping 192.168.1.1
PING 192.168.1.1 (192.168.1.1) 56(84) bytes of data.
64 bytes from 192.168.1.1: icmp_seq=1 ttl=255 time=0.608 ms 64 bytes from 192.168.1.1: icmp_seq=2 ttl=255 time=0.593 ms 64 bytes from 192.168.1.1: icmp_seq=3 ttl=255 time=0.800 ms 64 bytes from 192.168.1.1: icmp_seq=4 ttl=255 time=0.515 ms
--- 192.168.1.1 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3000ms rtt min/avg/max/mdev = 0.515/0.629/0.800/0.104 ms
3.3 查看bond0状态
# cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v3.1.2 (January 20, 2007)
Bonding Mode: fault-tolerance (active-backup) Primary Slave: None
Currently Active Slave: eth0
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Slave Interface: eth0
MII Status: up
Link Failure Count: 1
Permanent HW addr: 00:16:ec:ae:07:54
Slave Interface: eth1
MII Status: down
Link Failure Count: 2
Permanent HW addr: 00:50:ba:0c:65:02
3.4 Bond迁移状态
在同一网段用一台机器持续ping Bonding主机,然后拔掉eth0的网线,同时使用其他网络接入服务。
# ping 192.168.1.201
Pinging 192.168.1.201 with 32 bytes of data:
Reply from 192.168.1.201: bytes=32 time<1ms TTL=64 Reply from 192.168.1.201: bytes=32 time<1ms TTL=64 Reply from 192.168.1.201: bytes=32 time<1ms TTL=64 Reply from 192.168.1.201: bytes=32 time<1ms TTL=64 Reply from 192.168.1.201: bytes=32 time=3ms TTL=64 Reply from 192.168.1.201: bytes=32 time<1ms TTL=64 Reply from 192.168.1.201: bytes=32 time<1ms TTL=64 Reply from 192.168.1.201: bytes=32 time<1ms TTL=64 Reply from 192.168.1.201: bytes=32 time<1ms TTL=64
Ping statistics for 192.168.1.201:
Packets: Sent = 4, Received = 4, Lost = 0 (0% loss), Approximate round trip times in milli-seconds:
Minimum = 0ms, Maximum = 0ms, Average = 0ms #
在ping的同时开一个SSH登录到主机,并输入# top,可以看到中间只是顿了一下就恢复了,并没有
断;查看bond0状态,发现Currently Active Slave已经切换到eth1。 # cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v3.1.2 (January 20, 2007)
Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: eth1
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Slave Interface: eth0
MII Status: down
Link Failure Count: 1
Permanent HW addr: 00:16:ec:ae:07:54
Slave Interface: eth1
MII Status: up
Link Failure Count: 2
Permanent HW addr: 00:50:ba:0c:65:02
eth0网线插回去后,bonding并不会及时的将工作网卡切换到eth0,而是等到eth1链路失效后才会
切换回eth0
再拔掉eth1的网线查看bond0状态会发现Currently Active Slave已经切换回eth0
经过测试,实验成功~