一、keepalived架构

keepalived基于VRRP协议的软件，其原发起是为了解决LVS的HA问题而衍生的一个软件，所以其对LVS支持比较好，目前和其他软件像haproxy等也可以比较好的结合。主要实现的功能是作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover。其可以实现基于端口、基于hash值、基于页面返回码或自定义方式的后端健康检测。其架构如下：

keepalived
keepalived

从 kernel 空间来看，其主机分为ipvs模块与netlink 模块两部分。netlink主要实现各种网络功能及vrrp的实现，ipvs模块主要实现lvs ipvs功能 。其在启动的时候会生成三个进程。一个主进程，fork两个子进程，其中一个为VRRP子进程，另一个为后端健康检查 。

keepalived-process
keepalived-process

二、keepalived配置

keepalived服务的主配置文件为keepalived.conf，其配置主要分为如下几部分（具体可以参考keepalived包中的keepalived.conf.SYNOPSIS）：

 1* Globals configurations
 2    * Global definitions
 3    * Static addresses
 4    * Static routes
 5* VRRP configuration
 6    * VRRP scripts
 7    * VRRP synchronization group
 8    * VRRP instance
 9* LVS configuration
10    * Virtual server group
11    * Virtual server

1、全局配置（Globals configurations）

全局配置在官方文档里分两部分：全局定义和静态路由。实际在配置的时候，这个大的静态路由配置下又分为，静态地址配置和路由配置两部分。所以我上面将其划分成了三部分 。

1.1、全局定义（Global definitions）

 1global_defs {               # Block identification
 2    notification_email {        # Email to send alertes to
 3       [email protected]                 # 邮件接收人员信息，可以为多个
 4       [email protected]
 5       ...
 6    }
 7    notification_email_from [email protected]     # 邮件发送者地址
 8    smtp_server  127.0.0.1                 # SMTP server IP address
 9    smtp_connect_timeout 30                # 邮件发送连接超时时间，单位秒
10    router_id node1            # 机器标识，发送邮件时会知会此id
11    vrrp_mcast_group4 <IPv4 ADDRESS>       # optional, default 224.0.0.18
12    vrrp_mcast_group6 <IPv6 ADDRESS>       # optional, default ff02::12
13}

global_defs全局配置标识，表面这个区域{}是全局配置。notification_email配置的是keepalived在发生诸如切换操作时需要email接收者的地址，邮件地址可以多个，每行一个 。

1.2、静态地址与静态路由

 1static_ipaddress {   # block identification
 2    <IP ADDRESS>/<MASK> brd <IP ADDRESS> dev <STRING> scope <SCOPE>
 3    10.210.214.163/24 brd 10.210.214.255 dev eth0
 4    ...
 5}
 6static_routes {     # block identification
 7    src <IP ADDRESS> [to] <IP ADDRESS>/<MASK> via|gw <IP ADDRESS> dev <STRING> scope <SCOPE> table <TABLE-ID> # to is optional
 8    10.0.0.0/8 via 10.210.214.1 dev eth0
 9    src <IP ADDRESS> [to] <IP ADDRESS>/<MASK> via|gw <IP ADDRESS> or <IP ADDRESS> dev <STRING> scope <SCOPE> table <TABLE-ID> # will use multipath route
10    blackhole <IP ADDRESS>[/<MASK>]
11    ...
12}

上面这个配置一般用不到，这里是要你主机没有配置IP的时候，可以通过keepalived帮我们配置IP，这点需要和VIP区分开，这里配置的并不是VIP 。上面括号SCOPE里的值可以是site、link、host、nowhere、global 。

2、VRRP配置

VRRP配置分三部分：VRRP同步组、VRRP实例、VRRP脚本三部分。

2.1、VRRP同步组

 1vrrp_sync_group <STRING> {  # VRRP sync group declaration
 2    group {         # group of instance to sync together
 3      tomcat                # 这里定义的tomcat和mysql是实例名，和下面的VRRP实例配置对应
 4      mysql
 5      ...
 6    }
 7    notify_master /path/to/to_master.sh                # 切换到master状态时，要执行的脚本
 8    notify_backup /path_to/to_backup.sh                # 切换到backup状态时，要执行的脚本
 9    notify_fault <STRING>|<QUOTED-STRING>  # Script to run during FAULT transit
10    notify <STRING>|<QUOTED-STRING>    # 任意状态切换，都执行后面的脚本
11    smtp_alert       # 有切换时，进行全局配置中的邮件发送通知
12}

2.2、VRRP实例配置

 1vrrp_instance tomcat {              # 实例名和上面的同步组对应
 2    use_vmac                # Use VRRP Virtual MAC
 3    vmac_xmit_base          # Send/Recv VRRP messages from base
 4                    #  interface instead of VMAC interface
 5    native_ipv6             # Force instance to use IPv6
 6                    #  when using mixed IPv4&IPv6 conf
 7    state MASTER|BACKUP         # 默认启动时，作为 MASTER还是BACKUP
 8    interface eth0              # 监听接口
 9    track_interface {           # 哪些接口状态需要监控
10      eth0
11      eth1
12      <STRING> weight <INTEGER:-254..254>
13      ...
14    }
15    track_script {                     # Scripts state we monitor
16      <STRING>
17      <STRING> weight <INTEGER:-254..254>
18      ...
19    }
20    dont_track_primary                  # (default unset) ignore VRRP interface faults.
21                                        #  useful for cross-connect VRRP config.
22    mcast_src_ip <IP ADDRESS>       # src_ip to use into the VRRP packets
23    unicast_src_ip <IP ADDRESS>     # src_ip to use into the VRRP packets (alias to mcast_src_ip)
24    unicast_peer {          # Do not use multicast, instead send VRRP
25      <IP ADDRESS>          #  adverts to following list of ip address
26      ...               #  in unicast design fashion
27    }
28    lvs_sync_daemon_interface <STRING>  # Binding interface for lvs syncd
29    garp_master_delay 10            # delay for gratuitous ARP after MASTER
30                    #  state transition
31    garp_master_refresh <INTEGER>   # Periodic delay in seconds sending
32                    #  gratuitous ARP while in MASTER state
33    virtual_router_id <INTEGER-0..255>  # VRRP VRID
34    priority <INTEGER-0..255>       # VRRP PRIO
35    advert_int <INTEGER>        # VRRP Advert interval (use default)
36    authentication {            # Authentication block
37        auth_type PASS|AH       # Simple Passwd or IPSEC AH
38        auth_pass <STRING>      # Password string (up to 8 characters)
39    }
40    virtual_ipaddress {         # VRRP IP addres block
41        192.168.200.17/24 dev eth1
42        <IP ADDRESS>/<MASK> brd <IP ADDRESS> dev <STRING> scope <SCOPE> label <LABEL>
43        ...
44    }
45    virtual_ipaddress_excluded {        # VRRP IP excluded from VRRP
46        <IP ADDRESS>/<MASK> brd <IP ADDRESS> dev <STRING> scope <SCOPE> # packets
47        ...
48    }
49    virtual_routes {            # VRRP virtual routes
50        src <IP ADDRESS> [to] <IP ADDRESS>/<MASK> via|gw <IP ADDRESS> dev <STRING> scope <SCOPE> table <TABLE-ID> metric <METRIC> # to is optional
51        src <IP ADDRESS> [to] <IP ADDRESS>/<MASK> via|gw <IP ADDRESS> or <IP ADDRESS> dev <STRING> scope <SCOPE> table <TABLE-ID> # will use multipath route
52        ...
53    blackhole <IP ADDRESS>[/<MASK>]
54    }
55    nopreempt                   # Override VRRP RFC preemption default
56    preempt_delay               # Seconds after startup until
57                        #  preemption. 0 (default) to 1,000
58    debug                   # Debug level
59    notify_master <STRING>|<QUOTED-STRING>  # Same as vrrp_sync_group
60    notify_backup <STRING>|<QUOTED-STRING>  # Same as vrrp_sync_group
61    notify_fault <STRING>|<QUOTED-STRING>   # Same as vrrp_sync_group
62    notify_stop <STRING>|<QUOTED-STRING>    # Script to launch when stopping vrrp
63    notify <STRING>|<QUOTED-STRING>     # Same as vrrp_sync_group
64    smtp_alert                  # Same as vrrp_sync_group
65}<
  • state：state指定instance(Initial)的初始状态，就是说在配置好后，这台服务器的初始状态就是这里指定的，但这里指定的不算，还是得要通过竞选通过优先级来确定，里如果这里设置为master，但如若他的优先级不及另外一台，那么这台在发送通告时，会发送自己的优先级，另外一台发现优先级不如自己的高，那么他会就回抢占为master
  • interface：实例绑定的网卡，因为在配置虚拟IP的时候必须是在已有的网卡上添加的
  • dont track primary：忽略VRRP的interface错误
  • track interface：跟踪接口，设置额外的监控，里面任意一块网卡出现问题，都会进入故障(FAULT)状态，例如，用nginx做均衡器的时候，内网必须正常工作，如果内网出问题了，这个均衡器也就无法运作了，所以必须对内外网同时做健康检查
  • mcast src ip：发送多播数据包时的源IP地址，这里注意了，这里实际上就是在那个地址上发送VRRP通告，这个非常重要，一定要选择稳定的网卡端口来发送，这里相当于heartbeat的心跳端口，如果没有设置那么就用默认的绑定的网卡的IP，也就是interface指定的IP地址
  • garp master delay：在切换到master状态后，延迟多少秒进行ARP(gratuitous ARP)请求
  • virtual router id：这里设置VRID，这里非常重要，相同的VRID为一个组，他将决定多播的MAC地址
  • priority 100：设置本节点的优先级，优先级高的为master
  • advert int：检查间隔，默认为1秒
  • virtual ipaddress：这里设置的就是VIP，也就是虚拟IP地址，他随着state的变化而增加删除，当state为master的时候就添加，当state为backup的时候删除，这里主要是有优先级来决定的，和state设置的值没有多大关系，这里可以设置多个IP地址
  • virtual routes：原理和virtual ipaddress一样，只不过这里是增加和删除路由
  • lvs sync daemon interface：lvs syncd绑定的网卡
  • nopreempt：设置不抢占，这里只能设置在state为backup的节点上，而且这个节点的优先级必须别另外的高
  • preempt delay：抢占延迟
  • debug：debug级别
  • notify master：和sync group这里设置的含义一样，可以单独设置，例如不同的实例通知不同的管理人员，tomcat实例发给业务管理员，mysql的就发邮件给DBA

2.3、VRRP脚本

1vrrp_script check_running  {          # VRRP script declaration
2    script "/usr/local/bin/check_running"      # 该脚本将定期的执行
3    interval <INTEGER>          # 脚本执行间隔
4    weight <INTEGER:-254..254>  # 权限偏移量，5表示权重增加10，－5表示权重减少5
5    fall <INTEGER>              # required number of failures for KO switch
6    rise <INTEGER>              # required number of successes for OK switch
7}

该脚本主要是监控VRRP实例用的，上面配置的脚本将后定期的执行，并将结果汇报 。我们可以定义多个VRRP脚本，该脚本真正需要用时，需要在VRRP_INSTANCE（实例）中进行调用 。如下：

1track_script {
2   check_running weight 20
3}

两者类似于函数与函数调用 。

三、LVS配置

这里的LVS配置是专门为keepalived+LVS集成准备的，这里LVS配置并不是指真的安装LVS然后用ipvsadm来配置他，而是用keepalived的配置文件来代替ipvsadm来配置LVS，这样会方便很多，一个配置文件搞定这些，维护方便，配置方便。LVS配置部分也分两部分：虚拟服务器组与虚拟服务器。

1、虚拟主机组

1virtual_server_group <STRING> {
2    <IP ADDRESS> <PORT>     # VIP VPORT
3    ...
4    <IP ADDRESS RANGE> <PORT>   # VIP range VPORT
5    ...
6    fwmark <INTEGER>        # fwmark
7    ...
8}

这个配置是可选的，这里配置主要是为了让一台realserver上的某个服务可以属于多个Virtual Server，并且只做一次健康检查。

2、虚拟主机配置

 1virtual_server 192.168.1.2 80 {   #设置一个virtual server: VIP:Vport
 2delay_loop 3                # service polling的delay时间，即服务轮询的时间间隔
 3lb_algo rr|wrr|lc|wlc|lblc|sh|dh   #LVS调度算法
 4lb_kind NAT|DR|TUN            #LVS集群模式
 5persistence_timeout 120       #会话保持时间（秒为单位），即以用户在120秒内被分配到同一个后端realserver
 6persistence_granularity <NETMASK>              #LVS会话保持粒度，ipvsadm中的-M参数，默认是0xffffffff，即每个客户端都做会话保持
 7protocol TCP        #健康检查用的是TCP还是UDP
 8ha_suspend          #suspendhealthchecker’s activity
 9virtualhost <string>   #HTTP_GET做健康检查时，检查的web服务器的虚拟主机（即host：头）
10sorry_server <IPADDR> <PORT>    #备用机，就是当所有后端realserver节点都不可用时，就用这里设置的，也就是临时把所有的请求都发送到这里啦
11real_server <IPADDR> <PORT>    #后端真实节点主机的权重等设置，主要，后端有几台这里就要设置几个
12{
13weight 1           #给每台的权重，0表示失效(不知给他转发请求知道他恢复正常)，默认是1
14inhibit_on_failure    #表示在节点失败后，把他权重设置成0，而不是冲IPVS中删除
15notify_up <STRING> | <QUOTED-STRING>  #检查服务器正常(UP)后，要执行的脚本
16notify_down <STRING> | <QUOTED-STRING> #检查服务器失败(down)后，要执行的脚本
17………………后面是健康检查部分，后面会单独做一个篇幅介绍

先到这里吧，查看配置文件的每项信息远比真实操作麻烦。

参考页面：

keepalived.conf man文件

keepalived.conf.SYNOPSIS文件