KeepAlived + Nginx 高可用

Master01

设置hostname

$ cat /etc/hosts
127.0.0.1 localhost
127.0.1.1 master01
$ cat /etc/hostname 
master01

安装 keepalived

$ sudo apt install keepalived

配置检测 nginx 脚本

# 检测脚本，nginx如果不在存活，则尝试启动
# 如果失败，则停止keepalived 服务
# echo ${password of the user: tester} and auto input password
$ cat /home/tester/app/keepalived_script/keepalived_check_list.sh
#!/bin/bashnginxpid=$(ps -C nginx --no-header | wc -l)
#1.判断Nginx是否存活,如果不存活则尝试启动Nginx
if [ $nginxpid -eq 0 ];thenecho tester | sudo -S service nginx start    sleep 3#2.等待3秒后再次获取一次Nginx状态nginxpid=$(ps -C nginx --no-header | wc -l) #3.再次进行判断, 如nginx还不存活则停止Keepalived,让地址进行漂移,并退出脚本  if [ $nginxpid -eq 0 ];thenecho tester | sudo -S service keepalived stopfi
fi

设置此脚本权限

$ sudo chmod -R 755 /home/tester/app/keepalived_script/keepalived_check_list.sh

keepalived配置文件

$ cat /etc/keepalived/keepalived.conf

# 主要由global_defs、vrrp_instance和virtual_server三个模块构成。
# 此处忽略 virtual_server
global_defs {notification_email {99492997@qq.com}notification_email_from 99492997@qq.comsmtp_server smtp.exmail.qq.comsmtp_connect_timeout 30#标识信息，master/workerouter_id lb_4_test_master01
}vrrp_script check_and_try_suvive_nginx {script "/home/tester/app/keepalived_script/keepalived_check_list.sh"# 间隔5sinterval 5
}vrrp_instance Tester_Ver_01 {#角色是master，worker是BACKUPstate MASTER    #vip 绑定端口，通过 ip addr 查看interface ens33  #master 和 worker在同一个虚拟路由里，id 号必须相同；virtual_router_id 50  #优先级，最大的值为master；可设置当前物理节点在此虚拟路由器中的优先级，优先级取值范围为1-254，值越大优先级越高，每个keepalived节点取值不同priority 200            #心跳间隔时间advert_int 1            authentication {#auth_type为认证类型，可选择AH和PASS两种，AH为IPSC互联网安全协议认证，PASS为简单密码认证，推荐PASS认证auth_type PASS#auth_pass为预共享秘钥设置，仅前8位有效，同一虚拟路由器的多个keepalived节点auth_pass值必须保持一致      auth_pass 123456}virtual_ipaddress {#虚拟ip，外部访问地址192.168.79.100            }track_script {check_and_try_suvive_nginx }
}

VIP 是否成功设置

$ ip addr show ens33
2: ens33:  mtu 1500 qdisc fq_codel state UP group default qlen 1000link/ether 00:0c:29:c2:0c:cd brd ff:ff:ff:ff:ff:ffaltname enp2s1inet 192.168.79.177/24 brd 192.168.79.255 scope global ens33valid_lft forever preferred_lft foreverinet6 fe80::20c:29ff:fec2:ccd/64 scope link valid_lft forever preferred_lft forever
$ sudo service keepalived start
$ ip addr show ens33
2: ens33:  mtu 1500 qdisc fq_codel state UP group default qlen 1000link/ether 00:0c:29:c2:0c:cd brd ff:ff:ff:ff:ff:ffaltname enp2s1inet 192.168.79.177/24 brd 192.168.79.255 scope global ens33valid_lft forever preferred_lft forever# 100 已加入inet 192.168.79.100/32 scope global ens33valid_lft forever preferred_lft foreverinet6 fe80::20c:29ff:fec2:ccd/64 scope link valid_lft forever preferred_lft forever

安装 nginx

$ sudo apt install nginx
# 更新内容
$ cat /var/www/html/index.nginx-debian.html
192.168.79.177
$ cat /etc/nginx/nginx.conf 
# 指定用户启动
user tester;
...

Work01

设置hostname

$ cat /etc/hosts
127.0.0.1 localhost
127.0.1.1 worker01
$ cat /etc/hostname 
worker01

安装 keepalived

$ sudo apt install keepalived

配置检测 nginx 脚本

同 master01

设置此脚本权限

操作步骤同master01

keepalived配置文件

$ cat /etc/keepalived/keepalived.conf

# 主要由global_defs、vrrp_instance和virtual_server三个模块构成。
# 此处忽略 virtual_server
global_defs {# ...#标识信息，master/workerouter_id lb_4_test_worker01
}
# ...
vrrp_instance Tester_Ver_01 {#角色是master，worker是BACKUPstate BACKUP# ...      priority 180            # ...
}

VIP 是否成功设置

操作步骤同master01

安装 nginx

$ sudo apt install nginx
# 更新内容
$ cat /var/www/html/index.nginx-debian.html
192.168.79.180
$ cat /etc/nginx/nginx.conf 
# 指定用户启动
user tester;
...

Work02

设置hostname

$ cat /etc/hosts
127.0.0.1 localhost
127.0.1.1 worker02
$ cat /etc/hostname 
worker02

安装 keepalived

$ sudo apt install keepalived

同 master01

设置此脚本权限

操作步骤同master01

keepalived配置文件

$ cat /etc/keepalived/keepalived.conf

# 主要由global_defs、vrrp_instance和virtual_server三个模块构成。
# 此处忽略 virtual_server
global_defs {# ...#标识信息，master/workerouter_id lb_4_test_worker02
}
# ...
vrrp_instance Tester_Ver_01 {#角色是master，worker是BACKUPstate BACKUP# ...      priority 180            # ...
}

VIP 是否成功设置

操作步骤同master01

安装 nginx

$ sudo apt install nginx
# 更新内容
$ cat /var/www/html/index.nginx-debian.html
192.168.79.181
$ cat /etc/nginx/nginx.conf 
# 指定用户启动
user tester;
...

验证

1. 在192.168.79.180 上验证 curl http://192.168.79.100
   返回 192.168.79.177
2. 将master01 nginx 手动停止
   sudo service nginx stop （模拟nginx服务停止）
   ps -ef | grep nginx
   3s 后，nginx会自动启动 （keepalived 配置文件 track_check）
   验证 curl http://192.168.79.100
   返回 192.168.79.177
3. 将 master01 keepalived 手动停止
   sudo service keepalived stop
   验证 curl http://192.168.79.100
   返回 192.168.79.181 （worker02权重设置为181比worker01大）
4. 将 worker01 keepalived 手动停止
   sudo service keepalived stop
   验证 curl http://192.168.79.100
   返回 192.168.79.180
5. 手动恢复worker01 keepalived 服务
   sudo service keepalived start
   验证 curl http://192.168.79.100 （网络延时，多刷几次）
   返回 192.168.79.181
6. 手动恢复master01 keepalived 服务
   sudo service keepalived start
   验证 curl http://192.168.79.100 （网络延时，多刷几次）
   返回 192.168.79.177

keepalived中的脑裂

在高可用（HA）系统中，当节点间的“心跳线”断开时，本来为一整体、协调的HA系统，就分裂成为多个独立的个体。由于相互失去了联系，都以为是彼此出了故障。节点间的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、彼此“服务”都起不来了；或者彼此“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。

对付HA系统“裂脑”的对策，目前达成共识的的大概有以下几条：
1）添加冗余的心跳线，例如：双线条线（心跳线也HA），尽量减少“裂脑”发生几率；
2）启用磁盘锁。正在服务一方锁住共享磁盘，“裂脑”发生时，让对方完全“抢不走”共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动“解锁”，其他方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是有人在HA中设计了“智能”锁。即：正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了。
3）设置仲裁机制。例如设置参考IP（如网关IP），当心跳线完全断开时，节点都各自ping一下参考IP，不通则表明断点就出在本端。不仅“心跳”、还兼对外“服务”的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方干脆就自我重启，以彻底释放有可能还占用着的那些共享资源。