1200字范文 > LVS负载均衡群集架构(二)：DR模式群集部署+keepalived

LVS负载均衡群集架构(二)：DR模式群集部署+keepalived

时间：2023-08-13 17:12:36

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

一、LVS-DR数据包流量分析二、LVS-DR中的ARP问题三、解决ARP的两个问题的设置方法四、Keepalived五、LVS-DR-Keepalived部署1、环境准备2、LVS调度服务器配置（主-备）3、两台LVS服务器开启ipvsadm4、两台LVS服务器配置负载分配策略4.1、编写脚本方便管理ipvsadm命令5、web站点服务器配置6、两台web服务器调整内核的ARP响应参数7、访问客户端8、配置keepalived8.1、LVS两台服务器均开启keepalived9、win端验证10、模拟msater故障六、总结

一、LVS-DR数据包流量分析

同一局域网中

客户端向目标VIP发送请求，负载均衡器接收负载均衡器根据负载均衡算法选择后端真实服务器，不修改也不封装IP报文，而是将数据帧的

MAC地址改为后端真实服务器的MAC地址，然后在局域网上发送后端真实服务器收到这个帧，解封装后发现目标IP与本机匹配（事先绑定了VIP），于是处理

这个报文。随后重新封装报文，将响应报文通过lo接口传送给物理网卡然后向外发出客户端将收到回复报文；客户端认为得到正常的服务，而不会知道是哪一台服务器处理的如果跨网段，则报文通过路由器经由 internet 返回给用户

二、LVS-DR中的ARP问题

在LVS-DR负载均衡集样中，负载均衡与节点服务器都要配置相同的VIP地址在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。对节点服务器进行处理，使其不响应针对VIP的ARP请求

解决方法

使用虚接口 lo:0 承载VIP地址设置内核参数 arp_ignore=1：系统只响应目的IP为本地 IP 的ARP请求RealServer返回报文(源IP是VIP)经路由器转发，重新封装报文时,需要先获取路由器的MAC地址发送ARP请求时，Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址，而不使

用发送接口的IP地址如：ens33路由器收到ARP请求后，将更新ARP表项原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址路由器根据ARP表项，会将新来的请求报文转发给Realserver，导致Director的VIP失效

解决方法：对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

三、解决ARP的两个问题的设置方法

修改 /etc/sysctl.conf 文件

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

四、Keepalived

Keepalived

支持故障自动切换（Failover）

支持节点健康状态检查（Health Checking）

判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务正常，当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点（优先级）。

Keepalived实现原理剖析

keepalived采用VRRP热备份协议实现Linux 服务器的多机热备功能

VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案。

由多台路由器组成一个热备份组，通过共用的虚拟IP地址对外提供服务

每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态

若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

snmp 通过网络管理服务器、交换机、路由器等设备的一种协议

在keepalived SNMP管理的是健康检查(状态)

PS: 在监控中也会通过snmp 监控、获取被监控服务器的数据

五、LVS-DR-Keepalived部署

1、环境准备

2、LVS调度服务器配置（主-备）

systemctl stop firewalld.servicesetenforce 0yum -y install ipvsadmmodprobe ip_vs#加载ip_vs模块cat /proc/net/ip_vs #查看ip_vs版本信息

LVS_01

cd /etc/sysconfig/network-scripts/cp -p ifcfg-ens33 ifcfg-ens33:0vim ifcfg-ens33:0DEVICE=ens33:0ONBOOT=yesIPADDR=192.168.35.100NETMASK=255.255.255.255ifup ens33:0ifconfig ens33:0systemctl restart networkvim /etc/sysctl.conf#调整proc响应参数；由于LVS负载均衡器和各节点需要共用vip地址，应该关闭linux内核的重定向响应参数，不充当路由器（转发、重定向）net.ipv4.ip_forward = 0##关闭路由转发net.ipv4.conf.all.send_redirects = 0##关闭所有重定向net.ipv4.conf.default.send_redirects = 0##关闭默认重定向net.ipv4.conf.ens33.send_redirects = 0sysctl -p

3、两台LVS服务器开启ipvsadm

modprobe ip_vscat /proc/net/ip_vs

4、两台LVS服务器配置负载分配策略

ipvsadm-save > /etc/sysconfig/ipvsadmsystemctl start ipvsadmsystemctl status ipvsadm

4.1、编写脚本方便管理ipvsadm命令

vim /opt/dd.sh#!/opt/dd.shipvsadm -C##清除表中所有记录ipvsadm -A -t 192.168.35.100:80 -s rr##指定的虚拟IP为ens33网卡ip，启动keepliaved后会自动绑定虚拟网卡 ipvsadm -a -t 192.168.35.100:80 -r 192.168.35.10:80 -g##指定一条新的vip服务器真实地址为192.168.35.10，工作模式为DRipvsadm -a -t 192.168.35.100:80 -r 192.168.35.20:80 -g##指定一条新的vip服务器真实地址为192.168.35.20，工作模式为DRipvsadmipvsadm -Lnc

ipvsadm命令选项

-A：在服务器列表中心添加一条新的虚拟服务器记录-t：表示为tcp服务-s：使用的调度算法-a：指定一条新的真实服务器-r：指定真实服务器的地址-g：指定LVS工作模式为直接路由器模式:DR模式

5、web站点服务器配置

web服务器1：

cd /etc/sysconfig/network-scripts/cp -p ifcfg-lo ifcfg-lo:0vim ifcfg-lo:0DEVICE=lo:0ONBOOT=yesIPADDR=192.168.35.100NETMASK=255.255.255.255ifcfg lo:0route add -host 192.168.35.100 dev lo:0 ##禁锢路由route -nvim /etc/rc.local##配置启动管理执行路由禁锢/sbin/route add -host 192.168.35.100 dev lo:0yum -y install httpd

wed2服务器同样的操作

6、两台web服务器调整内核的ARP响应参数

以阻止更新VIP的MAC地址，避免冲突

vim /etc/sysctl.confnet.ipv4.conf.lo.arp_ignore = 1 ##环形接口的策略net.ipv4.conf.lo.arp_announce = 2##环形接口的响应策略net.ipv4.conf.all.arp_ignore = 1##所有接口的策略net.ipv4.conf.all.arp_announce = 2##所有接口的响应策略web1:vim /var/www/html/index.html<html><body><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><h1>this is klkl web</h1></body></html>web2:vim /var/www/html/index.html<html><body><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><h1>this is zwzyt web</h1></body></html>

7、访问客户端

开启

访问192.168.35.100

8、配置keepalived

两台LVS服务器安装

yum -y install keepalivedcd /etc/keepalived/cd /etc/keepalived/cp keepalived.conf keepalived.conf.bakvim keepalived.confglobal_defs { #定义全局参数router_id lvs_01#热备组内的设备名称不能一致}vrrp_instance vi_1 { #定义VRRP热备实例参数state MASTER #指定热备状态，主为master，备为backupinterface ens33#指定承载vip地址的物理接口virtual_router_id 51 #指定虚拟路由器的ID号，每个热备组保持一致priority 110 #指定优先级，数值越大越优先advert_int 1authentication {##加密auth_type PASSauth_pass 6666}virtual_ipaddress { #指定集群VIP地址192.168.35.100}}#指定虚拟服务器地址vip，端口，定义虚拟服务器和web服务器池参数virtual_server 192.168.35.100 80 { lb_algo rr#指定调度算法，轮询（rr）lb_kind DR#指定集群工作模式，直接路由DRpersistence_timeout 6#健康检查的间隔时间protocol TCP#应用服务采用的是TCP协议}#指定第一个web节点的地址，端口real_server 192.168.35.10 80 {weight 1#节点权重TCP_CHECK {connect_port 80#添加检查的目标端口connect_timeout 3#添加连接超时nb_get_retry 3#添加重试次数delay_before_retry 3#添加重试间隔}}#指定第二个web节点的地址，端口real_server 192.168.35.20 80 {weight 1TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3}}}

同样配置LVS_02

需要变更的地方如下