集群负载均衡之lvs和keepalived

本篇主要介绍集群的负载均衡。

lvs是一种集群(Cluster)技术，采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。

LVS主要组成部分为：

负载调度器(loadbalancer/Director)，它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址(我们可称之为虚拟IP地址)上的。

服务器池(serverpool/Realserver)，是一组真正执行客户请求的服务器，执行的服务一般有WEB、MAIL、FTP和DNS等。

共享存储(sharedstorage)，它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。

LVS负载均衡方式:

1.VirtualServerviaNetworkAddressTranslationNAT(VS/NAT)

VS/NAT是一种最简单的方式，所有的RealServer只需要将自己的网关指向Director即可。客户端可以是任意操作系统，但此方式下，一个Director能够带动的RealServer比较有限。在VS/NAT的方式下，Director也可以兼为一台RealServer。

2.VirtualServerviaIPTunneling(VS/TUN)

IP隧道(IPtunneling)是将一个IP报文封装在另一个IP报文的技术，这可以使得目标为一个IP地址的数据报文能被封装和转发到另一个IP地址。IP隧道技术亦称为IP封装技术(IPencapsulation)。IP隧道主要用于移动主机和虚拟私有网络(VirtualPrivateNetwork)，在其中隧道都是静态建立的，隧道一端有一个IP地址，另一端也有唯一的IP地址。它的连接调度和管理与VS/NAT中的一样，只是它的报文转发方法不同。调度器根据各个服务器的负载情况，动态地选择一台服务器，将请求报文封装在另一个IP报文中，再将封装后的IP报文转发给选出的服务器;服务器收到报文后，先将报文解封获得原来目标地址为VIP的报文，服务器发现VIP地址被配置在本地的IP隧道设备上，所以就处理这个请求，然后根据路由表将响应报文直接返回给客户。

3.VS/DR 直连模式

VS/DR方式是通过改写请求报文中的MAC地址部分来实现的。Director和RealServer必需在物理上有一个网卡通过不间断的局域网相连。RealServer上绑定的VIP配置在各自Non-ARP的网络设备上(如lo或tunl),Director的VIP地址对外可见，而RealServer的VIP对外是不可见的。RealServer的地址即可以是内部地址，也可以是真实地址。

VS/DR的工作流程：它的连接调度和管理与VS/NAT和VS/TUN中的一样，它的报文转发方法又有不同，将报文直接路由给目标服务器。在VS/DR中，调度器根据各个服务器的负载情况，动态地选择一台服务器，不修改也不封装IP报文，而是将数据帧的MAC地址改为选出服务器的MAC地址，再将修改后的数据帧在与服务器组的局域网上发送。因为数据帧的MAC地址是选出的服务器，所以服务器肯定可以收到这个数据帧，从中可以获得该IP报文。当服务器发现报文的目标地址VIP是在本地的网络设备上，服务器处理这个报文，然后根据路由表将响应报文直接返回给客户

实验环境：两台虚拟机server1、server2作为realserver(rs).

两台虚拟机server3、server4作为virtualserver(vs).

rhel6.5

iptables,selinuxdisabled

一．安装lvs

在server2上

#yuminstallipvsadm-1.25-10.el6.x86_64.rpm

在server3、server4上，安装并启动httpd，并在html目录下新建内容为本机hostname的index.html文件

LVS有十种调度算法：

下面增加一台新的虚拟服务器实现负载均衡中的DR模式。

在server2中

#ipaddradd172.25.0.100/24deveth0//给vs添加vip。

#ipvsadm-l//显示vs列表

#ipvsadm-C//清空vs列表

#ipvsadm-A-t172.25.0.100:80-srr//制定lvs的vip，并使用轮叫调度算法

#ipvsadm-a-t172.25.0.100:80-r172.25.0.3:80-g//增加一台新的虚拟服务器

#ipvsadm-a-t172.25.0.100:80-r172.25.0.4:80-g//增加一台新的虚拟服务器

#/etc/init.d/ipvsadmsave//保存lvs设置

#ipvsadm-l//查看当前lvs列表。

根据DR工作原理，在RS（即server3、server4）上要加vip

在web上输入172.25.0.100，不断刷新，页面交替出现和，正是rr算法的体现。

在真机上

#arp-an//查看ip对应的mac地址

由于没有启用no-arp，因此vip对应的mac为rs中任意一个。

实现ARP欺骗：

在两台rs上

#yuminstallarptables_jf-y

#arptables-AIN-d172.25.0.100-jDROP//RS忽略所有针对虚拟ip的arp请求

#arptables-AOUT-s172.25.0.100-jmanle--mangle-ip-s172.25.0.3//改变向外的arp回应，把原先包含vip的arp回应改为包含server3的ip。

#/etc/init.d/arptables_jfsave //保存arptables_jf配置

在server2上，

将/usr/share/dos/ldirectord-3.95/ldirectord.cf拷贝到/etc/ha.d下。

编辑/etc/init.d/ldirectord，改vs与rs相应的ip，注释掉persistent=600（持续时间太长，效果不明显），fallback为127.0.0.1:80gate表示当rs服务都坏掉后启用调度器的服务。

启用ldirectord服务。

注：ldirectord：用这个软件可以自动检测后端服务器是否连接。如果网络down掉，直接在ipvsadm表里边把这个后端的权值变为0，代表不用这个后端。如果网络恢复,ipvsadm表中这个后端的权重又变为设置的值，代表可用。

在rs上重启httpd。

将lvs整合到heartbeat中

将server2上的ldirectord.cf文件复制到server1上。并关掉httpd、ldirectord服务，删除vip。

在server1上，编辑/etc/ha.d/haresource，在最后一行添加

IPaddr::172.25.0.100/24/eth0httpdldirectord//通过高可用heartbeat调用ldirecord和httpd

然后将该文件复制到server2中。并启动两vs的heartbeat。启动server1的httpd。

在server1上，查看messages日志可以看到lvs已经加载。vip已自动添加。

在真机上，通过arp-an可以看到vip的mac地址为调度器server1的mac地址。（arp欺骗成功）

将server3和server4的httpd都停掉，web内容为.

keepalived

keepalived是集群管理中保证集群高可用的一个服务软件，其功能类似于heartbeat，用来防止单点故障，实现双机热备。通常说的双机热备是指两台机器都在运行，但并不是两台机器都同时在提供服务。当提供服务的一台出现故障的时候，另外一台会马上自动接管并且提供服务，而且切换的时间非常短。大公司一般用rhcs（Red Hat Cluster Suite），keepalived适用于小型公司。

工作原理

keepalived是以VRRP协议为实现基础的，VRRP全称VirtualRouterRedundancyProtocol，即虚拟路由冗余协议。

虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。

keepalived主要有三个模块，分别是core、check和vrrp。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。

配置：

停掉调度器heartbeat、ldirectord、删除vip。

在server1上，解压keepalived-1.2.20.tar.gz，yum安装libnl,libnl-devel

#./configure--prefix=/usr/local/keepalived

#make&&makeinstall

复制/usrlocalkeepalived文件夹到server2中。

建立链接

ln-s/usr/local/keepalived/etc/rc.d/init.d/keepalived/etc/init.d/ln-s/usr/local/keepalived/etc/sysconfig/keepalived/etc/sysconfig/ln-s/usr/local/keepalived/etc/keepalived/etc/ln-s/usr/local/keepalived/sbin/keepalived/sbin/ln-s/usr/local/keepalived/bin/genhash/bin/

在server1上，编辑/etc/keepalived/keeplived.conf

global_defs{notification_email{12345678@#指定接受报警的邮箱，可以有多个}notification_email_fromkeepalived@#发送邮件的地址smtp_server127.0.0.1#smtpserver地址smtp_connect_timeout30#smtp超时时间router_idLVS_DEVEL#loadbalancer的标识ID,用于email警报}vrrp_instanceVI_1{stateMASTER#设定lvs主备机状态，备机为BACKUPinterfaceeth0#HA监测网络接口virtual_router_id51#主备机的id必须相同priority100#设定优先级，数字越高优先级有高，主机优先级要高于备机advert_int1#主备机通信间隔时间authentication{auth_typePASS#设置验证类型,主要有PASS和AH两种auth_pass1111#主备机必须一致}virtual_ipaddress{172.25.0.100#设定虚拟ip，可多个}}virtual_server172.25.0.380{#通过端口定义虚拟服务器，80为apache端口delay_loop6#每隔6秒查询realserver状态lb_algorr#lvs调度算法为论询lb_kindDR#lvs为直连模式

#persistence_timeout50#设定连接保持时间protocolTCP#指定转发协议

real_server172.25.0.380{#定义真实服务器weight1#配置权重TCP_CHECK{#设置真实服务器检查为tcp查询connect_timeout3#设定超时时间nb_get_retry3#重试次数delay_before_retry3#重试间阁}}real_server172.25.0.480{#另一台真实服务器用以实习负载均衡weight1TCP_CHECK{connect_timeout3nb_get_retry3delay_before_retry3}}}

并复制该文件到server2（备机）上，并修改state为BACKUP，priority为50.

在server1上，启动keepalived服务，在messages日志上可以看到VRRP是MASTER模式，vip已添加。

停掉server1的keepalived，启动server2的keepalived。在日志可看到vrrp为master模式且添加了vip

以rs的vsftp服务配置keepalive服务。

在两rs上安装启动vsftpd。在/var/ftp/pub下各新建名为server3、server4的文件。

#vim/etc/sysconfig/arptables

添加

[0:0]-AIN-d172.25.0.101-jDROP

[0:0]-AOUT-s172.25.0.101-jmangle--mangle-ip-s172.25.0.4(server3为3）//通过文件方式实现arp欺骗

新添加vip172.25.0.101/32并重启arptables_jf服务。

在vs上，修改keepalived.conf文件。将原vip改为172.25.0.101，并取消persistence_timeout60的注释，将rs的端口改为21端口（vsftp的端口），调度模式为wlc（加权最小连接）。

在server1上，

#/etc/init.d/keepalivedreload

#ipvsadm-l

在真机上

#lftp172.25.0.101

~>ls

显示server4

在server2上，

#lftp172.25.0.101

~>ls

显示server3（server4已被使用，根据wlc自动切到server3）。