前因：
童鞋们众所周知LVS是基于第4层来做负载均衡调度的，默认也是基于端口来做后端服务器的健康状态检测，但公司总是出现一些后端Real Server如JBOSS假死后不服务，端口却还存活着的状况，这样导致LVS继续将用户的请求分发给这台宕机的服务器，结果返回给用户的却是502，503……，当然也可以用HAProxy或Nginx做7层负载均衡，但是转发性能有瓶颈，这里不对产品和功能做介绍，本文主要与下面这种架构的童鞋们做交流。
我们的目的：
1，不伤害用户，尽可能的将服务器错误封杀在内部，不要暴露出50X。
2，提高服务的稳定性，向99.99%甚至5个9迈进。
我们的思路：
1，在每台RealServer的业务上放一个JAVA或者PHP可以解释的页面，如alive_test.jsp，alive_test.php，根据自己的业务类型来定。内容自定义，也可以写成功能检测的接口，我们就简单返回一个null值啦。
2，在LVS上做一个监控，每5秒去访问一次这个接口，获取返回值或者返回状态。
3，根据访问结果判断，正常不管，失败就从LVS中踢下去，恢复则自动添加进LVS。平滑上下线，控制好LVS分发请求的正确性。
4，全程日志记录，当然我们还可以增加功能，如踢下线的时候邮件提醒下Admin等等，这里就不多说了，有更多好的思路希望能分享给我学习，Thanks。
我们的做法：
好的我们在开始之前先简单说明下用到的几条命令:
ipvsadm -a -t $CTVIP:80 -r $1:80 -g -w 80ipvsadm -d -t $CTVIP:80 -r $1:80ipvsadm -L -t $CTVIP:80|grep $1-a:增加一台RealServer-d:删除一台RealServer-L/-l:列出LVS调度表-t: TCP的服务-r: RealServer的IP和端口-g:指定为DR模式-w:权重#———————————————————-#curl -f –connect-timeout 2 -m 2 -H “Host:” $I/alive_test.jsp显示页面访问的状态，超过2秒返回超时。
应个人写脚本的的习惯，我分成了函数和脚本两类文件，将公用的功能写成函数文件，检测脚本再引用函数文件，可以从附件中下载。这里为了方便理解，我就整合成一个脚本内容介绍，看以来内容很长，只是因为要处理的端口多，实际上功能点不多，脚本还是很简单的。
#!/bin/bash# Name:LVS应用层健康状态检测之News# Date:2013-10-12# Author: 26370788@qq.comHome=$(cd `dirname $0`;pwd)#定义好网通和电信VIP的变量。CTVIP=202.96.128.166CNCVIP=221.5.88.88#定义RealServer IP数组，如果很多建议定义成一个配置文件。RealSVR=(“192.168.16.232” “192.168.16.233” “192.168.16.234” “192.168.16.235”)#日志文件以脚本名.log保存至/var/log目录下LogFile=/var/log/`basename $0`.log# ==================== 为了方便日志输出，我们定义个函数，输出时带日期。Log() {LogDate=$(date +”%F %T”)echo -e “${LogDate} :$1” >> $LogFile}# ——————– < 定义上线、下线、检测的函数# ==================== 上线函数，当我们后端业务恢复后，将RealServer添加进电信和网通的调度中来，如果LVS中一个VIP调度更多的端口，继续在后面添加相同函数改个端口即可，我这里只有http和https。RealServer由$1参数来传递。动作完成后输出日志，以便运维人员观察运行状况。Add_CT80() {ipvsadm -a -t $CTVIP:80 -r $1:80 -g -w 80 &>> $LogFileLog “Add $1:80 in $CTVIP:80 OK.”}Add_CT443() {ipvsadm -a -t $CTVIP:443 -r $1:443 -g -w 80 &>> $LogFileLog “Add $1:443 in $CTVIP:443 OK.”}Add_CNC80() {ipvsadm -a -t $CNCVIP:80 -r $1:80 -g -w 80 &>> $LogFileLog “Add $1:80 in $CNCVIP:80 OK.”}Add_CNC443() {ipvsadm -a -t $CNCVIP:443 -r $1:443 -g -w 80 &>> $LogFileLog “Add $1:443 in $CNCVIP:443 OK.”}# ==================== 下线函数。功能与上线函数一样，这个是后端RealServer出问题后，将RealServer从LVS调度中踢出去。Del_CT80() {ipvsadm -d -t $CTVIP:80 -r $1:80 &>> $LogFileLog “Delete $1:80 in $CTVIP:80 OK.”}Del_CT443() {ipvsadm -d -t $CTVIP:443 -r $1:443 &>> $LogFileLog “Delete $1:443 in $CTVIP:443 OK.”}Del_CNC80() {ipvsadm -d -t $CNCVIP:80 -r $1:80 &>> $LogFileLog “Delete $1:80 in $CNCVIP:80 OK.”}Del_CNC443() {ipvsadm -d -t $CNCVIP:443 -r $1:443 &>> $LogFileLog “Delete $1:443 in $CNCVIP:443 OK.”}# ==================== RealServer检测函数，检查RealServer是否在调度中，生成一个状态值，以好给我们后面的一个动作执行函数调用。返回0表示存在，1表示不存在。CT_Check80() {ipvsadm -L -t $CTVIP:80|grep $1 &> /dev/null[ $? -eq 0 ] && return 0 || return 1}CT_Check443() {ipvsadm -L -t $CTVIP:443|grep $1 &> /dev/null[ $? -eq 0 ] && return 0 || return 1}CNC_Check80() {ipvsadm -L -t $CNCVIP:80|grep $1 &> /dev/null[ $? -eq 0 ] && return 0 || return 1}CNC_Check443() {ipvsadm -L -t $CNCVIP:443|grep $1 &> /dev/null[ $? -eq 0 ] && return 0 || return 1}# ==================== 根据上面的状态执行动作。#检查RealServer状态是否在调度中，如果在写输入这个RealServer已经存于与LVS调度中，否则添将其添加进调度，主要是检测RealServer接口状态OK后用。CheckRS_OK() {CT_Check80 $1[ $? -eq 0 ] && Log “$1:80 exist lvs $CTVIP ing…” || Add_CT80 $1CT_Check443 $1[ $? -eq 0 ] && Log “$1:443 exist lvs $CTVIP ing…” || Add_CT443 $1CNC_Check80 $1[ $? -eq 0 ] && Log “$1:80 exist lvs $CNCVIP ing…” || Add_CNC80 $1CNC_Check443 $1[ $? -eq 0 ] && Log “$1:443 exist lvs $CNCVIP ing…” || Add_CNC443 $1}#检查RealServer状态是否在调度中，如果在则将期从调度中踢除，否则输出这个RealServer已经不存在于LVS调度中了，主要是检测RealServer接口状态失败后用。CheckRS_NO() {CT_Check80 $1[ $? -eq 0 ] && Del_CT80 $1 || Log “$1:80 is Not exsit Lvs $CTVIP”CT_Check443 $1[ $? -eq 0 ] && Del_CT443 $1 || Log “$1:443 is Not exsit Lvs $CTVIP”CNC_Check80 $1[ $? -eq 0 ] && Del_CNC80 $1 || Log “$1:80 is Not exsit Lvs $CNCVIP”CNC_Check443 $1[ $? -eq 0 ] && Del_CNC443 $1 || Log “$1:443 is Not exsit Lvs $CNCVIP”}# ——————– Define UP\Down\Check\Action Funcation Complete>#——————– 整合功能，对业务5秒检测一次，并执行相应的函数，日志写到一个文件里，保留最多5万行。如果对多个检测业务，COPY这份文件过去然后改里面的”Host:”即可。# ==================== Every 5s check oncewhile :;do#遍历每一个RealServer，并检测它们的接口状态。如果正常，则看它是否在调度当中，如果在则输出LOG，说存在，，如果不存在，则添加至调度，也就是运行CheckRS_OK函数，RealServer为“$1”,这里也就是$I的值＝RealServer的IP。如果失败，则看它是否在调度，如果在，则将其踢出，如果不在则输出LOG，说已经不存于调度当中了，也就是运行CheckRS_NO 函数，将$I作为$1传给函数。for I in ${RealSVR[*]};doif curl -f –connect-timeout 2 -m 2 -H “Host:” “http://$I/alive_test.jsp” &> /dev/null;thenLog “Host: http://$I/alive_test.jsp Access Success .”CheckRS_OK $IelseLog “Host: http://$I/alive_test.jsp Access Failure !”CheckRS_NO $Ifidone# ==================== 日志文件保留5万行记录。LogCount=$(wc –l $LogFile)DelLog=$[$LogCount-50000][ $DelLog -gt 0 ] && sed -i “1,${DelLog}d” $LogFile# ==================== 每5秒请求一次。sleep 5done
教育人的,激励人的,安慰人不开心的. 或者是 诗词 诗经里的..
