Linux 集群架构

2020-02-22 11:55:13 阅读：274 来源： 互联网

标签：架构 rs keepalived 192.168 nginx vip 集群 conf Linux

Linux 集群架构

一、Linux 集群概述

根据功能划分为两大类：高可用和负载均衡
高可用集群，通常为两台服务器，一台工作，另外一台作为冗余；当提供服务的机器宕机，冗余将接替继续提供服务。实现高可用的开源软件有：heartbeat、keepalived
负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理；在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2台。实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler。

二、高可用集群配置

1. keepalived介绍

在这里我们使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果；keepalived通过VRRP（Virtual Router Redundancy Protocl）来实现高可用。在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的mater。
Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析；check模块负责健康检查；vrrp模块是来实现VRRP协议的。

2. 用keepalived配置高可用

2.1 概述

准备两台机器253和254，253作为master，254作为backup
两台机器都安装keepalived：yum install -y keepalived
两台机器都安装nginx：yum install -y nginx（具体安装这里不做详细说明）
设定vip为100

2.2 master配置

编辑master上keepalived配置文件（源文件内容删除，填写下面的配置）
> /etc/keepalived/keepalived.conf（清空原配置数据）
vim /etc/keepalived/keepalived.conf//参考内容 master_keepalived.conf
编辑master监控脚本，并设置755权限
vim /usr/local/sbin/check_ng.sh//参考内容：master-check_ng.sh
chmod 755 /usr/local/sbin/check_ng.sh
启动keepalived服务：systemctl start keepalived

2.3 backup 配置

编辑backup上keepalived配置文件
> /etc/keepalived/keepalived.conf（清空原配置数据）
vim /etc/keepalived/keepalived.conf//参考内容：backup_keepalived.conf
编辑backup监控脚本，并设置755权限
vim /usr/local/sbin/chkeck_ng.sh//参考内容：backup-check_ng.sh
chmod 755 /usr/local/sbin/chkeck_ng.sh
启动keepalived服务： systemctl start keepalived

3. 测试高可用

先确定好两台机器上nginx差异，比如可以通过curl -I 来查看nginx版本

测试1：关闭master上的nginx服务
测试2：在master上增加iptabls规则iptables -I OUTPUT -p vrrp -j DROP
测试3：关闭master上的keepalived服务
测试4：启动master上的keepalived服务

三、负载均衡集群配置

1. 负载均衡介绍

主流开源软件LVS、keepalived、haproxy、nginx等；其中LVS属于4层（网络OSI 7层模型），nginx属于7层，haproxy既可以认为是4层，也可以当做7层使用；keepalived的负载均衡功能其实就是lvs；lvs这种4层的负载均衡是可以分发除80外的其他端口通信的，比如MySQL；而nginx仅仅支持http，https，mail；haproxy也支持MySQL；相比较来说，LVS这种4层的更稳定，能承受更多的请求，而nginx这种7层的更加灵活，能实现更多的个性化需求。

1.1 LVS 介绍

LVS是由国人章文嵩开发，流行度不亚于apache的httpd，基于TCP/IP做的路由和转发，稳定性和效率很高；最新版本基于Linux内核2.6，有好多年不更新了；
LVS有三种常见的模式：NAT、DR、IP Tunnel；LVS架构中有一个核心角色叫做分发器（Load balance），它用来分发用户的请求，还有诸多处理用户请求的服务器（Real Server，简称rs）

1.2 LVS 三种工作模式

NAT模式：借助iptables的nat表来实现；用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去；rs需要设定网关为分发器的内网ip；用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈；在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源。
IP Tunnel模式：需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip；客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上； rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己。
DR模式：也需要有一个公共的IP配置在分发器和所有rs上，也就是vip和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址； rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

1.3 LVS 调度算法

算法	缩写	注释
Round-Robin	rr	轮询
Weight Round-Robin	wrr	加权轮询
Least-Connection	lc	最小连接
Weight Least-Connection	wlc	加权最小连接
Locality-Based Least Connections	lblc	基于局部性的最小连接
Locality-Based Least Connections with Replication	lblcr	带复制的基于局部性最小连接
Destination Hashing	dh	目标地址散列调度
Source Hashing	sh	源地址散列调度

2. 负载均衡配置

2.1 NAT模式搭建

概述
三台机器：分发器（调度器 dir）、rs1、rs2；
dir：内网IP：192.168.20.252，外网：192.168.147.144（vmware仅主机模式）
rs1：内网IP：192.168.20.253，设置网关：192.168.20.252
rs2：内网IP：192.168.20.254，设置网关：192.168.20.252
配置itables NAT表环境（三台机器上都执行下列操作）
- 停用Firewalld防火墙
  systemctl stop firewalld
  systemc disable firewalld
- 启用iptables防火墙
  systemctl start iptables-services
  iptables -F//清空默认规则表
  service iptables save 保存
配置dir
安装ipvsadm： yum install -y ipvsdam
编写脚本：vim /usr/local/sbin/lvs_nat.sh//内容如下

#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意区分网卡名字，阿铭的两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.133.0/24  -j MASQUERADE
# director设置ipvsadm
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.147.144:80 -s wlc -p 3  #-s wlc 为调度算法模式
$IPVSADM -a -t 192.168.147.144:80 -r 192.168.20.253:80 -m -w 1
$IPVSADM -a -t 192.168.147.144:80 -r 192.168.20.254:80 -m -w 1

NAT模式效果测试
两台rs上都安装nginx；设置两台rs的主页，做一个区分，也就是说直接curl两台rs的ip时，得到不同的结果；浏览器里访问192.168.147.144，多访问几次看结果差异。

2.2 DR模式搭建

概述
三台机器：分发器，（调度器dir）、rs1、rs2；
dir：192.168.20.252
rs1：192.168.20.253
rs2：192.168.20.254
vip：192.168.20.100
配置dir
编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.20.100
rs1=192.168.20.253
rs2=192.168.20.254
#注意这里的网卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

rs配置
两台rs上编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下

#/bin/bash
vip=192.168.20.100
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

分别在dir上和两个rs上执行这些脚本

测试

2.3 Keepalived+LVS DR

完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用；但keepalived本身也有负载均衡的功能，所以本次实验可以只安装一台keepalived ；
keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本。

概述
三台机器：
dir：192.168.20.252（安装keepalived）
rs1：192.168.20.253
rs2：192.168.20.254
vip：192.168.20.100
编辑keepalived配置文件 vim /etc/keepalived/keepalived.conf// 获取lvs_keepalived.conf
需要更改里面的ip信息；执行ipvsadm -C需要把之前的ipvsadm规则清空掉；systemctl restart network 可以把之前的vip清空掉；
两台rs上，依然要执行/usr/local/sbin/lvs_rs.sh脚本；keepalived有一个比较好的功能，可以在一台rs宕机时，不再把请求转发过去。
测试

四、参考脚本

1. master_keepalived.conf

global_defs {
   notification_email {
     aming@aminglinux.com
   }
   notification_email_from root@linux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass linux>com
    }
    virtual_ipaddress {
        192.168.20.100
    }
    track_script {
        chk_nginx
    }
}

2. master-check_ng.sh

#!/bin/bash
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

3. backup_keepalived.conf

global_defs {
   notification_email {
     aming@aminglinux.com
   }
   notification_email_from root@aminglinux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass linux>com
    }
    virtual_ipaddress {
        192.168.20.100
    }
    track_script {
        chk_nginx
    }
}

4. backup-check_ng.sh

#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        systemctl start nginx
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

5. Keepalived+LVS DR

vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
    state MASTER
    #绑定vip的网卡为ens33，你的网卡可能不一样，这里需要你改一下
    interface ens33
    virtual_router_id 51
    #备用服务器上为90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass aminglinux
    }
    virtual_ipaddress {
        192.168.20.100
    }
}
virtual_server 192.168.20.100 80 {
    #(每隔10秒查询realserver状态)
    delay_loop 10
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 60
    #(用TCP协议检查realserver状态)
    protocol TCP

    real_server 192.168.20.253 80 {
        #(权重)
        weight 100
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.20.254 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}

标签：架构,rs,keepalived,192.168,nginx,vip,集群,conf,Linux
来源： https://www.cnblogs.com/cy-8593/p/12344733.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Linux 集群架构

Linux 集群架构

一、Linux 集群概述

二、高可用集群配置

1. keepalived介绍

2. 用keepalived配置高可用

2.1 概述

2.2 master配置

2.3 backup 配置

3. 测试高可用

三、负载均衡集群配置

1. 负载均衡介绍

1.1 LVS 介绍

1.2 LVS 三种工作模式

1.3 LVS 调度算法

2. 负载均衡配置

2.1 NAT模式搭建

2.2 DR模式搭建

2.3 Keepalived+LVS DR

四、参考脚本

1. master_keepalived.conf

2. master-check_ng.sh

3. backup_keepalived.conf

4. backup-check_ng.sh

5. Keepalived+LVS DR