ICode9
精准搜索请尝试： 精确搜索
首页
编程语言>
数据库
系统相关
互联网
其他分享
Python
Java
JavaScript
android
PHP
首页 > 数据库> 文章详细

Redis集群部署

2020-03-29 12:54:13  阅读：196  来源： 互联网

标签：slave 部署 Redis redis 192.168 6379 集群 sentinel master


一、Redis介绍

  1. Redis和Memcached类似，也是NoSQL的一种，是一个基于内存的高性能key-value（k-v）数据库。

  2. Redis支持string（字符串）、list（列表）、set（无序集合）、zset（有序集合）和hash（哈希）类型数据，这些数据类型都支持push/pop、add/remove及取交集、并集和差集及更丰富的操作。

  3. Redis持久化方式：全量数据（RDB：Redis DataBase）和增量请求（AOF：Append Only File）。全量数据在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）；增量请求则是把内存中的数据序列转化为操作请求，用于读取文件进行replay得到数据，这种类似于mysql的binlog。Redis的存储分为内存存储、磁盘存储和log文件三部分。

  4. Redis有三种集群模式：主从模式，Sentinel（哨兵）模式，Cluster模式

二、主从模式

1）主从模式特点

* 主数据库可以进行读写操作，当读写操作导致数据变化时会自动将数据同步给从数据库

* 从数据库一般都是只读的，并且接收主数据库同步过来的数据

* 一个master可以拥有多个slave，但是一个slave只能对应一个master

* slave挂了不影响其他slave的读和master的读和写，重新启动后会将数据从master同步过来

* master挂了以后，不影响slave的读，但redis不再提供写服务，master重启后redis将重新对外提供写服务

* master挂了以后，不会在slave节点中重新选一个master

2）工作机制

  1. 当slave启动后，主动向master发送SYNC命令。master接收到SYNC命令后在后台保存快照（RDB持久化）和缓存保存快照这段时间的命令，然后将保存的快照文件和缓存的命令发送给slave。slave接收到快照文件和命令后加载快照文件和缓存的执行命令。

  2. 复制初始化后，master每次接收到的写命令都会同步发送给slave，保证主从数据一致性。

3）安全设置

当master节点设置密码后：

客户端访问master需要密码

启动slave需要密码，在配置文件中配置即可

客户端访问slave不需要密码

4）缺点

  • 从上面可以看出，master节点在主从模式中唯一，若master挂掉，则redis无法对外提供写服务。

5）主从模式搭建

1、 环境准备

master节点                  192.168.182.129

slave节点                   192.168.182.130

slave节点                   192.168.182.131

2、全部节点下载安装

mkdir /software && cd /software

wget http://download.redis.io/releases/redis-5.0.4.tar.gz

tar zxf redis-5.0.4.tar.gz && mv redis-5.0.4/ /usr/local/redis

cd /usr/local/redis && make MALLOC=libc && make install

3、全部配置成服务

# 服务文件

cat << EOF > /usr/lib/systemd/system/redis.service
[Unit]
Description=Redis persistent key-value database
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
ExecStart=/usr/local/bin/redis-server /usr/local/redis/redis.conf --supervised systemd
ExecStop=/usr/libexec/redis-shutdown
Type=notify
User=redis
Group=redis
RuntimeDirectory=redis
RuntimeDirectoryMode=0755

[Install]
WantedBy=multi-user.target
EOF

# shutdown脚本

cat << EOF > /usr/libexec/redis-shutdown
#!/bin/bash
#
# Wrapper to close properly redis and sentinel
test x"$REDIS_DEBUG" != x && set -x

REDIS_CLI=/usr/local/bin/redis-cli

# Retrieve service name
SERVICE_NAME="$1"
if [ -z "$SERVICE_NAME" ]; then
   SERVICE_NAME=redis
fi

# Get the proper config file based on service name
CONFIG_FILE="/usr/local/redis/$SERVICE_NAME.conf"

# Use awk to retrieve host, port from config file
HOST=`awk '/^[[:blank:]]*bind/ { print $2 }' $CONFIG_FILE | tail -n1`
PORT=`awk '/^[[:blank:]]*port/ { print $2 }' $CONFIG_FILE | tail -n1`
PASS=`awk '/^[[:blank:]]*requirepass/ { print $2 }' $CONFIG_FILE | tail -n1`
SOCK=`awk '/^[[:blank:]]*unixsocket\s/ { print $2 }' $CONFIG_FILE | tail -n1`

# Just in case, use default host, port
HOST=${HOST:-127.0.0.1}
if [ "$SERVICE_NAME" = redis ]; then
    PORT=${PORT:-6379}
else
    PORT=${PORT:-26739}
fi

# Setup additional parameters
# e.g password-protected redis instances
[ -z "$PASS"  ] || ADDITIONAL_PARAMS="-a $PASS"

# shutdown the service properly
if [ -e "$SOCK" ] ; then
        $REDIS_CLI -s $SOCK $ADDITIONAL_PARAMS shutdown
else
        $REDIS_CLI -h $HOST -p $PORT $ADDITIONAL_PARAMS shutdown
fi
EOF

# 授权启动服务

chmod +x /usr/libexec/redis-shutdown

useradd -s /sbin/nologin redis

chown -R redis:redis /usr/local/redis

mkdir -p /data/redis && chown -R redis:redis /data/redis

yum install -y bash-completion && source /etc/profile                 # 命令补全

systemctl daemon-reload

systemctl enable redis

# 修改配置

192.168.182.129

$ vim /usr/local/redis/redis.conf
bind 192.168.182.129               # 监听ip，多个ip用空格分隔
daemonize yes               # 允许后台启动
logfile "/usr/local/redis/redis.log"                # 日志路径
dir /data/redis                 # 数据库备份文件存放目录
# masterauth 123456               # slave连接master密码，master可省略
requirepass 123456              # 设置master连接密码，slave可省略

appendonly yes                  # 在/data/redis/目录生成appendonly.aof文件，将每一次写操作请求都追加到appendonly.aof 文件中

$ echo 'vm.overcommit_memory=1' >> /etc/sysctl.conf

$ sysctl -p

192.168.182.130

$ vim /usr/local/redis/redis.conf

bind 192.168.182.130
daemonize yes
logfile "/usr/local/redis/redis.log"
dir /data/redis
replicaof 192.168.182.129 6379
masterauth 123456
requirepass 123456
appendonly yes

$ echo 'vm.overcommit_memory=1' >> /etc/sysctl.conf

$ sysctl -p

192.168.182.131

$ vim /usr/local/redis/redis.conf

bind 192.168.182.131
daemonize yes
logfile "/usr/local/redis/redis.log"
dir /data/redis
replicaof 192.168.182.129 6379
masterauth 123456
requirepass 123456
appendonly yes

$ echo 'vm.overcommit_memory=1' >> /etc/sysctl.conf

$ sysctl -p

从服务器比主服务器多一个slaveof的配置和密码

# 全部启动redis

systemctl start redis

# 查看集群状态

redis-cli -h 192.168.182.129 -a 123456
192.168.182.129:6379> info replication

redis-cli -h 192.168.30.129 -a 123456 info replication

注意：在slave节点上只能读，无法写入数据

三、Sentinel（哨兵）模式

1）Sentinel模式介绍

主从模式的弊端就是不具备高可用性，当master挂掉以后，Redis将不能再对外提供写入操作，因此sentinel应运而生。

sentinel中文含义为哨兵，顾名思义，它的作用就是监控redis集群的运行状况，特点如下：

* sentinel模式是建立在主从模式的基础上，如果只有一个Redis节点，sentinel就没有任何意义

* 当master挂了以后，sentinel会在slave中选择一个做为master，并修改它们的配置文件，其他slave的配置文件也会被修改，比如slaveof属性会指向新的master

* 当master重新启动后，它将不再是master而是做为slave接收新的master的同步数据

* sentinel因为也是一个进程有挂掉的可能，所以sentinel也会启动多个形成一个sentinel集群

* 多sentinel配置的时候，sentinel之间也会自动监控

* 当主从模式配置密码时，sentinel也会同步将配置信息修改到配置文件中，不需要担心

* 一个sentinel或sentinel集群可以管理多个主从Redis，多个sentinel也可以监控同一个redis

* sentinel最好不要和Redis部署在同一台机器，不然Redis的服务器挂了以后，sentinel也挂了

2）工作机制

* 每个sentinel以每秒钟一次的频率向它所知的master，slave以及其他sentinel实例发送一个 PING 命令 

* 如果一个实例距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 则这个实例会被sentinel标记为主观下线。 

* 如果一个master被标记为主观下线，则正在监视这个master的所有sentinel要以每秒一次的频率确认master的确进入了主观下线状态

* 当有足够数量的sentinel（大于等于配置文件指定的值）在指定的时间范围内确认master的确进入了主观下线状态， 则master会被标记为客观下线 

* 在一般情况下， 每个sentinel会以每 10 秒一次的频率向它已知的所有master，slave发送 INFO 命令 

* 当master被sentinel标记为客观下线时，sentinel向下线的master的所有slave发送 INFO 命令的频率会从 10 秒一次改为 1 秒一次 

* 若没有足够数量的sentinel同意master已经下线，master的客观下线状态就会被移除；若master重新向sentinel的 PING 命令返回有效回复，master的主观下线状态就会被移除

当使用sentinel模式的时候，客户端就不要直接连接Redis，而是连接sentinel的ip和port，由sentinel来提供具体的可提供服务的Redis实现，这样当master节点挂掉以后，sentinel就会感知并将新的master节点提供给使用者。

3）Sentinel模式搭建

# 环境准备

master节点            192.168.182.129         sentinel端口：26379

slave节点             192.168.182.130         sentinel端口：26379

slave节点             192.168.182.131         sentinel端口：26379

# 修改配置，前面已经下载安装了redis，这里省略，直接修改sentinel配置文件

配置3个哨兵，每个哨兵的配置都是一样的

$ vim /usr/local/redis/sentinel.conf

daemonize yes
logfile "/usr/local/redis/sentinel.log"
dir "/usr/local/redis/sentinel"                                  # sentinel工作目录
sentinel monitor mymaster 192.168.182.129 6379 2                 # 判断master失效至少需要2个sentinel同意，建议设置为n/2+1，n为sentinel个数
sentinel auth-pass mymaster 123456
sentinel down-after-milliseconds mymaster 30000                  # 判断master主观下线时间，默认30s

 

# 全部启动sentinel

mkdir /usr/local/redis/sentinel && chown -R redis:redis /usr/local/redis
/usr/local/bin/redis-sentinel /usr/local/redis/sentinel.conf

# 任一主机查看日志

$ tail -f /usr/local/redis/sentinel.log

9022:X 29 Mar 2020 12:08:33.180 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
9022:X 29 Mar 2020 12:08:33.180 # Redis version=5.0.4, bits=64, commit=00000000, modified=0, pid=9022, just started
9022:X 29 Mar 2020 12:08:33.180 # Configuration loaded
9023:X 29 Mar 2020 12:08:33.181 * Increased maximum number of open files to 10032 (it was originally set to 1024).
9023:X 29 Mar 2020 12:08:33.185 * Running mode=sentinel, port=26379.
9023:X 29 Mar 2020 12:08:33.185 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
9023:X 29 Mar 2020 12:08:33.187 # Sentinel ID is 769e65e468afa221a1a83f7bd5c526252026d0ed
9023:X 29 Mar 2020 12:08:33.187 # +monitor master mymaster 192.168.182.129 6379 quorum 2
9023:X 29 Mar 2020 12:08:33.188 * +slave slave 192.168.182.131:6379 192.168.182.131 6379 @ mymaster 192.168.182.129 6379
9023:X 29 Mar 2020 12:08:33.188 * +slave slave 192.168.182.130:6379 192.168.182.130 6379 @ mymaster 192.168.182.129 6379

# Sentinel模式下的几个事件

·       +reset-master ：主服务器已被重置。

·       +slave ：一个新的从服务器已经被 Sentinel 识别并关联。

·       +failover-state-reconf-slaves ：故障转移状态切换到了 reconf-slaves 状态。

·       +failover-detected ：另一个 Sentinel 开始了一次故障转移操作，或者一个从服务器转换成了主服务器。

·       +slave-reconf-sent ：领头（leader）的 Sentinel 向实例发送了 [SLAVEOF](/commands/slaveof.html) 命令，为实例设置新的主服务器。

·       +slave-reconf-inprog ：实例正在将自己设置为指定主服务器的从服务器，但相应的同步过程仍未完成。

·       +slave-reconf-done ：从服务器已经成功完成对新主服务器的同步。

·       -dup-sentinel ：对给定主服务器进行监视的一个或多个 Sentinel 已经因为重复出现而被移除 —— 当 Sentinel 实例重启的时候，就会出现这种情况。

·       +sentinel ：一个监视给定主服务器的新 Sentinel 已经被识别并添加。

·       +sdown ：给定的实例现在处于主观下线状态。

·       -sdown ：给定的实例已经不再处于主观下线状态。

·       +odown ：给定的实例现在处于客观下线状态。

·       -odown ：给定的实例已经不再处于客观下线状态。

·       +new-epoch ：当前的纪元（epoch）已经被更新。

·       +try-failover ：一个新的故障迁移操作正在执行中，等待被大多数 Sentinel 选中（waiting to be elected by the majority）。

·       +elected-leader ：赢得指定纪元的选举，可以进行故障迁移操作了。

·       +failover-state-select-slave ：故障转移操作现在处于 select-slave 状态 —— Sentinel 正在寻找可以升级为主服务器的从服务器。

·       no-good-slave ：Sentinel 操作未能找到适合进行升级的从服务器。Sentinel 会在一段时间之后再次尝试寻找合适的从服务器来进行升级，又或者直接放弃执行故障转移操作。

·       selected-slave ：Sentinel 顺利找到适合进行升级的从服务器。

·       failover-state-send-slaveof-noone ：Sentinel 正在将指定的从服务器升级为主服务器，等待升级功能完成。

·       failover-end-for-timeout ：故障转移因为超时而中止，不过最终所有从服务器都会开始复制新的主服务器（slaves will eventually be configured to replicate with the new master anyway）。

·       failover-end ：故障转移操作顺利完成。所有从服务器都开始复制新的主服务器了。

·       +switch-master ：配置变更，主服务器的 IP 和地址已经改变。 这是绝大多数外部用户都关心的信息。

·       +tilt ：进入 tilt 模式。

·       -tilt ：退出 tilt 模式。
View Code

# master宕机演示

192.168.30.128

$ systemctl stop redis

[root@host1 redis]# tail -f /usr/local/redis/sentinel.log
9023:X 29 Mar 2020 12:29:53.503 # +failover-state-reconf-slaves master mymaster 192.168.182.129 6379
9023:X 29 Mar 2020 12:29:53.602 * +slave-reconf-sent slave 192.168.182.130:6379 192.168.182.130 6379 @ mymaster 192.168.182.129 6379
9023:X 29 Mar 2020 12:29:54.078 # -odown master mymaster 192.168.182.129 6379
9023:X 29 Mar 2020 12:29:54.514 * +slave-reconf-inprog slave 192.168.182.130:6379 192.168.182.130 6379 @ mymaster 192.168.182.129 6379
9023:X 29 Mar 2020 12:29:54.514 * +slave-reconf-done slave 192.168.182.130:6379 192.168.182.130 6379 @ mymaster 192.168.182.129 6379
9023:X 29 Mar 2020 12:29:54.604 # +failover-end master mymaster 192.168.182.129 6379
9023:X 29 Mar 2020 12:29:54.604 # +switch-master mymaster 192.168.182.129 6379 192.168.182.131 6379
9023:X 29 Mar 2020 12:29:54.604 * +slave slave 192.168.182.130:6379 192.168.182.130 6379 @ mymaster 192.168.182.131 6379
9023:X 29 Mar 2020 12:29:54.604 * +slave slave 192.168.182.129:6379 192.168.182.129 6379 @ mymaster 192.168.182.131 6379
9023:X 29 Mar 2020 12:30:24.627 # +sdown slave 192.168.182.129:6379 192.168.182.129 6379 @ mymaster 192.168.182.131 6379

从日志中可以看到，master已经从192.168.182.129转移到192.168.182.131上

192.168.182.131上查看集群信息

/usr/local/bin/redis-cli -h 192.168.182.131 -p 6379 -a 123456 info replication

# 恢复：重新把192.168.182.129上进程启动

systemctl start redis

tail -f /usr/local/redis/sentinel.log

# 查看集群信息

[root@host1 redis]# /usr/local/bin/redis-cli -h 192.168.182.129 -p 6379 -a 123456 info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:slave
master_host:192.168.182.131
master_port:6379
master_link_status:down
master_last_io_seconds_ago:-1
master_sync_in_progress:0
slave_repl_offset:1
master_link_down_since_seconds:1585456643
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:9b6b6d71664d51010ccf71b4a291af92399cd8c4
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

即使192.168.182.129重新启动redis服务，也是作为slave加入redis集群，192.168.182.131仍然是master。

四、Cluster模式

1）Cluster模式介绍

  1. sentinel模式基本可以满足一般生产的需求，具备高可用性。但是当数据量过大到一台服务器存放不下的情况时，主从模式或sentinel模式就不能满足需求了，这个时候需要对存储的数据进行分片，将数据存储到多个Redis实例中。cluster模式的出现就是为了解决单机Redis容量有限的问题，将Redis的数据根据一定的规则分配到多台机器。

  2. cluster可以说是sentinel+主从模式的结合体，通过cluster可以实现主从和master重选功能，所以如果配置两个副本三个分片的话，就需要六个Redis实例。因为Redis的数据是根据一定规则分配到cluster的不同机器的，当数据量过大时，可以新增机器进行扩容。

  3. 使用集群，只需要将redis配置文件中的cluster-enable配置打开即可。每个集群中至少需要三个主数据库才能正常运行，新增节点非常方便。

2）cluster集群特点

* 多个redis节点网络互联，数据共享

* 所有的节点都是一主一从（也可以是一主多从），其中从不提供服务，仅作为备用

* 不支持同时处理多个key（如MSET/MGET），因为redis需要把key均匀分布在各个节点上，并发量很高的情况下同时创建key-value会降低性能并导致不可预测的行为
  
* 支持在线增加、删除节点

* 客户端可以连接任何一个主节点进行读写

 

标签：slave,部署,Redis,redis,192.168,6379,集群,sentinel,master
来源： https://www.cnblogs.com/liugp/p/12591721.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

关于我们 | 联系我们 | 留言反馈

专注分享技术，共同学习，共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有