ICode9
精准搜索请尝试： 精确搜索
首页
编程语言>
数据库
系统相关
互联网
其他分享
Python
Java
JavaScript
android
PHP
首页 > 数据库> 文章详细

MySQL MHA架构

2020-11-05 23:03:06  阅读：357  来源： 互联网

标签：架构 MHA manager master ssh MySQL slave usr


MHA概述

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本人youshimation开发，是一套优秀的MySQL故障切换和主从提升的高可用软件，解决mysql主服务器单点故障的方法一般常用的有两个mmm和mha，但是一般从真正的高可用的场合，其实最常用的是mha。如何避免mysql单点故障利用mysql主从复制来解决mysql单点故障如何解决主服务器的单点问题主服务器切换后，如何通知应用新的主服务器的ip地址如何检查mysql主服务器是否可用如何处理从服务器和新主服务器之间的那种复制关系

1.1:MHA的特点

自动故障切换过程中，MHA试图从宕机的主服务器.上保存二进制日志，最大程度的保证数据的不丢失
使用MySQL 5.5的半同步复制，可以大大降低数据丢失的风险

 

二：MHA的构成

2.1：MHA的组成

MHA Manager (管理节点)：Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。
MHA Node (数据节点)：Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。

2.2：MMH是如何实现

连续3次去尝试连接主机，确认主机不可用（先做ssh校验再做mysql复制校验）
读取配置文件/usr/local/mha_config/app1.cnf，获取目前为目的主从状态，设置master为failover
强制关闭，使应用程序永远不会连接到当前主机
从原来的master摘掉VIP
检查slave的最新同步，检查最新的file/position分别有哪些机器，检查最老的file/position分别有哪些机器，如果没有同步则选择最新的slave同步到其他的服务器，需调用工具进行同步，需要用到的工具分别是node节点下面的(save_binary_logs和apply_diff_relay_logs)
确认新主节点，并检查最新的binlog和position的位置，以及change master to 相关信息，挂载VIP
将其他的slave指向到新的master

2.3：验证复制设置以及确认当前master状态

连接所有hosts，MHA自动来确认当前master是哪个，配置文件中无需指定哪个是master。如果其中有任何一个slave挂了，脚本立即退出，停止监控。如果有一些必要的脚本没有在MHA Node节点安装，那么MHA在这个阶段终止，且停止监控。

2.4：监控master

监控master，直到master挂了。这个阶段，MHA不会监控slave，Stopping/Restarting/Adding/Removing操作在slave上，不会影响当前的MHA监控进程。当你添加或者删除slave的时候，请更新好配置文件，最好重启MHA。

2.5：检测master是否失败

如果MHA Manger三次间隔时间都没办法连接master server，就会进入这个阶段。如果你设置了secondary_check_script ，那么MHA会调用脚本做二次检测来判断master是否是真的挂了。接下来的步骤，就是masterha_master_switch的工作流程了。

2.6：再次验证slave的配置

如果发现任何不合法的复制配置（有些slave的master不是同一个），那么MHA会停止监控，且报错。可以设置ignore_fail忽略。这一步是处于安全考虑，很有可能，复制的配置文件已经被改掉了，所以double check是比较推荐的做法。检查最后一次failover（故障转移）的状态
如果上一次的failover报错，或者上一次的failover结束的太近（默认3天），MHA停止监控，停止failover，那么在masterha_manager命令中设置ignore_last_failover，wait_on_failover_error来改变这一检测。这么做，也是出于安全考虑。频繁的failover，检查下是否网络出问题，或者其他错误呢？

2.7：关掉失败的master的服务器（可选）

如果在配置文件中定义了master_ip_failover_script and/or shutdown_script ，MHA会调用这些的脚本。关闭dead master，避免脑裂（值得商榷）。

2.8：恢复一台新master

从crashed master服务器上保存binlog到Manager（如果可以的话如果dead master可以SSH的话，拷贝binary logs从最新的slave上的end_log_pos(Read_Master_Log_Pos)位置开始拷贝。选举新master
一般根据配置文件的设置来决定选举谁，如果想设置一些候选master，设置candidate_master=1；如果想设置一些host，永远都不会选举，设置no_master=1；确认最新的slave （这台slave拥有最新的relay-log）。恢复和提升新master根据老master binlog生成差异日志，应用日志到new master，如果这一步发生错误（如：duplicate key error），MHA停止恢复，并且其余的slave也停止恢复。

三：MHA案例

3.1：案例需求

本案例要求通过MHA监控MySQL数据库在故障时进行自动切换，不影响业务。

3.2：案例思路

1、 安装MySQL数据库
2、 配置MySQl一主两从
3、 安装MHA软件
4、 配置无密码认证
5、 配置MySQL MHA 高可用
6、 模拟 master 故障切换

3.3：案例环境

主机名地址
manger 20.0.0. 12
主服务器：master 20.0.0.10
从服务器：slave1 20.0.0.13
从服务器：slave2 20.0.0.14

3.4：案例配置过程

搭建主从复制
主服务器master：

vim /etc/my.cnf
server-id = 1               //指定id号，服务器的唯一标识，不能相同
log-bin=master-bin           //主服务器日志文件
log-slave-updates=true       //从服务器更新二进制日志

 

在这里插入图片描述
重启服务

systemctl restart mysqld

 

两台从服务器slave：
三台服务器的server - id 不能相同

vim /etc/my.cnf
server-id = 3       
log-bin=master-bin      /slave1 里加上 ，slave2 不用加
relay-log=relay-log-bin     //从主服务器上同步日志文件记录到本地  
relay-log-index=slave-relay-bin.index   //定义relay-log的位置和名称
#重启服务
systemctl restart mysqld

 

给三台服务器做软链接

ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

 

数据库的授权。在所有的数据库节点上授权两个用户，一个是从库同步使用，另外一个是 manager 使用监控，即在master、slave1、slave2 上搭建。

mysql -u root -p
grant replication slave on *.* to 'myslave'@'20.0.0.%' identified by '123';
grant all privileges on *.* to 'mha'@'20.0.0.%' identified by 'manager';
flush privileges;      //刷新数据库的权限相关表

 

在主服务器上查看二进制文件和位置，file和Position后面需要用到
在这里插入图片描述

mysql -u root -p
#授权要根据在master上看到的日志文件和position填写，不能乱填
change master to master_host='20.0.0.10',master_user='myslave',master_password='123123',master_log_file='master-bin.000001',master_log_pos=608;

 

启动同步，查看slave状态，确保以下两个值为YES
在这里插入图片描述

必须设置两个从库slave为只读模式
set global read_only=1;

flush privileges;      //刷新数据库的权限相关表

 

安装MHA

  1. 所有服务器上都安装 MHA 依赖的环境，首先安装 epel 源。
yum install epel-release --nogpgcheck
yum install -y perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker perl-CPAN

 

  1. MHA 软件包对于每个操作系统版本不一样，这里 CentOS7.3 必须选择 0.57 版本，
    在所有服务器上必须先安装 node 组件，最后在 MHA-manager 节点上安装 manager 组件，
    因为 manager 依赖 node 组件
tar zxvf /mnt/mysql/mha/mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57/
perl Makefile.PL     
make && make install

 

  1. 在 MHA-manager 上安装 manager 组件
tar zxvf /mnt/mysql/mha/mha4mysql-manager-0.57.tar.gz
cd mha4mysql-manager-0.57/
perl Makefile.PL    
make && make install

 

manager 安装后在/usr/local/bin 下面会生成几个工具，主要包括以下几个：
masterha_check_ssh 检查 MHA 的 SSH 配置状况
masterha_check_repl 检查 MySQL 复制状况
masterha_manger 启动 manager的脚本
masterha_check_status 检测当前 MHA 运行状态
masterha_master_monitor 检测 master 是否宕机
masterha_master_switch 控制故障转移（自动或者手动）
masterha_conf_host 添加或删除配置的 server 信息
masterha_stop 关闭manager

node 安装后也会在/usr/local/bin 下面会生成几个脚本（这些工具通常由 MHAManager 的脚本触发，无需人为操作）主要如下：
save_binary_logs 保存和复制 master 的二进制日志
apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的 slave
filter_mysqlbinlog 去除不必要的 ROLLBACK 事件（MHA 已不再使用这个工具）
purge_relay_logs 清除中继日志（不会阻塞 SQL 线程）

  1. 在 manager 上配置到所有数据库节点的无密码认证
ssh-keygen -t rsa     //一路按回车键
ssh-copy-id 20.0.0.11     按yes回车密码
ssh-copy-id 20.0.0.10
ssh-copy-id 20.0.0.13

 

  1. 在 master 上配置到所有数据库节点的无密码认证
ssh-keygen -t rsa     //一路按回车键   
ssh-copy-id 20.0.0.11  按yes回车密码
ssh-copy-id 20.0.0.13

 

  1. 在 slave1 上配置到数据库节点 master 和slave2 的无密码认证
ssh-keygen -t rsa     //一路按回车键   
ssh-copy-id 20.0.0.10  按yes回车密码
ssh-copy-id 20.0.0.13

 

  1. 在 slave2 上配置到数据库节点 master 和slave1的无密码认证
ssh-keygen -t rsa     //一路按回车键   
ssh-copy-id 20.0.0.10  按yes回车密码
ssh-copy-id 20.0.0.11

 

在这里插入图片描述
在这里插入图片描述
8. 配置MHA
在manager节点上复制相关脚本到/usr/local/bin 的目录

cp -ra /root/mha4mysql-manager-0.57/samples/scripts /usr/local/bin

 

在这里插入图片描述
在 manager 节点上复制相关脚本到/usr/local/bin 目录,复制上述的自动切换时 VIP 管理的脚本到/usr/local/bin 目录，这里使用脚本管理 VIP

cp -ra mha4mysql-manager-0.57/samples/scripts /usr/local/bin
ll /usr/local/bin/scripts/
cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin
vi /usr/local/bin/master_ip_failover
删除文件里的所有内容，复制下面的内容
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
#############################添加内容部分#########################################
my $vip = '20.0.0.200';
my $brdc = '20.0.0.255';
my $ifdev = 'ens33';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";
my $exit_code = 0;
#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
##################################################################################
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);

exit &main();

sub main {

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {

my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {

my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
 A simple system call that disable the VIP on the old_master
sub stop_vip() {
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

 

  1. 创建 MHA 软件目录并拷贝配置文件
[server default]
manager_log=/var/log/masterha/app1/manager.log		 #manager日志
manager_workdir=/var/log/masterha/app1 		#manager工作目录
master_binlog_dir=/usr/local/mysql/data 		#master保存binlog的位置
master_ip_failover_script=/usr/local/bin/master_ip_failover		 #设置自动failover时候的切换脚本
master_ip_online_change_script=/usr/local/bin/master_ip_online_change 		#设置手动切换时的切换脚本
password=manager 		#设置mysql中root用户的密码，这个密码是前面创建监控用户的密码
ping_interval=1 		#设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行failover
remote_workdir=/tmp 		#设置远端mysql在发生切换时binlog的保存位置
repl_password=abc123 		#设置复制用户的密码
repl_user=myslave 		#设置复制用户的账户
report_script=/usr/local/send_report 		#设置发生切换后发送的报警的脚本
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 14.0.0.30 -s 14.0.0.40    #从服务器地址
shutdown_script="" 		#设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机防止发生脑裂）
ssh_user=root 		#设置ssh的登录用户名
user=mha 		#设置监控用户
[server1]                     #主服务器
hostname=20.0.0.10
port=3306

[server2]                 # slave1 
candidate_master=1
check_repl_delay=0
hostname=20.0.0.11
port=3306

[server3]                     #slave2    
hostname=20.0.0.13
port=3306

 

在这里插入图片描述10. 测试ssh免密登录

 masterha_check_ssh -conf=/etc/masterha/app1.cnf

 

在这里插入图片描述11. 测试mha健康状态

masterha_check_repl -conf=/etc/masterha/app1.cnf

 

在这里插入图片描述12. 启动MHA

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

 

–remove_dead_master_conf 该参数代表当发生主从切换后，老的主库的 ip 将会从配置文件中移除。
–manger_log 日志存放位置。
–ignore_last_failover 在缺省情况下，如果 MHA 检测到连续发生宕机，且两次宕机间
隔不足 8 小时的话，则不会进行 Failover，之所以这样限制是为了避免 ping-pong 效应。该
参数代表忽略上次 MHA 触发切换产生的文件，默认情况下，MHA 发生切换后会在日志记
目录，也就是上面设置的日志 app1.failover.complete 文件，下次再次切换的时候如果发现
该目录下存在该文件将不允许触发切换，除非在第一次切换后收到删除该文件，为了方便，
这里设置为–ignore_last_failover。
13. 查看mha状态及日志

masterha_check_status --conf=/etc/masterha/app1.cnf

 

在这里插入图片描述

 

在这里插入图片描述

 

标签：架构,MHA,manager,master,ssh,MySQL,slave,usr
来源： https://www.cnblogs.com/liuwei186/p/13934483.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

关于我们 | 联系我们 | 留言反馈

专注分享技术，共同学习，共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有