ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

minio数据迁移方案

2021-11-08 09:59:10  阅读:893  来源: 互联网

标签:方案 minio rclone access 实例 集群 key 迁移


文章目录

1 背景

公司需要在公有云环境上进行产品的容器化适配和saas产品发布。产品中使用到了minio。考虑到minio集群最少4个节点,前期客户上传文件数量少,占用空间也少,就先使用minio的容器单实例保存文件。等到后续客户使用minio保存数据较多的时候,再搭建minio的集群,并将单实例的数据迁移到新的minio集群里。
因此,需要提前准备好minio的数据迁移方案,并测试数据从单点的minio迁移到minio集群是否可行。
如下的方案是进行了本地验证的,但是因为其他事情的插入,导致写文档时间与验证方案时间相隔一周。如下的步骤会缺少对应的截图。

2 环境说明

  • 单实例minio节点:在本地虚拟机搭建的minio单实例,192网段
    minio集群:公司内网机器,10.0网段

  • 虚拟机到公司内网主机网络是通的

  • 验证用的minio端口非默认端口

  • 所有操作使用root进行

3 操作步骤

3.1 时区和时间设置

如下命令 需要在minio单实例和minio集群都执行

# 调整时区为Asia/Shanghai
timedatectl set-timezone Asia/Shanghai

# 进行网络对时 ntp.ntsc.ac.cn是国家授时中心的ntpd地址
ntpdate ntp.ntsc.ac.cn

3.2 单实例minio安装rclone

执行如下命令进行安装

curl https://rclone.org/install.sh | sudo bash

如果网络不好,如上的命令会执行很久,也安装不上。可以先将脚本下载下来,然后在本地手动执行。

curl https://rclone.org/install.sh > install.sh
bash install.sh

3.3 单实例minio编辑rclone配置文件

mkdir -p ~/.config/rclone/
vim ~/.config/rclone/rclone.conf
[minio-new]
type = s3
provider = Minio
region = cn-east-1
access_key_id = admin
secret_access_key = minioadmin@123
endpoint = http://10.0.14.16:18125
[minio-local]
type = s3
provider = Minio
region = cn-east-1
access_key_id = admin
secret_access_key = minioadmin@123
endpoint = http://192.168.220.3:9000

如上配置 中 各项的含义

  • [minio-new] 是定义对minio集群的简称
  • [minio-local] 是对应对本地minio的简称
  • access_key_id minio的登录用户名
  • secret_access_key minio的登录密码
  • endpoint minio地址

3.4 开始同步数据

rclone sync minio-local:dosm minio-new:dosm

如上命令的意思是将minio-local的dosm桶同步到minio-new的dosm桶(如果目标minio上没有对应的桶 会在同步的过程中自动创建)

如果同步时间教程,建议使用screen命令将同步任务放到后台执行,避免任务中断导致的数据异常。
使用screen可以参考screen的使用方法

标签:方案,minio,rclone,access,实例,集群,key,迁移
来源: https://blog.csdn.net/weixin_43557605/article/details/121201641

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有