一、k8s集群环境搭建 请参考：https://www.cnblogs.com/cyh00001/p/16520847.html 二、部署rook-ceph集群 2.1、环境需求： easzlab-k8s-ceph-01 172.16.88.163 4vcpu 8G 3*100G easzlab-k8s-ceph-02 172.16.88.164 4vcpu 8G 3*100G easzlab-k8s-ceph-03 172.1
mds_standby_replay：值为ture或false，true表示开启replay模式，这种模式下主MDS内的数量将实时与从MDS同步，如果主宕机，从可以快速的切换，如果为false只有宕机的时候采取同步数据，这样会有一段时间的中断。 mds_standby_for_name：设置当前MDS进程只用于备份宇指定名称的MDS。 mds_standby_f
Monitor Mgr Mds OSD Deploy 数量 2 2 4 1 CPU 8c 8c 4c 4c Memory 16g 16g 16g 8g 硬盘 200g 200g 500g*3 200g 系统 ubuntu18.04 ubuntu18.04 ubuntu18.04 ubuntu18.04 ubuntu18.04 设置apt源 sudo -i lsb_release -a apt-cache madison
背景 ceph集群有个别单个磁盘均衡后也要超过百分之80的使用率（有一块盘超过，百分之90集群就会停止写入），现需要添加新的磁盘osd，使集群进行重新均衡数据，来达到降低个别磁盘的高使用率 操作 1.1 新添加的服务器进行安装基础的ceph源 sudo -i wget http://dl.fedoraproject.org/pub/epel
一、Ceph简介 官网：https://ceph.com/en/ https://docs.ceph.com/en/latest/start/intro/ ceph 是一种开源的分布式的存储系统 包含以下几种存储类型： 块存储（rbd），对象存储(RADOS Fateway)，文件系统（cephfs） 块存储(rbd)： 块是一个字节序列（例如，512 字节的数据块）。 基于块
管理和自定义crushmap 定义pg到osd的映射关系 通过crush算法使三副本映射到理想的主机或者机架 更改故障域提高可靠性 pg到osd映射由crush实现 下载时需要将对象从osd搜索到，组成文件，那么对象多了就会效率变低，那么从pg组里面搜索。提高效率 对象放在pg要通过hash算法 95个pg / 10
clienta作为集群的管理人员。一部分。他是需要秘钥与配置文件的 但真正服务端只需要通过curl就好 ceph 多区域网关 对象存储容灾解决方案 zone与zone会做数据同步。 把会做同步的rgw放到一个组里 同步有方向的概念 有主zone master 主zone会像其他zone同步 一个realm的数据可以同
检查集群使用状态 ceph health detail 把块设备映射到操作系统 rbd map ssdcache/cb7329af-fe8f-4845-bbc8-5ae5c69a5588 取消映射块设备 rbd unmap /dev/rbd1 查看系统中已经映射的块设备 rbd showmapped 重启osd systemctl restart ceph-osd@134 设置标志位 示例： ceph osd
复习ceph003 存储池为逻辑概念，存储池可以占用整个集群的所有空间 [root@ceph01 ~]# ceph osd pool create pool1 pool 'pool1' created [root@ceph01 ~]# ceph osd pool application enable pool1 rgw enabled application 'rgw' on pool 'pool1' [root@ceph01 ~]# ce
ceph 存储类型 块存储：裸磁盘 未被格式化的磁盘 DAS(直连存储，usb，硬盘插到电脑)：scsi接口 接口数量有限 传输距离有限 SAN(存储区域网络)：ip-san 网络(iscsi) 以太网 fc-san网络 (fc协议) 光纤模块 ceph rbd scsi重新封装为iscsi，iscsi在ip网络里跑 scsi协议让你在电脑
环境准备 1、在运行 Ceph 守护进程的节点上创建一个普通用户,ceph-deploy 会在节点安装软件包，所以你创建的用户需要无密码 sudo 权限。如果使用root可以忽略。为赋予用户所有权限，把下列加入 /etc/sudoers.d/ceph echo "ceph ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/cep
一、前言 1、简述 参考文档： RHEL / CentOS : How to rebuild LVM from Archive (metadata backups) Red Hat Enterprise Linux 7 逻辑卷管理器管理 Bluestore 下的 OSD 开机自启动分析 本文介绍osd异常排查及相关修复过程，主要涉及lvm修复及osd恢复启动两部分说明 2、问题说明
删除pool提示错误 root@ceph01:/etc/ceph-cluster# ceph osd pool delete volumes volumes --yes-i-really-really-mean-it Error EPERM: pool deletion is disabled; you must first set the mon_allow_pool_delete config option to true before you can destroy a pool 修改ce
Curve 块存储已在生产环境上线使用近三年，经受住了各种异常和极端场景的考验，性能和稳定性均超出核心业务需求预期 网易云音乐背景 网易云音乐是中国领先的在线音乐平台之一，为音乐爱好者提供互动的内容社区。网易云音乐打造了一个大型、富有活力且坚固、快速成长的业态，为用户提供
1.查看当前mon节点 [root@mon1 ~]# ceph mon state2: 3 mons at {alpha=10.10.200.3:6789/0,beta=10.10.200.4:6789/0,gamma=10.10.200.10:6789/0}, election epoch 84, quorum 0,1,2 alpha,beta,gamma 2.例如删除mon.gamma节点，首先停止mon.gamma节点 [root@mon1 ~]# /etc/init
目录： 1、rsync本地同步操作 2、rsync远端同步操作 3、rsync+inotify实时同步 1、rsync本地同步操作 语法：rsync [选项...] 源目录 目标目录 功能：同步与复制的差异 复制：完全拷贝源到目标 同步：增量拷贝，只传输变化过的数据 参数详解： -n: 测试同步
个人记录，仅供参考 本文只记录操作流程以及我遇到的报错和解决手段，不包含CEPH知识 报错若没遇到可以不看，遇到其他问题可以去附录里的链接找找 1. 单机CEPH安装部署 (1) 准备 虚拟机：VMware WorkStation 16 Pro 系统：Ubuntu 20.04.3 LTS 安装ceph-deploy： sudo apt -y install ceph-dep
cloud-init 拉取镜像 wget http://materials.example.com/osp-small.qcow2 -O ~/cloud-init 登录openstack [student@workstation ~]$ source developer1-finance-rc 上传镜像 [student@workstation ~(developer1-finance)]$ openstack image create --disk-format qcow2 --mi
目录： 1、制作ceph离线安装包准备工作 2、编写3个repo文件 3、下载并打包ceph离线包 1、制作ceph离线安装包准备工作 # mount /dev/sr0 /mnt/ #挂载CentOS 7.8光盘 # yum install epel-repo # yum install yum-utils createrepo
[root@server443 ~]# ceph -s cluster: id: cb07c004-b6ef-4303-905f-f5833449a0e5 health: HEALTH_WARN 6 pool(s) have no replicas configured services: mon: 1 daemons, quorum server443 (age 13d) mgr: server443(active, since
环境 系统环境：centos7.6 2003 节点： ceph_node1: 安装组件：ceph-deploy,ceph-admin 组件：mon1,mgr1,ods ntp服务器 IP :192.168.10.15 硬盘：两块4T(后续会添加) ceph_node2: 组件：mon2,mgr2,ods IP :192.168.10.16 硬盘：两块4T(后续会添加) ceph_node3: 组件：mon2,mgr2,ods I
dashboard安装 环境 # ceph -s cluster: id: f885f732-2d84-4d5f-a6a4-8d02c8ae3834 health: HEALTH_OK services: mon: 1 daemons, quorum node1 (age 26m) mgr: node1(active, since 2m), standbys: node2, node3 osd: 9 osds: 9 up (since 15m
环境 3块SSD 6块HDD # ceph -s cluster: id: b4c125fd-60ab-41ce-b51c-88833089a3ad health: HEALTH_OK services: mon: 3 daemons, quorum node1,node2,node3 (age 47m) mgr: node1(active, since 56m), standbys: node2, node3 osd: 9 osds:
环境准备 修改hostname client1执行：hostnamectl set-hostname client1 client2执行：hostnamectl set-hostname client2 修改hosts 集群节点添加两台客户端host三个节点机器分别修改host文件，修改完成后如下 ::1 localhost localhost.localdomain localhost6 localhost6.
