Kubernetes存储-Ceph存储 原文链接：https://www.qikqiak.com/k8strain/storage/ceph/#_11 简介 Ceph 是一个统一的分布式存储系统，提供较好的性能、可靠性和可扩展性。 架构 支持的接口 1、Object：有原生 API，而且也兼容 Swift 和 S3 的 API 2、Block：支持精简配置、快照、克隆
ceph-ansible官网 检查环境 ansible主机 ansible安装 yum install ansible -y 设置host # vim /etc/ansible/hosts [mons] node01 node02 node03 [mgrs] node01 node02 node03 [osds] node01 node02 node03 [rgws] node01 node02 node03 [mdss] node01 node02 node03
1、前言 本文章适用于ceph n版 2、示例 1、创建新的replicated ####命令模板###### ceph osd crush rule create-replicated <rule-name> <root> <failure-domain> <class> ###################示例##### ceph osd crush rule create-replicated ssd-rule d
前言： 分布式存储系统需要让数据均匀的分布在集群中的物理设备上，同时在新设备加入，旧设备退出之后让数据重新达到平衡状态尤为重要。新设备加入后，数据要从不同的老设备中迁移过来。老设备退出后，数据迁移分摊到其他设备。将文件、块设备等数据分片，经过哈希，然后写入不同的设
Crush map CRUSH map采用树状结构，最小叶子节点就是真实物理磁盘称为device，中间节点称为bucket，每个bucket可以是device集合，也可以是低一级的bucket集合，最上面还有一个root节点，代表集群的入口 CRUSH hierarchy（层次结构）：树型结构目录，决定故障域的范围（11个层级） CRUSH ru
CRUSH的全称是Controlled Replication Under Scalable Hashing，是ceph数据存储的分布式选择算法，也是ceph存储引擎的核心。 ceph的客户端在往集群里读写数据时，动态计算数据的存储位置。这样ceph就无需维护一个叫metadata的东西，从而提高性能。 ceph分布式存储有关键的3R: Replicat
上一篇文章讲到self.mian最后调用terminal.dispatch(self.mapper, subcommand_args)，我们先看下该函数实现： def dispatch(mapper, argv=None): argv = argv or sys.argv for count, arg in enumerate(argv, 1): if arg in mapper.keys(): instan
官方文档地址：https://rook.io/docs/rook/v1.8/ceph-teardown.html 如果要拆除群集并启动新群集，请注意需要清理的以下资源： rook-ceph namespace: The Rook operator and cluster created by operator.yaml and cluster.yaml (the cluster CRD) /var/lib/rook: Path on each host i
1 背景知识 1.1 Ceph简介 Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)。目前也是OpenStack的主流后端存储，和OpenStack亲如兄弟，为OpenStack提供统一共享存储服
环境信息 主机：3台 osd：每台6个 ceph 版本：L 测试工具：fio 存储网卡：万兆 单块磁盘性能 随机读写： fio --filename=./test -iodepth=64 -ioengine=libaio -direct=1 -rw=randread -bs=4k -size=2G -numjobs=64 -runt ime=100 -group_reporting -name=test-rand-read read: IOP
CRUSH的全称是Controlled Replication Under Scalable Hashing，是ceph数据存储的分布式选择算法，也是ceph存储引擎的核心。 ceph的客户端在往集群里读写数据时，动态计算数据的存储位置。这样ceph就无需维护一个叫metadata的东西，从而提高性能。 ceph分布式存储有关键的3R: Repli
问题说明 Ceph集群环境（OSD类型为bluestore）中进行热插拔OSD磁盘的测试场景，有时会出现热插拔磁盘盘符漂移导致OSD服务无法正常启动，因而OSD无法上线的情况。 问题分析 查看无法上线的OSD目录发现wal、db分区的软连接建立的盘符还是之前的，所以导致OSD无法启动。 (使用lvs
Rook 介绍 Rook 是一个开源的云原生存储编排器，为各种存储解决方案提供平台、框架和支持，以便与云原生环境进行原生集成。 Rook 将分布式存储系统转变为自管理、自扩展、自修复的存储服务。它使存储管理员的部署、引导、配置、配置、扩展、升级、迁移、灾难恢复、监控和资源管理等任
一、增加元数据服务器 cd /data/ceph-cluster/ ceph-deploy mds create k8s-master k8s-node1 k8s-node2 二、创建 CEPH 文件系统 一个 Ceph 文件系统需要至少两个 RADOS 存储池，一个用于数据、一个用于元数据。配置这些存储池时需考虑： 为元数据存储池设置较高的副本水平，因为此
uname -r3.10.0-123.el7.x86_64ceph -vceph version 0.94.7 (d56bdf93ced6b80b07397d57e3fa68fe68304432)(1) 准备5台机器并修改/et/hosts文件。 192.168.0.2 ceph-client 192.168.0.3 ceph-admin 192.168.0.4 ceph-monitor 192.168.0.5
1 介绍 OSD是ceph集群中的一个角色，全称为Object Storage Device，负责响应客户端请求返回具体数据的进程，一个ceph集群中一般有多个OSD。 本文章主要讲的是一些关于OSD的基本操作命令。 2 常用操作 2.1 查看OSD状态 $ ceph osd stat 3 osds: 3 up, 3 in 状态说明： ● 集群内
当用户在 Ceph 存储集群中创建 POOL ，并为 POOL PG 时，如果用户 未指定具体的参数值，则 Ceph 使用配置文件中的默认值来创建 POOL 和设置 PG 数目。 通常情况下，建议用户根据实际情况在配置文件中自定义 POOL 的对象副本数目 osd pool default size osd pool default min size ）
快速部署LAMP架构 [root@zhanghuan ~]# iptables -F [root@zhanghuan ~]# systemctl stop firewalld [root@zhanghuan ~]# systemctl disable firewalld [root@zhanghuan ~]# getenforce Disabled # 停止，以及把nginx应用程序卸载了 [root@ceph yum.repos.d]# yum remove ngi
一 监控组件 官方文档：https://docs.ceph.com/en/pacific/cephadm/services/monitoring/ 监控栈由Prometheus、 Prometheus 导出器（Prometheus Module、Node exporter）、Prometheus Alert Manager和Grafana 组成。 Ceph Dashboard 使用Prometheus、Grafana和相关工具来存储和可视化有
概述 OSD是RADOS集群的基本存储单元。 PG(placement group)从名字可理解为放置策略组，它是对象的集合，该集合里的所有对象都具有相同的放置策略：对象的副本都分布在相同的OSD列表上。一个对象只能属于一个PG，一个PG对应于放置在其上的OSD列表。一个OSD上可以分布多个PG。处理来自客
参考资料 1. ceph bluestore 写操作源码分析（上） 2. ceph bluestore中的磁盘空间管理
rook移除osd 问题： 注意：一下数据来源于个人环境，图文可能不一致需根据实际修改IP等数据 1、ceph -s 查看报错有1个pg数据不一致，并且通过ceph osd status查看osd状态都是UP状态 2、ceph health detail 查看初步确认是pg1.25的osd 52，56以及8中有硬盘可能有坏 解决： 一、查找对
内容来源于官方，经过个人实践操作整理，官方地址：http://docs.ceph.org.cn/rados/ 所有 Ceph 部署都始于 Ceph 存储集群。 基于 RADOS 的 Ceph 对象存储集群包括两类守护进程：term:对象存储守护进程（ OSD ）把存储节点上的数据存储为对象； term:Ceph 监视器（ MON ）维护集群运行图的主拷贝。
大多数 Ceph 用户不会直接往 Ceph 存储集群里存储对象，他们通常会使用 Ceph 块设备、 Ceph 文件系统、或 Ceph 对象存储这三大功能中的一个或多个。 前提条件 先完成存储集群快速入门 ，并确保 Ceph 存储集群处于 active + clean 状态，这样才能使用 Ceph 块设备。 Ceph 块设备也叫 RB
k8s 中 pv 有以下三种访问模式(Access Mode)： ReadWriteOnce：只可被一个Node挂载，这个Node对PV拥有读写权限 ReadOnlyMany: 可以被多个Node挂载，这些Node对PV只有只读权限 ReadWriteMany: 可以被多个Node挂载，这些Node对PV拥有读写权限 ceph rbd 模式是不支持 ReadWriteMany，而 cephfs
