ceph 集群创建存储池 ceph osd pool create k8s 128 128 获取 key $ ceph auth get-key client.admin | base64 QVFEMjVxVmhiVUNJRHhBQUxwdmVHbUdNTWtXZjB6VXovbWlBY3c9PQ== k8s 集群节点安装 ceph-common，版本需和 ceph 集群一致 rpm -ivh http://download.ceph.com/rpm-l
1、创建rbd使用的存储池。admin节点需要安装ceph才能使用该命令，如果没有，也可以切换到ceph-node1节点去操作。[cephfsd@ceph-admin ceph]$ ceph osd pool create rbd_data 64 64 pool 'rbd_data' created [cephfsd@ceph-admin ceph]$ rbd pool init rbd_data [cephfsd@ceph-admin c
http://docs.ceph.org.cn/radosgw/ 对象是对象存储系统中数据存储的基本单位，每个 Object 是数据和数据属性集的综合体，数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等每个对象自我维护其属性，从而简化了存储系统的管理任务，对象的大小可以不同，对象存储（Object Storage）是
#创建cephfs pool cephadmin@ceph-deploy:~/ceph-cluster$ ceph osd pool ls device_health_metrics cephfs-metadata cephfs-data cephadmin@ceph-deploy:~/ceph-cluster$ sudo ceph auth add client.user1 mon 'allow r' mds "allow rw" osd "all
#新增3台服务器root@ceph-deploy:~# cat /etc/hosts 127.0.0.1 localhost 127.0.1.1 ubuntu.example.local ubuntu # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback ff02::1 ip6-allnodes ff02::2 ip6-all
ceph 集群中由mon服务器维护的5中运行图 monitor负责监控整个集群的监控状态，以及维护集群成员关系状态、对等节点的状态，和集群的配置信息等。Ceph monitor通过维护cluster map的主复制来实现这些功能。 1，monitor map: 它包含监视节点端到端的信息，包括Ceph集群ID、monitor节点名
5.3 Ceph存储使用 在ceph-deploy节点上操作 1 RBD 块存储 (1) RBD介绍RBD即RADOS Block Device的简称，RBD块存储是最稳定且最常用的存储类型。RBD块设备类似磁盘可以被挂载。RBD块设备具有快照、多副本、克隆和一致性等特性，数据以条带化的方式存储在Ceph集群的多个OSD中。如下是对C
存储 DAS(直连存储)ide 线、satu线、sas线 NAS(网络附加存储)Samba、nfs、ftp SAN(存储区域网络)iscsi SDS(软件定义分布式存储网络ceph、glusterfs) 块存储:没格式化的叫块存储 文件存储:格式话的叫文件存储 ceph: 1.ceph是一个分布式文件系统 2.具有高可用、高扩
五 cephx认证机制 https://docs.ceph.com/en/pacific/rados/configuration/auth-config-ref/ # 配置参考 https://docs.ceph.com/en/pacific/architecture/#high-availability-authentication # 高可用认证 5.1 cephx协议 ceph使用cephx协议对客户端进行身份认证。 cephx用
六 CephFS使用 https://docs.ceph.com/en/pacific/cephfs/ 6.1 部署MDS服务 6.1.1 安装ceph-mds 点击查看代码 root@ceph-mgr-01:~# apt -y install ceph-mds 6.1.2 创建MDS服务 点击查看代码 ceph@ceph-deploy:~/ceph-cluster$ ceph-deploy mds create ceph-mgr-01 [ceph_de
九 ceph集群crush进阶使用 9.1 ceph集群运行图 ceph集群中由mon服务器维护的五种运行图： Monitor map #监视器运行图； OSD map #OSD运行图； PG map #PG运行图； Crush map (Controllers replication under scalable hashing) # 可控的、可复制的、可伸缩的一致性hash算法，crush运行图，
七 对象存储RadosGW使用 7.1 RadosGW 对象存储简介 RadosGW是对象存储的一种实现方式，RADOS网关也称为Ceph对象网关、RadosGW、RGW，是一种服务，使客户端能够利用标准对象存储API来访问Ceph集群，它支持AWS S3和Swift, rgw运行于librado之上，在ceph0.8版本之后使用Civetweb的web服务器来
十 ceph dashboard 10.1 ceph dashboard介绍 Ceph dashboard 是通过一个web界面，对已经运行的ceph集群进行状态查看以及功能配置等功能，早起ceph使用的是第三方的dashboard组件。 10.1.1 Calamari calamari对外提供了十分漂亮的web管理和监控界面，以及一套改进的REST API接口，在一定
Ceph认证机制 创建用户 用户通过ceph客户端向ceph认证系统请求生成一个用户ceph认证系统会生成一个用户名和密钥ceph认证系统会把用户名和密钥在监视器保存一份副本ceph认证系统会把用户名和密钥通过客户端给到用户所以用户和监视器都共享着同一份密钥 Ceph用共享密钥认
1 Ceph介绍 (1) 存储根据其类型，可分为块存储，对象存储和文件存储。在主流的分布式存储技术中，HDFS/GPFS/GFS属于文件存储，Swift属于对象存储，而Ceph可支持块存储、对象存储和文件存储，故称为统一存储。(2) Ceph是一个分布式存储系统，诞生于2004年，最早致力于开发下一代高性能分布式文件系
Ceph学习全过程 1.安装ceph 1.1 ceph概述 ceph monitor 客户端从monitor进程获取整个集群得信息，一般确保是奇数个就好，所以要确保它得高可用性。 osd进程 存储数据得地方，osd会定期把状态上报给monitor，monitor也会定期检测osd。 monitor map 记录集群得状况 osd map 对象得副本
Ceph添加OSD报错 ceph-deploy disk zap node3-ceph /dev/nvme1n1 [node3-ceph][WARNIN] stderr: wipefs: error: /dev/nvme1n1: probing initialization failed: Device or resource busy [node3-ceph][WARNIN] --> failed to wipefs device, will try again to worka
[root@serverc ~]# ceph osd pool set images pg_num 128 set pool 1 pg_num to 128 继续修改PGS [root@serverc ~]# ceph osd pool set images pgp_num 128 set pool 1 pgp_num to 128 参考资料 1. ceph关于too few PGs per OSD的问题
Ceph编译：L版本及其之后的版本。 1. 编译前准备 下载代码库 git clone git://github.com/ceph/ceph.git all 或者 git clone --recursive https://github.com/ceph/ceph.git 假如想看v13.2.2的代码 只clone一个分支的： git clone -b v10.2.5 --single-branch git://gith
因为后面项目的配置要用到ceph系统，所以在此分析结构 Ceph在一个统一的系统中提供对象、块和文件存储。 这是每个存储功能的特性 ceph具有高可靠、管理简单，并且是开源软件。 ceph的结构 如上图所示，对象存储功能基于RADOSGW实现，块存储基于RBD实现，文件存储基于CEPHFS实现。LIE
生成ceph-radosgw服务对应的用户和key： ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.rgw.node1 --gen-key ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.rgw.node2 --gen-key ceph-authtool /etc/ceph/ceph.client.rados
pool状态: ceph df # 查看当前存储的统计信息 ceph osd lspools #查看当前的存储池列表 rbd ls pool-name #查看存储池pool-name中的image列表 rbd info pool-name/image1 #查看image1的详细信息 有关块存储的操作（ceph节点操作）： rbd snap create pool-name/image1@image1_sn
注 意: 版本更新非常快，有问题要看官方文档 官方文档： http://docs.ceph.com 准备环境 系统版本：centos7.4 x86_64 server 硬件配置：5台vm，1核1G内存，每台node角色的机器至少挂载1块不低于5个G的空闲盘为osd存储 主机名 ip role
参考：https://mp.weixin.qq.com/s/KSdjMMXdgaMu-lt0FlnNhw ceph node 其中包含 OSD、Manager、MDS、Monitor。 OSD（ceph-osd）：object storage daemon，对象存储进程。ceph 管理物理硬盘时，引入了OSD概念，每一块盘都会针对的运行一个OSD进程。换句话说，ceph 集群通过管理 OSD 来管理物理硬
简介 随着业务的增长，osd中数据很多，如果db或者wal设备需要更换，删除osd并且新建osd会引发大量迁移。 本文主要介绍需要更换db或者wal设备时（可能由于需要更换其他速度更快的ssd；可能时这个db的部分分区损坏，但是db或者wal分区完好，所以需要更换），如何只更换db或者wal设备，减少数据迁移(不
