存储发展史 企业中使用存储按照其功能，使用场景，一直在持续发展和迭代，大体上可以分为四个阶段： DAS：Direct Attached Storage，即直连存储，第一代存储系统，通过SCSI总线扩展至一个外部的存储，磁带整列，作为服务器扩展的一部分； NAS：Network Attached Storage，即网络附加存储，通过网络协议如NFS
将前面删除的osd磁盘，重新初始化并重新加入到ceph集群当中。 清空已删除磁盘中的内容 输入命令： wipefs -af /dev/sdd zap该磁盘 ceph-volume lvm zap /dev/sdd [ceph: root@ceph-mon1 /]# ceph-volume lvm zap --help usage: ceph-volume l
1.1 ceph 特点 高性能 高可用性 高可扩展性 特性丰富 1.2 架构 对象（object）: 原生API 块 （block）: 支持精简配置、快照、克隆 文件 （File）: Posix接口 ， 支持快照 1.3 核心组件 Monitor : 一个Ceph集群需要多个Monitor组成的小集群，它们通过Paxos同步数据，用 来保存OSD的元
osd的扩容和换盘 横向扩容（扩容节点） 扩展mds： 需要将扩容的节点上安装ceph所需要的包，然后将节点加入到集群中，在新节点安装ceph,ceph版本必须与原集群版本一致 yum -y install ceph rpm -qa | egrep -i “ceph|rados|rbd” ceph -v 管理节点复制配置文件和密钥到新增节点 [roo
1. 使用 ceph osd tree 查看 , 2. 开始尝试将 osd.3 替换掉,将osd 设置为down。 先将osd.3 设置为 down 状态,下面命令必须在osd.3 所在的主机上执行。 systemctl stop ceph-osd@3.service 3. 执行 Ceph osd out osd.3 这样 reweight 设置为0
OSD OSD启动流程 OSD状态变化 HeartBeat心跳检查 CRUSH算法 IO流程 OSD消息处理总结 OSD线程模型 MISC OSD中的tick线程 OSD中的线程池和工作队列 PG Peering Recovery Backfill PG状态转移 PG分裂 PG重平衡 快照和克隆 MON Paxos 数据同步 MON线程模型 网络通讯 综合
目录简介STATE_PREBOOTOSD::start_boot在OSD::init中调用在OSD::tick中调用在OSD::ms_handle_connect中调用在OSD::_committed_osd_maps中调用STATE_BOOTINGSTATE_STOPPINGSTATE_ACTIVESTATE_WAITING_FOR_HEALTHY总结 简介 本文基于Luminous版本，分析一下OSD各状态的含义和状态转化
目录简介pre_initinit主要流程对OSDMap的处理对pg的处理final_init总结 简介 OSD作为Ceph的核心组件，承担着数据的存储，复制，恢复等功能。本文基于Luminous版本通浅析OSD的初始化流程，了解OSD的主要功能、主要数据结构和其他组件的配合情况等。OSD守护进程的启动流程在ceph_osd.cc中的
目录一、osd扩容1.1 osd横向扩容（scale out）1.2 osd纵向扩容（scale up）1.2.1 清理磁盘数据1.2.2 加入新的osd1.2.3 确认ods已扩容1.3 ceph osd数据重新分布1.3.1 临时关闭rebalance1.3.2 开启rebalance二、osd缩容2.1 剔除osd节点 一、osd扩容 1.1 osd横向扩容（scale out） 简单理解，横向
1.点击 ceph 安装 ceph 2. 在机器上运行 pveceph install 3.加入已有的Cluster information 信息可以从 Cluster 中获取 创建OSD
目录 1 整体架构介绍 1.1 总体介绍 1.2 整体架构 2 集群管理 2.1 Monitor 2.2 心跳管理 3 数据读写 3.1 OSD 3.2 读写流程 3.3 POOL和PG 3.4 CRUSH算法 3.4
韩佳瑶 分布式实验室 Ceph是一个完全开源的分布式存储方案、网络块设备以及文件系统，具有高稳定性、高性能、高扩展性等特点，可应对terabyte到exabyte级别的数据量。通过使用创新性的调度算法（CRUSH）、主动存储节点、以及peer-to-peer的gossip协议，Ceph规避了传统集中控制和lookup t
编者按：本文系SDNLAB技术分享系列，我们希望通过SDNLAB提供的平台传播知识，传递价值，欢迎加入我们的行列。分享嘉宾杨冠军，CloudIn云英研发工程师。专注存储领域十余年，曾就职于EMC、华为等国内外知名大型存储公司，有十分丰富的存储实践经验，研究Ceph一年多，对其架构原理、性能调优、服务监控
从Luminous v12.2.z开始，OSDMap中有一个新的pg-upmap异常表，允许集群将特定的PG显式映射到特定的OSD。 ceph features #查看ceph特征 ceph osd set-require-min-compat-client luminous --yes-i-really-mean-it #设置集群仅支持 Luminous（或者L之后的）客户端 ceph osd getmap
Ceph put 操作 ceph osd pool create mypool 32 32 rados put day.jpg /usr/share/backgrounds/day.jpg -p mypool rados ls -p mypool ceph osd map mypool day.jpg Ceph 与 Volumes 结合使用 mkdir /data/volumes -p cd /data/volumes ceph osd pool create kubernetes 8 c
假日出游，为什么显示有票你却抢不到？揭秘12306如何保证车票不超卖的关键技术！>>> 经过这么多年的视频技术开发，TSINGSEE青犀视频团队已经有了一套自己的研发体系，除了大家比较熟知的视频智能分析平台外，其实TSINGSEE青犀视频还有很多好用的SDK及工具。其中EasyScreenLive就是我们研发的
BlueStore checksum机制1.checksum的计算2.checksum的验证 BlueStore 磁盘静默数据损坏分析 fsck过程中发现磁盘数据静默错误 clone操作 read操作 write操作 Gc操作 实际场景1.腾讯场景问题确认2.rbd mirror3.rbd export import4.集群扩容 BlueStore checksum机制 Bluestore的che
文章目录 分布式存储ceph一、ceph介绍1.1、ceph是什么1.2什么是块存储、文件存储、对象存储1.2.1 备知识: 块级与文件级1.2.2 块存储、文件存储、对象存储(1)简述块存储、文件存储，对象存储(2)块存储、文件存储、对象存储的关系(3)细说块存储、文件存储、对象存储 1.3为何要
Ceph项目始于2004年，是为优秀的性能、可靠性和可扩展性而设计的统一的分布式存储系统。在使用RADOS系统时，客户端程序通过与OSD或者Monitor的交互获取ClusterMap，然后直接在本地进行计算，得出对象的存储位置后，便直接与对应的OSD通信，完成数据的各种操作。可见，在此过程中，只要保证ClusterM
机械硬盘7200硬盘IOPS = 1000/(3 + 1000*(7200/60)/2) = 14010k硬盘IOPS = 1000/(3 + 60000/10000/2) = 16715k硬盘IOPS = 1000/(3 + 60000/15000/2) = 200其中3为寻道延迟，7200/10k/15k为转速（rpm），1000*(7200/60)/2为旋转延迟（旋转延迟一般用转一圈所需时间的1/2表示），结果为理论峰值，实
通用功能：目前，Ceph拥有一个操作简单，基于Web的内置仪表板，用于监控群集状态。（Ceph Dashboard具体可以参阅Ceph官网中文文档：Ceph luminous 新功能之内置dashboard）RADOS:BlueStore:ceph-osd的新后端存储BlueStore已经稳定，是新创建的OSD的默认设置。 BlueStore通过直接管理物理HDD或SSD而
1. 心跳介绍心跳是用于节点间检测对方是否故障的，以便及时发现故障节点进入相应的故障处理流程。问题：故障检测时间和心跳报文带来的负载之间做权衡。心跳频率太高则过多的心跳报文会影响系统性能。心跳频率过低则会延长发现故障节点的时间，从而影响系统的可用性。故障检测策略应该能
【导读】Ceph 日常运维中有几类常见问题，社区日前组织Ceph领域专家进行了线上的答疑交流，对社区会员提出的部分典型问题进行了分享解答，以下是分享内容，希望能为大家提供答案和一些参考。Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别
# 主节点安装基础环境 rpm -ivh http://mirrors.aliyun.com/ceph/rpm-mimic/el7/noarch/ceph-release-1-1.el7.noarch.rpm # 所有节点执行 yum install ceph-deploy python-setuptools python2-subprocess32 ceph-common -y mkdir /root/ceph-cluster && cd /root/ceph-cluster
ObjectCeph最底层的存储单元是Object对象，每个Object包含元数据和原始数据。OSDOSD全称Object Storage Device，也就是负责响应客户端请求返回具体数据的进程。一个Ceph集群一般都有很多个OSD。PGPG全称Placement Grouops，是一个逻辑的概念，一个PG包含多个OSD。引入PG这一层其实是为了更
