标签：Google GFS Chunk 文件系统 Server 容错 副本 Master
Google云计算三大核心技术：GFS、MapReduce和Bigtable GFS的系统架构:
GFS的系统节点分为3类角色:
(1)Client(客户端) 提供给应用程序的访问接口
(2)Master(主服务器) GFS的管理节点，负责整个文件系统的管理
(3)Chunk Server(数据块服务器) 负责具体的存储工作
GFS的实现机制:
GFS的特点:
(1)采用中心服务器模式
可以方便地增加Chunk Server
Master掌握系统内所有Chunk Server的情况，方便进行负载均衡
不存在元数据的一致性问题
(2)不缓存数据
文件操作大部分是流式读写，不存在大量重复读写，使用Cache对性能提高不大
Chunk Server上数据存取使用本地文件系统从可行性看，Cache与实际数据的一致性维护也极其复杂
(3)在用户态下实现
利用POSIX编程接口存取数据降低了实现难度，提高通用性
POSIX接口提供功能更丰富
用户态下有多种调试工具
Master和Chunk Server都以进程方式运行，单个进程不影响整个操作系统
GFS和操作系统运行在不同的空间，两者耦合性降低
GFS的容错机制:
(1)Master的容错机制
Master保存的主要元数据:
命名空间(整个文件系统的目录结构）
chunk与文件名的映射表
chunk副本位置信息，直接保存在各个chunk server上（每一个chunk默认有3个副本）
Master的容错机制:
Master发生故障: 磁盘数据保存完好-->迅速恢复元数据
Master彻底死机-->使用Master的远程实时备份
(2)ChunkServer容错机制
GFS采用副本的方式实现Chunk Server的容错
每一个Chunk有多个存储副本（默认为三个）
对于每一个Chunk，必须将所有的副本全部写入成功，才视为成功写入
相关的副本出现丢失或不可恢复等情况，Master自动将该副本复制到其他Chunk Server
GFS中的每一个文件被划分成多个Chunk，Chunk的默认大小是64MB
每一个Chunk以Block为单位进行划分，大小为64KB，每一个Block对应一个32bit的校验和
GFS的系统管理技术:
标签：Google,GFS,Chunk,文件系统,Server,容错,副本,Master 来源： https://www.cnblogs.com/paradis/p/11007748.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。