标签：SecondaryNameNode Edits 内存 NameNode 日志 数据 机制 Secondary

　　思考：nameNode中元数据的是存在哪里的呢？

　　有两个可能，一个是存在磁盘中，另一个可能是存在内存中。如果存在磁盘中的话，效率比较低  ，因为需要经常的随机访问还要给出对应的响应到客户。如果吃存到内存中，一旦断点元数据就会丢失，集群则无法正常的工作。因此我们可以把两者结合，在磁盘中备份元数据  FSImage.

　　新问题来了。如果内存中数据更新的时候同时在磁盘中备份数据，会导致效率降低，如果不更新就导致数据一致性。一旦NameNode断点会导致数据丢失。

　　HDFS有一个特性是修改比较慢的特征，此时产生一个新的文件  Edits文件，只追加信息。当元数据有变动的时候，修改内存中元数据并追加到Edits中。如果NameNode节点断电会合并FSImage和Edits文件，如果数据过大断电的时候合并依然由NameNode进行，就会浪费时间，所以会定期的对两个文件进行合并，且这个操作交由SecondaryNameNode来操作。

 第一 阶段：NameNode 启动
    （1）第一次启动 NameNode 格式化后，创建 Fsimage 和 Edits 文件。如果不是第一次启
         动，直接加载编辑日志和镜像文件到内存。
    （2）客户端对元数据进行增删改的请求。
    （3）NameNode 记录操作日志，更新滚动日志。
    （4）NameNode 在内存中对元数据进行增删改

第二 阶段：Secondary NameNode 工作
    （1）Secondary NameNode 询问 NameNode 是否需要 CheckPoint。直接带回 NameNode
        是否检查结果。
    （2）Secondary NameNode 请求执行 CheckPoint。
    （3）NameNode 滚动正在写的 Edits 日志。
    （4）将滚动前的编辑日志和镜像文件拷贝到 Secondary NameNode。
    （5）Secondary NameNode 加载编辑日志和镜像文件到内存，并合并。
    （6）生成新的镜像文件 fsimage.chkpoint。
    （7）拷贝 fsimage.chkpoint 到 NameNode。
    （8）NameNode 将 fsimage.chkpoint 重新命名成 fsimage

标签：SecondaryNameNode,Edits,内存,NameNode,日志,数据,机制,Secondary
来源： https://www.cnblogs.com/MingYi818/p/15343009.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。