标签：HDFS Hadoop 特性 网络 传输数据 集群 数据

  Hadoop集群中的各节点通过网络连接起来，而且MapReduce中的以下过程会在网络中传输数据。

    （1） 写数据。当向HDFS写入初始数据或者大块数据时，会发生数据写入过程。写入的数据块需要备份到其他节点，需要在网络中传输这些数据。

    （2） 作业执行。

    1） Map阶段。在算法的Map阶段，几乎不需要在网络中传输数据。在Map开始阶段，当HDFS数据没有本地性（数据块不在本地存储，需要从其他节点拷贝）时，才需在网络中传输数据。

    2） Shuffle阶段。这是作业执行中在网络中传输数据的阶段，数据传输的程度依赖于作业。Mapper阶段的输出内容，会在这个时候传输到Reducer进行排序。

    3） Reduce阶段。因为Reducer需要的数据已经从Shufle阶段传来，所以此阶段不需要网络传输数据。

    4） Output复制。MapReduce的输出作为文件存储在HDFS上。当将输出结果写入HDFS时，产生的备份会在网络中传输。

    （3） 读数据。当应用程序如网站、索引或者SQL数据库从HDFS读取数据时，会发生数据读取的过程。

    另外，网络对Hadoop的控制层非常重要，比如HDFS的信令和运维操作，以及MapReduce架构都受到网络影响。

    五种网络特性

    针对Hadoop集群环境下的网络环境进行测试，测试结果显示，一个有弹性的网络对Hadoop集群非常重要；对Hadoop集群具有重要影响的网络特性，以其影响程度从大到小依次排序为：网络可用性和弹性、Burst流量突发处理和队列深度、网络过载比、Datanode网络接入和网络延迟。

    （1） 网络可用性和弹性。要部署一个高冗佘性和可扩展的网络，支持Hadoop集群的增长。在Datanode之间部署多条链路的技术要比那些有单点失效或两点失效的技术要好。交换机和路由器已经在业界被证明能够为服务器提供网络可用性。

    （2） Burst流量突发处理和队列深度。HDFS的有些操作和MapReduce Job会产生突发流量，如向HDFS加载文件或者把结果文件写入HDFS都需要通过网络。网络如果处理不了突发流量，就会丢弃数据包，所以适当的缓存可以缓解突发流量的影响。确保选择使用缓存和队列的交换机和路由器，来有效处理流量突发。

    （3） 网络过载比。一个好的网络设计需要考虑到网络中关键节点的拥塞情况。一个ToR交换机从服务器接收20Gbps的数据，但是只有2个1Gbps的上联口会造成数据包丢失（10:1的过载比），严重影响集群的性能。过度配置的网络的价格又非常昂贵。一般情况下，服务器接入层可以接受的过载比在4:l左右，接入层和汇聚层之间，或者核心层的过载比在2:l左右。

    （4） Datanode网络接入。要基于集群工作负荷来推荐带宽配置。一般集群中的节点有1到2根1GB的上联12.是否选择10Gbps的服务器要权衡价格和性能。

    （5） 网络延迟。交换机和路由器延迟的变化对集群性能的影响有限。相比网络延迟，应用层延迟对任务的影响比例更大。但是网络的延迟会对应用系统造成潜在的影响，例如造成不必要的应用切换等。

在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307 ， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取

标签：HDFS,Hadoop,特性,网络,传输数据,集群,数据
来源： https://blog.csdn.net/dieagag/article/details/90048039

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。