<?xml version="1.0"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.o
企业开发场景案例 需求： 从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台≈ 3个任务（4 3 3） HDFS参数调优 修改：hadoop-env.sh export HDFS_NAMENODE_OPTS="-D
目录概述配置YARN资源模型资源管理器Node ManagerMapReduce的资源使用资源Profiles请求Profles 概述 YARN支持可扩展资源模块，默认YARN会跟着所有node，应用和队列中的内存和cpu，但是资源只能扩展可计数的资源，比如cpu ，内存，但是GPU和软件许可是不行的。 配置 yarn-site.xml 属性 值
GC(Garbage Collecting)是JVM特有垃圾回收机制； 在Hadoop集群应用程序运行时，如果堆内存设置小或者小文件太多， 都会引发频繁的GC，浪费计算资源并导致任务执行时间长甚至失败； 如果运算时发生GC的时间占40%以上，平台认为是不健康而且有优化空
单个容器(container)可申请的最小与最大内存，应用在运行申请内存时不能超过最大值，小于最小值则分配最小值 yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocation-mb 单个任务可申请的最小/最大虚拟CPU个数（运行MapRedce作业时，每个Task最少可申请虚拟CPU个数，
Hadoop企业开发场景案例 1 案例需求 （1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 （2）需求分析： 1G/128m = 8个MapTask；1个ReduceTask：1个mrAppMaster 平均每个节点运行10个/3台 ≈ 3个任务（4 3 3） 2 HDFS参数调优 （1）修改：hadoop-env.s
以spark 提交 任务为例： yarn作为cluster manager时，spark（以client模式为例）用spark-submit提交应用程序（或者是spark-shell交互操作）不加任何资源参数时，会使用如下几个默认配置来向yarn的resourcemanager申请container资源： spark.executor.memory 1gspark.executor.cores
