标签：AppManager NM 调度 Yarn 任务 MR RM AppMaster 资源管理

Yarn主要负责集群的资源管理，以便于在一个集群中运行多种计算框架的任务，比如MR，Spark，Flink等

Yarn主要包括两个组件：

• ResourceManager：
  • 负责全局资源管理，简称RM
  • 包括Application Manager（AppManager，负责App master管理） 和 Resource Scheduler（调度器，负责资源调度）
  • 调度器分为容量调度器、公平调度器、队列调度器，具体区别不详
• NodeManager
  • 负责单节点资源管理，简称NM

运行一个MapReduce任务，其资源管理过程如下：

1 Client向RM提交作业，申请jobID

2 RM的AppManager返回给Client一个唯一的ID，并且返回一个HDFS的临时路径，用于上传作业资源（jar包，配置文件等）

3 Client将作业资源（jar包，配置文件等）上传到RM（的AppManager）返回的临时HDFS路径

4 上传成功后，Client向RM（的AppManager）发送启动作业的请求

5 启动作业的请求有AppManager转发给调度器

6 调度器将任务放置到队列中，当该启动作业请求被执行时，则调度器让AppManager分配容器

7 承接上一步，AppManager通知NM开辟资源池，启动AppMaster（每个MR程序都对应一个AppMaster）

8 AppMaster接收HDFS临时目录的作业资源文件，然后根据切片信息，准备创建Map任务和Reduce任务

9 AppMaster向RM的调度器请求MR任务运行所需的资源

10 RM的调度器返回启动MR任务所在的NM信息

11 AppMaster分别和上一步返回的NM通信，通知起在自己的节点上分别启动Map任务和（或）Reduce任务

12 NM分别在自己所管辖的节点上开辟一个资源池（container），用于运行Map任务和（或）Reduce任务

13 Map 和 Reduce任务接收HDFS临时路径的资源信息，运行任务

13.1 任务运行过程中，如果Map/Reduce任务挂掉，则AppMaster会和RM调度器通信重新分配NM及对应的container资源池，重新运行任务

13.2 任务运行过程中，如果AppMaster进程挂掉，则RM的AppManager会重新分配NM去启动新的AppMaster

14 任务运行完成后，AppMaster发送请求给RM调度器，释放资源

参流程图如下：

标签：AppManager,NM,调度,Yarn,任务,MR,RM,AppMaster,资源管理
来源： https://www.cnblogs.com/backMountainGuest/p/15038750.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。