Hadoop-Yarn

Yarn基础架构
YARN主要由ResourceManager、NodeManager、ApplicationMaster、Container等组件构成

YARN基础架构

 
YARN工作机制

(1)MR 程序提交到客户端所在的节点。 (2)YarnRunner 向 ResourceManager 申请一个 Application。 (3)RM 将该应用程序的资源路径返回给 YarnRunner。 (4)该程序将运行所需资源提交到 HDFS 上。 (5)程序资源提交完毕后,申请运行 mrAppMaster。 (6)RM 将用户的请求初始化成一个 Task。 (7)其中一个 NodeManager 领取到 Task 任务。 (8)该 NodeManager 创建容器 Container,并产生 MRAppmaster。
(9)Container 从 HDFS 上拷贝资源到本地。 (10)MRAppmaster 向 RM 申请运行 MapTask 资源。 (11)RM 将运行 MapTask 任务分配给另外两个 NodeMa

Hadoop-Yarn最先出现在Python成神之路

版权声明:
作者:主机优惠
链接:https://www.techfm.club/p/24795.html
来源:TechFM
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>