5 环境搭建-Spark on YARN
1 SparkOnYarn本质
2 配置spark on yarn环境
此部分直接参考<
3 部署模式DeployMode
4 Spark On Yarn两种模式总结
5 扩展阅读:两种模式详细流程
5 总结
1 SparkOnYarn本质? Master由ResourceManager代替 Worker由NodeManager代替 Driver可以运行在容器内(Cluster模式)或客户端进程中(Client模式) Executor全部运行在YARN提供的容器内 2 Why Spark On YARN? 提高资源利用率, 在已有YARN的场景下让Spark收到YARN的调度可以更好的管控 资源提高利用率并方便管理
共有 0 条评论