ETL任务集群部署

目录
一 概述
二 配置
1 主备资源管理器配置
2 作业服务器配置
三 操作
1 登录资源管理器
2 调度执行作业
​3 作业服务器故障任务迁移
4 后备RM接管

一 概述
BeeDI 提供集群部署调度功能，支持ETL任务在多台服务器上的自由迁移，BeeDI集群部署包含客户端、资源管理器、作业服务器。客户端登录资源管理器发布调度任务，资源管理器负责将任务动态加载到可用的作业服务器运行。当某一作业服务器出现故障，其上运行的任务将被加载到其它作业服务器上继续运行。
BeeDI集群组件交互图如下所示：

BeeDI集群组件交互图
BeeDI集群具有如下特点：
分布式运行ETL
任务在定时或手工启动时资源管理器根据负载情况将其分配到负载较小的作业服务器运行。
服务器故障后任务自动迁移
当某一作业服务器出现故障，资源管理器自动将其上运行的任务转移到其它可用服务器上重新运行。当主资源管理器出现故障，后备资源管理器接管其上运行的任务继续执行，确保集群中任意单点故障不会中止ETL执行。
支持断点续传
由于机器故障导

ETL任务集群部署最先出现在Python成神之路。