Flink 调优:Checkpoint 问题排查

Flink 调优:Checkpoint 问题排查
1. Flink Checkpoint 流程
在使用 Flink 时, 我们基本都会用到 Checkpoint,也难免不会遇到 Checkpoint 慢或者失败等问题,如果想要排查这些问题,那么必须先知道 Checkpoint 的生产流程。一个 Task 的 Checkpoint 流程包括以下几个步骤:
JobManager 向 Source 算子发送 Barrier ,初始化 Checkpoint; Source 算子收到 Barrier 之后,Checkpoint 自己的 State,并向下游发送 Barrier; 下游收到 Barrier 后,进行 Barrier Alignment 处理; Task 开始同步阶段的 Snapshot; Task 开始异步阶段的 Snapshot; Task 做完 Checkpoint 之后,再上报 Job

Flink 调优:Checkpoint 问题排查最先出现在Python成神之路

版权声明:
作者:lichengxin
链接:https://www.techfm.club/p/25460.html
来源:TechFM
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>