kafka re-blance 重平衡、堆积、自动提交

由一次kafk数据堆积说起
因为公司的项目是由一个第三方的旧系统迁移过渡开发过来的，而且时间很急，所以有许多数据需要修正。为了不影响线上的业务，修复数据的逻辑是在另一个应用的，可以通过管理系统圈定数据范围，然后发送到kafka。 但是某一天kafka上的数据一直在堆积，高峰期一直下不去。查询了很多日志，发现很多消费者的消费速度异常地慢，而且存在重复消费的情况（业务上是允许重复消费）。最后发现kafka不断地在重平衡，导致数据一直不能尽快被消费。
那么，是什么导致了系统频繁重平衡呢？
重平衡的作用
要想知道什么是重平衡rebalance，那就要先了解消费组consumer group。
什么是消费组
多个消费者consumer组成一个消费组，它们共同消费一个topic，一个topic的一个parition只能被一个consumer消费。
kafka为消费组定义了5种状态，他们分别是：Empty,Dea

kafka re-blance 重平衡、堆积、自动提交最先出现在Python成神之路。