【Kafka中文社区】kafka迁移方案

 来源:Kafka知识星球  https://z.didi.cn/5gSF9
背景
目前线上环境有200套kafka集群,且kafka的版本有0.10、2.0等版本。需要在不影响业务的情况下迁移到kafka2.5版本。

方案
结合目前Kafka集群的现状建议采用两个集群数据同步的方式进行迁移,采用数据同步的方式迁移可以不影响Kafka的业务使用方,同时可以使用zookeeper的新版本。具体Kafka迁移方案如下:

迁移步骤如下:
Ø 在部署了Kafka2.5版本的集群上初始化客户原有Kafka2.0集群的数据,包含用户、权限、topic等数据。
Ø 从Kafka2.0的集群上同步各个topic数据至Kafka2.5的集群,直至两个集群的数据完全一致。在进行数据同步的过程要保证两个集群的offset保持一致。
Ø 修改Kafka生产者的IP、端口为部署了Kafka2.5版本的集群。
Ø 修改Kafka消费者的IP、端口为部署了Kafka2.5版本的集群。
Ø 停止两个集群间的数据同步,同时删除Kafka2

【Kafka中文社区】kafka迁移方案最先出现在Python成神之路

版权声明:
作者:倾城
链接:https://www.techfm.club/p/8091.html
来源:TechFM
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>