Flume+Kafka实现日志文件流处理

文章目录
一、为什么要集成Flume和Kafka二、概念剖析Flume+Kafka三、Flume+Kafka实战（详细步骤）
总结

一、为什么要集成Flume和Kafka
 我们很多人在在使用Flume和kafka时，都会问一句为什么要将Flume和Kafka集成？那首先就应该明白业务需求，一般使用Flume+Kafka架构都是希望完成实时流式的日志处理，后面再连接上Flink/Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。第一、如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，从广义上理解，把它当做一个数据库，可以存放一段时间的数据。第二、Kafka属于中间件，一个明显的优势就是使各层解耦，使得出错时不会干扰其他组件。
 因此数据从数据源到flume再到K

Flume+Kafka实现日志文件流处理最先出现在Python成神之路。