(1)Kafka设计介绍
1.Kafka介绍
(1)基本概念
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者的所有动作流数据。 这种动作如:
活动数据:网站用户行为数据,例如PV(页面浏览量),UV(用户访问量)
运营数据: 监控系统性能指标(cpu利用率、负载,内存使用率,磁盘利用率,IO性能)
这些
数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决,特性如下:
海量数据不可变
实时处理
对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。
Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。
(2)常用应用场景
解耦:
消息队列在处理过程中间插入了一个隐含的、基于数据的接口层,两边的处理过程都要实现这一接口。可独立扩展两端处理过程,
(1)Kafka设计介绍最先出现在Python成神之路。
共有 0 条评论