标签:Zk zookeeper broker Kafka 集群 kafka
- 一个kafka的集群通常由多个broker组成,这样才能实现负载均衡,以及容错。
- Broker是无状态sateless的,它们是通过zookeeper来维护集群状态。
- 一个kafka的broker每秒可以处理数十万次读写,每个broker都可以处理TB消息而不影响性能。
- Zk用于管理和协调broker,并且存储了kafka的元数据(例如有多少topic,partition、consumer)
- Zk服务主要用于通知生产者和消费者kafka集群中有新的broker加入,或者kafka集群中出现故障的broker。
Kafka逐步想办法将zookeeper剥离,维护两套集群成本比较高,社区提出KIP-500就是要替换掉zookeeper的依赖。Kafka on kafka——kafka自己来管理自己的元数据。
标签:Zk,zookeeper,broker,Kafka,集群,kafka 来源: https://www.cnblogs.com/xxeleanor/p/15018294.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。