ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Kafka broker-list,bootstrap-server以及zookeeper的区别

2020-03-25 09:03:48  阅读:238  来源: 互联网

标签:bootstrap console zookeeper list broker kafka consumer


broker-list

broker指的是kafka的服务端,可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。   broker-list指定集群中的一个或者多个服务器,一般我们再使用console producer的时候,这个参数是必备参数,另外一个必备的参数是topic,如下示例:   C:\kafka\kafka_2.12-1.1.1 λ .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test20190713 >this is a test   本地主机如果要模拟多个broker,方法是复制多个server.properties,然后修改里面的端口, broker.id等配置模拟多个broker集群。       bootstrap-servers vs zookeeper bootstrap-servers指的是目标集群的服务器地址,这个和broker-list功能是一样的,只不过我们在console producer要求用后者。   以前我们使用console consumer测试消息收发时会这样写:
2 C:\kafka\kafka_2.12-1.1.1 λ .\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic test20190713 
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].

 

  这样可以接收到生产者控制台发送的消息。   现在我们也可以这样写,
2 C:\kafka\kafka_2.12-1.1.1 λ .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test20190713

 

  你可以自己测试下,也是可以收到消息的。   前者是老版本的用法,0.8以前的kafka,消费的进度(offset)是写在zk中的,所以consumer需要知道zk的地址。这个方案有性能问题,0.9 的时候整体大改了一次,brokers 接管了消费进度,consumer 不再需要和 zookeeper 通信了,所以就用bootstrap-server了。 新版的 Kafka 使用一个选举出来的 controller 来监听 zookeeper,其他 node 再去和 controller 通信,这么做的目的是为了减少 zookeeper 的压力。bootstrap-servers 会自动发现其他 broker,这也是 bootstrap 的含义           参考原文链接:https://blog.csdn.net/pony_maggie/article/details/95862515    

标签:bootstrap,console,zookeeper,list,broker,kafka,consumer
来源: https://www.cnblogs.com/huangguoming/p/12563907.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有