标签：-- 192.168 kafka 2181 sh 常用命令 KAFKA consumer
# 创建主题 my-topic1 副本(replication-factor) 3 分区(partitions)3 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --create --topic my-topic1 --replication-factor 3 --partitions 3 # 增加分区到16 参数 --alter --partitions # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --topic my-topic1 --alter --partitions 16 # 删除主题 --delete，为了能够删除主题，broker的delete.topic.enable参数必须设置为true。如果该参数被设为false,删除主题的请求会被忽略。默认为false. # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --topic my-topic1 --delete # 列车所有主题 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --list log-format my-topic my-topic1 - marked for deletion test # 列出所有主题的详细信息。参数 --describe # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe # 列出所有包含不同步副本的分区。参数 --under-replicated-partitions # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --under-replicated-partitions # 列车所有没有首领的分区，这些分区是离线状态，对于生产者和消费者来说是不可用的。参数--unavailable-partitions ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --unavailable-partitions ###消费者群组，使用kafka-consumer-group.sh工具可以用于列出消费者群组 # 旧版本的消费者客户端，可以使用--zookeeper和list参数列出消费者群组； # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181 --list Note: This will only show information about consumers that use ZooKeeper (not those using the Java consumer API). console-consumer-71980 # 使用新版本的消费者客户端时，则要使用--bootstarap-server、--list和--new-consumer参数 # ./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.37.130:9092,192.168.37.131:9092,192.168.37.132:9092 --list # 使用--describe替代--list，并通过--group指定特定的群组，获取该群组的详细信息。它会列出群组里所有主题的信息和每个分区的偏移量 # 旧版本 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --group console-consumer-71980 # 新版本 # ./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.37.130:9092,192.168.37.131:9092,192.168.37.132:9092 --describe --group console-consumer-71980 # 删除群组 # 只有旧版本的消费者客户端才支持删除群组的操作。删除群组操作将从zookeeper上移除整个群组，包括所有已保存的偏移量。在执行前，必须关闭所有的消费者。 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --delete --group console-consumer-71981 # 删除群组-指定主题 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --delete --group console-consumer-71981 --topic my-topic ## 偏移量管理 # 导出偏移量 # ./bin/kafka-run-class.sh kafka.tools.ExportZkOffsets -zookeeper 192.168.37.130:2181 --group console-consumer-71981 --output-file filename # 手动修改偏移量 # ./bin/kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --group jsis-group-biaozhun --reset-offsets --topic carInfoUp --to-offset 17307399 --execute # ./bin/kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --group jsis-group-biaozhun --reset-offsets --topic carServiceInfoUp --to-offset 3755699 --execute # 查看偏移量 # ./bin/kafka-console-consumer.sh --bootstrap-server 172.18.2.50:9092 --topic carServiceAlteration2 --from-beginning # 查看消费组 # ./kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --list ./kafka-topics.sh --zookeeper 172.18.106.202:2181 --topic parkOutUp2 --describe # 查看消费组 # ./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --list # 查看数据积压偏移量 # ./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --group bishan.mcity --describe|grep -w bishan.mcity.park.in
# 查看大于100的数据积压偏移量
./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --group bishan.mcity --describe|awk '{if (int($5)>100) { print $1,$5,$7}}'|sort -n 1.查看topic的详细信息 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、为topic增加副本 ./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute 3、创建topic ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1 4、为topic增加partition ./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1 5、kafka生产者客户端命令 ./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1 6、kafka消费者客户端命令 ./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1 7、kafka服务启动 ./kafka-server-start.sh -daemon ../config/server.properties 8、下线broker ./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60 shutdown broker 9、删除topic ./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181 ./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1 10、查看consumer组内消费的offset ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1
标签：--,192.168,kafka,2181,sh,常用命令,KAFKA,consumer 来源： https://www.cnblogs.com/zhouzhiguo/p/15963392.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。