标签：bin -- hadoop 9092 管理工具 sh kafka

1、kafka内部提供了许多管理脚本，这些脚本都放$kafka_home/bin目录下，

企业生产中，我们可以通过bin/kaka-topics.sh bin/kafak-consumber-groups.sh bin/kafka-run-class.sh 内部管理执行脚本监控consumber的group 、topics 、pid 消费offset,总logSize大小和未消费堆积的lag等消息，结合Shell或python调度脚本可以大有用途。

进入kafka目录

cd $KAFKA_HOME/lib/kafka/
1、查看所有的kafka的topic列表
bin/kafka-topics.sh -zookeeper hadoop-5:2181,hadoop-6:2181 -list
2、查看kafka特定topic详情，使用--topic与--describe参数
bin/kafka-topics.sh -zookeeper hadoop-5:2181,hadoop-6:2181 --topic ztjy.dt.log.adv --describe
3、查看 consumer group列表：
.新版本 (信息保存在broker中)  > 0.9.0 version  故 需要指定bootstrap--server参数
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server hadoop-4:9092,hadoop-5:9092,hadoop-6:9092 --list

老版本 (信息保存在zookeeper中) <= 0.9.0        故 需要指定zookeeper参数
bin/kafka-consumer-groups.sh --zookeeper hadoop-5:2181,hadoop-6:2181,hadoop-4:2181 --list
4. 查看 consumer group详情：    相同的
新版本 (信息保存在broker中)  > 0.9.0 version  故 需要指定bootstrap--server参数
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server hadoop-4:9092,hadoop-5:9092,hadoop-6:9092 --group kafka-hdfs --describe 
老版本 (信息保存在zookeeper中) <= 0.9.0        故 需要指定zookeeper参数
bin/kafka-consumer-groups.sh --zookeeper hadoop-5:2181,hadoop-6:2181,hadoop-4:2181 --group kafka-hdfs --describe
报错：Error: The consumer group 'kafka-hdfs' does not exist.

因为 --group kafka-hdfs  组是保存在broker中的，而不是在zookeeper中，所以用上面2方式查询会报错。

5.列出所有消费者组的所有信息：    老版本 <= 0.9.0

包括Group(消费者组)、Topic、Pid(分区id)、Offset(当前已消费的条数)、LogSize(总条数)、Lag(未消费的条数)、Owner等信息。

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper hadoop-5:2181,hadoop-6:2181,hadoop-4:2181 --group kafka-hdfs --topic topic.log.uv

标签：bin,--,hadoop,9092,管理工具,sh,kafka
来源： https://blog.51cto.com/u_13887992/2984461

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。