标签：Java 分区 主题 Redis Kafka Streaming Spark 复盘 日志
一、对Kafka的认识
1.Kafka的基本概念
2.安装与配置
3.生产与消费
4.服务端参数配置
二、生产者
1.客户端开发
- 必要的参数配置
- 消息的发送
- 序列化
- 分区器
- 生产者拦截器
2.原理分析
- 整体架构
- 元数据的更新
3.重要的生产者参数
三、消费者
1.消费者与消费组
2.客户端开发
- 必要的参数配置
- 订阅主题与分区
- 反序列化
- 消息消费
- 位移提交
- 控制或关闭消费
- 指定位移消费
- 再均衡
- 消费者拦截器
- 多线程实现
- 重要的消费者参数
四、主题与分区
1.主题的管理
- 创建主题
- 分区副本的分配
- 查看主题
- 修改主题
- 配置管理
- 主题端参数
- 删除主题
2.初识KafkaAdminCilent
- 基本使用
- 主题合法性验证
3.分区的管理
- 优先副本的选举
- 分区重分配
- 复制限流
- 修改副本因子
4.如何选择合适的分区数
- 性能测试工具
- 分区数越多吞吐量就越高吗
- 分区数的上限
- 考量因素
五、日志存储
1.文件目录布局
2.日志格式的演变
- v0版本
- v1版本
- 消息压缩
- 变长字段
- v2版本
3.日志索引
- 偏移量索引
- 时间戳索引
4.日志清理
- 日志删除
- 日志压缩
5.磁盘存储
- 页缓存
- 磁盘I/O流程
- 零拷贝
六、深入服务端
1.协议设计
2.时间轮
3.延时操作
4.控制器
5.参数解密
七、深入客户端
1.分区分配策略
2.消费者协调器和组协调器
3._consumer_offsets剖析
4.事务
八、可靠性探究
1.副本剖析
2.日志同步机制
3.可靠性分析
九、Kafka应用
1.命令行工具
2.Kafka Connect
3.Kafka Mirror Maker
4.Kafka Streams
十、Kafka监控
1.监控数据的来源
2.消费滞后
3.同步失效分区
4.监控指标说明
5.监控模块
十一、高级应用
1.过期时间(TTL)
2.延时队列
3.死信队列和重试队列
4.消息路由
5.消息轨迹
6.消息审计
7.消息代理
8.消息中间件选型
十二、Kafka与Spark的集成
1.Spark的安装及简单应用
2.Spark编程模型
3.Spark的运行结构
4.Spark Streaming简介
5.Kafka与Spark Streaming的整合
6.Spark SQL
7.Structured Streaming
8.Kafka与Structured Streaming的整合
最后总结
搞定算法，面试字节再不怕，有需要文章中分享的这些二叉树、链表、字符串、栈和队列等等各大面试高频知识点及解析，以及算法刷题LeetCode中文版的小伙伴们可以点赞后点击这里即可免费获取！
最后再分享一份终极手撕架构的大礼包(学习笔记)：分布式+微服务+开源框架+性能优化
ed Streaming的整合**
[外链图片转存中…(img-RKpSEzCO-1625750053166)]
最后总结
搞定算法，面试字节再不怕，有需要文章中分享的这些二叉树、链表、字符串、栈和队列等等各大面试高频知识点及解析，以及算法刷题LeetCode中文版的小伙伴们可以点赞后点击这里即可免费获取！
最后再分享一份终极手撕架构的大礼包(学习笔记)：分布式+微服务+开源框架+性能优化
[外链图片转存中…(img-c9FepLzG-1625750053167)]
标签：Java,分区,主题,Redis,Kafka,Streaming,Spark,复盘,日志 来源： https://blog.csdn.net/m0_57983661/article/details/118582646
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。