灵魂拷问！SpringBoot如何实现负载均衡

2021-06-18 23:02:16 阅读：276 来源： 互联网

标签：知识点负载 SpringBoot 拷问 Broker Kafka Topic 源码模块

开头

Netty 作为当前流行的 NIO 框架，在游戏、大数据通讯，云计算、物联网等领域都有广泛的应用，大家熟知的 Dubbo，底层用的就是 Netty。尤其在高性能 RPC 方面，Netty 更是必不可少。然而，想要将 Netty 真正掌握并精通难度却不小。一些学习者可能会遇到这些问题：

多线程编程、Socket 通信、TCP/IP 协议栈等知识掌握不扎实，学习过程比较吃力；
学习了不少理论知识，但真正跟具体项目结合在一起，解决实际问题时，又感觉比较棘手；
调用过程中遇到问题，不会定位，基本靠网上搜索，效率很低。

因此，如果没有一个好的学习方法，抓不住重点，只靠阅读源码，既耗时又很难吃透，很容易半途而废。

那么，如何学习Kafka源码？？

我觉得最高效的方式就是去读最核心的源码，先看一张 Kafka结构图 以及 Kafka 源码全景图

梳理一下关于 Kafka 框架，找到学习的重点。

其次，我要说的就是一个Kafka源码解析的文档——《Kafka源码解析与实战》

前5章分别是：Kafka简介、Kafka的架构、Broker概述、Broker的基本模块、Broker的控制管理模块

**第1章 Kafka简介：**介绍Kafka诞生的背景、Kafka在LinkedIn内部的应用、Kafka 的主要设计目标以及为什么使用消息系统
**第2章 Kafka的架构：**介绍Kafka的基本组成、拓扑结构及其内部的通信协议
**第3章 Broker概述：**描述Kafka集群组成的基本元素Broker Server的启动以及内部的模块组成
**第4章 Broker的基本模块：**描述Broker Server内部的九大基本模块: SocketServer 、KafkaRequestHandlerPool 、LogManager、ReplicaManager 、OffsetManager、KafkaScheduler. KafkaApis 、KafkaHalthcheck和TopicConfigManager
**第5章 Broker的控制管理模块：**介绍BrokerServer的控制管理模块KafkaController,这个模块负责整个Kafka集群的管理，例如:Topic的新建和删除.分区状态和副本状态的转换、集群的负载均衡管理等

后5章分别是 Topic的管理工具、生产者、消费者、Kafka的典型应用、Kafka的综合案例

**第6章 Topic的管理工具：**介绍三个维护脚本: kafka-topics.sh 、kafka-reassign-partitions.sh 和kafka preferredreplica-election.sh,它们分别涉及Topic的生命周期管理、Topic分区的重分配和分区首选副本的选择。
**第7章生产者：**从设计原则、示例代码、模块组成和发送模式四个部分介绍有关消息生产者的相关知识，从设计原则至客户端编程，从客户端编程到内部实现原理，由浅人深，循序渐进地讲解。
**第8章消费者：**分别介绍两种消费者:简单消费者和高级消费者。针对每种消费者都将依次从设计原则、消费者流程、示例代码以及原理解析四个部分介绍消费者的相关知识。
**第9章 Kafka的典型应用：**介绍Kafka与典型大数据系统的集成，包括: Kafka和Storm的集成、Kafka 和ELK的集成、Kafka和Hadoop的集成以及Kafka和Spark的集成。
**第10章 Kafka的综合案例：**用综合实例描述了Kafka的应用，案例描述Kafka作为数据总线在安防整体解决方案中的作用，通过车辆人脸图片数据的入库、视频数据的入库、数据延时的监控、数据质量的监控、布控统计和容灾备份6个业务，简要阐述内部的实现原理。

再者就是关于Kafka的面试

Kafka面试专题解析

Kafka 的设计时什么样的呢？
数据传输的事物定义有哪三种？
Kafka 判断一个节点是否还活着有那两个条件？
producer 是否直接将数据发送到 broker 的 leader(主节点)？
Kafa consumer 是否可以消费指定分区消息？
Kafka 消息是采用 Pull 模式，还是 Push 模式？
Kafka 存储在硬盘上的消息格式是什么？
Kafka 高效文件存储设计特点
Kafka 与传统消息系统之间有三个关键区别
Kafka 创建 Topic 时如何将分区放置到不同的 Broker 中
Kafka 新建的分区会在哪个目录下创建
partition 的数据如何保存到硬盘
kafka 的 ack 机制
Kafka 的消费者如何消费数据
消费者负载均衡策略
数据有序
kafaka 生产数据时数据的分组策略

复习学习必备44个Kafka知识点（基础+进阶+高级）

Kafka基础篇知识点（17）

Kafka进阶篇知识点（15）

Kafka高级篇知识点（12）

44个Kafka知识点（基础+进阶+高级）解析如下

最后

我想问下大家当初选择做程序员的初衷是什么？有思考过这个问题吗？高薪？热爱？

既然入了这行就应该知道，这个行业是靠本事吃饭的，你想要拿高薪没有问题，请好好磨练自己的技术，不要抱怨。有的人通过培训可以让自己成长，有些人可以通过自律强大的自学能力成长，如果你两者都不占，还怎么拿高薪？

架构师是很多程序员的职业目标，一个好的架构师是不愁所谓的35岁高龄门槛的，到了那个时候，照样大把的企业挖他。为什么很多人想进阿里巴巴，无非不是福利待遇好以及优质的人脉资源，这对个人职业发展是有非常大帮助的。

如果你也想成为一名好的架构师，那或许这份**Java核心架构笔记**你需要阅读阅读，希望能够对你的职业发展有所帮助。

中高级开发必知必会：

的。