标签：group 简介 kafka Topic 消息 Kafka consumer partitions
1、Kafka简介
Kafka已经被很多公司广泛应用，一款实时流式消息组件。发送消息端称为Producer，接收端称为Consumer，Kafka集群有多个kafka实例组成，每个实例称为broker。无论是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。
2、Topics/logs
一个Topic可以认为是一类消息，每个topic将被分成多个partition，每个partition在存储层面是append log文件。任何发布到此partition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置称为offset（偏移量），offset为一个long型数字，它是唯一标记一条消息。kafka并没有提供其他额外的索引机制来存储offset，因为在kafka中几乎不允许对消息进行“随机读写”。
即时消息被消费，消息仍然不会被立即删除。日志文件将会根据broker中的配置要求，保留一定的时间之后删除；比如log文件保留两天，那么两天后，文件会被清除，无论其中的消息是否被消费。
对于consumer而言，它需要保存消费消息的offset，对于offset的保存和使用，有consumer来控制，当consumer正常消费消息时，offset将会“线性”的向前驱动，即消息将依次顺序被消费。事实上，consumer可以使用任意顺序消费消息，它只需要将offset重置为任意值。
kafka集群几乎不需要维护任何consumer和producer状态信息，这些信息有zookeeper保存；因此producer和consumer的客户端非常轻量级。它们可以随意离开，而不会对集群造成额外的影响。
partitions的设计目的有多个，最根本的原因是kafka基于文件存储。通过分区，可以将日志内容分散到多个server上，来避免文件尺寸达到单机磁盘的上限。每个partition都会被当前server（kafka实例）保存；可以将一个topic切分任意多个partitions，来消息保存/消费的效率。此外越多的partitions意味着可以容纳更多的consumer，有效提升并发消费的能力。
3、Distribution
一个Topic的多个partitions，被分布在kafka集群中的多个server上，每个server（kafka实例）负责partitions中消息的读写操作；此外kafka还可以配置partitions需要备份的个数（replicas），每个partition将会被备份到多台机器上，以提高可用性
基于replicated方案，那么就意味着有多少个“leader”，kafka会将“leader”均衡的分散在每个实例上，来确保整体的性能稳定。
4、Producers
Producers将消息发布到指定的Topic中，同时Producer也能决定将此消息归属于哪个partition，比如基于“round-robin”方式或者通过其他的一些算法等。
5、Consumers
本质上kafka只支持Topic。每个consumer属于一个consumer group，反过来说，每个group中可以有多个consumer。发送到Topic的消息，只会被订阅此Topic的每个group中的一个consumer消费。
如果所有的consumer都具有相同的group，这种情况和queue模式很像，消息将会在consumers之间负载均衡。如果所有的consumer都具有不同的group，那这就是“发布-订阅”；消息将会广播所有的消费者
在kafka中，一个partiton中的消息只会被group中的一个consumer消费，每个group中consumer消息消费相互独立；我们可以认为一个group是一个“订阅”者，一个Topic中的每个partitions，只会被一个“订阅者”中的一个consumer消费，不过一个consumer可以消费多个partitions中的消息，kafka只能保证一个partition中的消息被某个consumer消费时，消息是顺序的。实时上，从Topic角度来说，消息仍不是有序的。
Kafka的设计原理，对于一个topic，同一个group中不能有多于partitions个数的consumer同时消费，否则将意味着默写consumer将无法得到消息。
6、Guarantees
- 发送到partitions中的消息将会按照它接受的顺序追加到日志中
- 对于消费者而言，它们消费消息的顺序和日志消息顺序一致
- 如果Topic的"replicationfactor"为N，那么允许N-1个kafka实例失效。
标签：group,简介,kafka,Topic,消息,Kafka,consumer,partitions 来源： https://www.cnblogs.com/ylxn/p/10757153.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。