关注
Kafka 一个最基本的架构认识:由多个 broker 组成,每个 broker 是一个节点;你创建一个 topic,这个 topic 可以划分为多个 partition,每个 partition 可以存在于不同的 broker 上,每个 partition 就放一部分数据。这就是天然的分布式消息队列,就是说一个 topic 的数据,是分散放在多个机器上的,每个机器就放一部分数据。
Kafka 0.8 以后,提供了 HA 机制,就是 replica(复制品) 副本机制。每个 partition 的数据都会同步到其它机器上,形成自己的多个 replica 副本。所有 replica 会选举一个 leader 出来,那么生产和消费都跟这个 leader 打交道,然后其他 replica 就是 follower。写的时候,leader 会负责把数据同步到所有 follower 上去,读的时候就直接读 leader 上的数据即可。只能读写 leader?很简单,要是你可以随意读写每个 follower,那么就要 care 数据一致性的问题,系统复杂度太高,很容易出问题。Kafka 会均匀地将一个 partition 的所有 replica 分布在不同的机器上,这样才可以提高容错性。
高可用性:因为如果某个 broker 宕机了,没事儿,那个 broker上面的 partition 在其他机器上都有副本的。如果这个宕机的 broker 上面有某个 partition 的 leader,那么此时会从 follower中重新选举一个新的 leader 出来,大家继续读写那个新的 leader 即可。这就有所谓的高可用性了。
写数据:生产者就写 leader,然后 leader 将数据落地写本地磁盘,接着其他 follower 自己主动从 leader 来 pull 数据。一旦所有 follower 同步好数据了,就会发送 ack 给 leader,leader 收到所有 follower的 ack 之后,就会返回写成功的消息给生产者。(当然,这只是其中一种模式,还可以适当调整这个行为)
消费:只会从 leader 去读,但是只有当一个消息已经被所有 follower 都同步成功返回 ack 的时候,这个消息才会被消费者读到。
查看原帖
点赞 评论
牛客热帖
更多
正在热议
更多
# 找实习是选平台还是选业务? #
2757次浏览 25人参与
# 实习生如何通过转正 #
109575次浏览 1410人参与
# 腾讯音乐秋招 #
432979次浏览 4796人参与
# 十一月总结 #
4203次浏览 54人参与
# 材料转码还有必要吗? #
33162次浏览 155人参与
# AI“智障”时刻 #
1930次浏览 26人参与
# 百度秋招 #
53921次浏览 391人参与
# 你面试时吹过最大的牛 #
7073次浏览 29人参与
# 实习学到最有价值的工作习惯 #
42469次浏览 368人参与
# xxx岗位的一天 #
1785次浏览 17人参与
# 职场捅娄子大赛 #
433258次浏览 4172人参与
# 每个月花钱最多的地方是? #
1618次浏览 19人参与
# 应届生第一份工作最好去大厂吗? #
89810次浏览 893人参与
# 蚂蚁求职进展汇总 #
134577次浏览 1215人参与
# 办公室恋情是职场大忌吗 #
11333次浏览 21人参与
# 科大讯飞工作体验 #
30279次浏览 73人参与
# 你知道哪些职场黑话? #
65896次浏览 454人参与
# 机械人还在等华为开奖吗? #
278438次浏览 1428人参与
# 通信/硬件求职避坑tips #
122708次浏览 1051人参与
# 招银网络科技工作体验 #
26459次浏览 95人参与
# 记录实习开销 #
166380次浏览 644人参与
# OC/开奖 #
210767次浏览 1387人参与

