1.什么是Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据，主要应用于大数据实时处理领域。

2. 什么是消息队列

首先了解同步和异步

同步就相当于是 当客户端发送请求给服务端，在等待服务端响应的请求时，客户端不做其他的事情。当服务端做完了才返回到客户端。这样的话客户端需要一直等待。用户使用起来会有不友好。

异步就是，当客户端发送给服务端请求时，在等待服务端响应的时候，客户端可以做其他的事情，这样节约了时间，提高了效率。

注意：异步虽然好 但是有些问题是要用同步用来解决，比如有些东西我们需要的是拿到返回的数据在进行操作的。这些是异步所无法解决的。

消息队列

消息队列就出现在异步中，客户端去做其他事了，可服务端可没闲着，服务端将这些请求放在队列中进行处理，而这个队列就是消息队列。

3. 消息队列的好处

优点1.通过异步处理提高系统性能（削峰、减少响应所需时间）

在不使用消息队列服务器的时候，用户的请求数据直接写入数据库，在高并发的情况下数据库压力剧增，使得响应速度变慢。但是在使用消息队列之后，用户的请求数据发送给消息队列之后立即返回，再由消息队列的消费者进程从消息队列中获取数据，异步写入数据库。由于消息队列服务器处理速度快于数据库（消息队列也比数据库有更好的伸缩性），因此响应速度得到大幅改善。

即消息队列具有很好的削峰作用的功能——即通过异步处理，将短时间高并发产生的事务消息存储在消息队列中，从而削平高峰期的并发事务。

优点2.降低系统耦合性。

生产者（客户端）发送消息到消息队列中去，接受者（服务端）处理消息，需要消费的系统直接去消息队列取消息进行消费即可而不需要和其他系统有耦合， 这显然也提高了系统的扩展性。消息发送者（生产者）和消息接受者（消费者）之间没有直接耦合

4. 缺点

系统可用性降低：系统引入的外部依赖越多，越容易挂掉，本来你就是A系统调用BCD三个系统的接口就好了，人ABCD四个系统好好的，没啥问题，你偏加个MQ进来，万一MQ挂了咋整？MQ挂了，整套系统崩溃了，你不就完了么。

系统复杂性提高：硬生生加个MQ进来，你怎么保证消息没有重复消费？怎么处理消息丢失的情况？怎么保证消息传递的顺序性？头大头大，问题一大堆，痛苦不已

一致性问题：A系统处理完了直接返回成功了，人都以为你这个请求就成功了；但是问题是，要是BCD三个系统那里，BD两个系统写库成功了，结果C系统写库失败了，咋整？你这数据就不一致了。

5. 消息队列的两种模式

1. 点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）
   消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。
   消息被消费以后，queue 中不再有存储，所以消息消费者不可能消费到已经被消费的消息。
   Queue 支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。
2. 发布/订阅模式（一对多，消费者消费数据之后不会清除消息）
   消息生产者（发布）将消息发布到 topic 中，同时有多个消息消费者（订阅）消费该消
   息。和点对点方式不同，发布到 topic 的消息会被所有订阅者消费。

6.Kafka内部架构

1. Producer ：消息生产者，就是向 kafka broker 发消息的客户端；
2. Consumer ：消息消费者，向 kafka broker 取消息的客户端；
3. Broker ：代理，一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker
   可以容纳多个 topic。
4. Topic ：主题，可以理解为一个队列，生产者和消费者面向的都是一个 topic；由一个或多个Partition组成（实际消息存储单位）
5. Partition：分区，为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，
   一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列；
6. Replica：副本，为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失。
7. leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对
   象都是 leader。
8. follower：每个分区多个副本中的“从”，实时从 leader 中同步数据，保持和 leader 数据
   的同步。leader 发生故障时，某个 follower 会成为新的 leader。