有人说世界上有三个伟大的发明：火，轮子，以及 Kafka。

发展到现在，Apache Kafka 无疑是很成功的，Confluent 公司曾表示世界五百强中有三分之一的企业在使用 Kafka。实时备份机制让它在推荐、广告等互联网场景中游刃有余，但是实际生产中还有很多不允许丢数据的场景存在。针对这类场景是否有新的技术和框架出现？

答案就是：kafka

kafka学习思维导图

自2010年12月份开源以来，经过市场的厮杀和淘汰已经成为Apache的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。

但是市场上系统学习kafka的资料真的太少了，今天分享的这份kafka资料由华为架构师亲手操刀，内容涵盖源码到实战，堪称一绝，后面附自己整理的kafka由基础到架构的面试题

Kafka源码解析与实战

kafka入门简介

• Kafka诞生的背景

• Kafka在L inkedIn内部的应用

• Kafka的主要设计目标

• 为什么使用消息系统

Kafka的架构

• Kafka的基本组成

• Kafka的拓扑结构

• Kafka内部的通信协议

Broker概述

• Broker的启动

• Broker内部的模块组成

Broker的基本模块

•  SocketServer

•  KafkaRequestHandlerPool

• 3KafkaApis

•  KafkaHealthcheck

Broker的控制管理模块

•  KafkaController的选举策略

•  KafkaController的初始化

•  Topic的分区状态转换机制

• Topic分区的领导者副本选举策略

• Topic分区的副本状态转换机制

•  KafkaController内部的监听器

•  Kafka集群的负载均衡流程

•  Kafka集群的Topi删除流程

• KafkaController的通信模块

Topic的管理工具

•  kafka-topics.sh

•  kaka-earsisspartions.shs.h

• kafeprererepiecaelecion.sa

生产者

• 设计原则

• 示例代码

•  模块组成

• 发送模式

消费者

• 简单消费者

• 高级消费者

Kafka的典型应用

•  Kafka和Storm的集成

• Kafka和ELK的集成

• Kafka和Hadoop的集成

•  Kafka和Spark的集成

Kafka的综合实例

• 安防大数据的主要应用

•  Kafka在安防整体解决方案中的角色

•  典型业务

下面是我整理出的一些kafka面试题，不妨先看看问题，自己先尝试回答一下，再看答案。看看自己掌握得如何了，在这里我只会展示问题，至于答案已经和华为架构师的这份《Kafka源码解析与实战》一起整理成PDF文档，大家可以    点击此处   即可免费获取

Kafka 基础篇

• 1.Kafka的用途有哪些?使用场景如何?

• 2.Kafka中的ISR、AR又代表什么? ISR的伸缩又指什么

• 3.Kafka中的HW、LEO. LSO. LW等分别代表什么?

• 4.Kafka中是怎么体现消息顺序性的?

• 5.Kafka 中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？

• 6.Kafka生产者客户端的整体结构是什么样子的?

• 7.Kafka生产者客户端中使用了几个线程来处理?分别是什么?

• 8.Kafka的旧版Scala的消费者客户端的设计有什么缺陷?

• 9.“消费者中的消费者个数如果超过 topic 的分区，那么就会有消费者消费不到数据”这句话是否正确？如果正确，那么有没有什么 hack 的手段？

• 10.有哪些情形会造成重复消费?

• 12.KafkaConsumer是非线程安全的，那么怎么样实现多线程消费?

• 14.当你使用 kafka-topics.sh 创建（删除）了一个 topic 之后，Kafka 背后会执行什么逻辑？

• 15.topic 的分区数可不可以增加？如果可以怎么增加？如果不可以，那又是为什么？

• 16.topic 的分区数可不可以减少？如果可以怎么减少？如果不可以，那又是为什么？

• 17.创建topic时如何选择合适的分区数?

Kakfa进阶篇

• 1.Kafka目前有哪些内部topic，它们都有什么特征?各自的作用又是什么？

• 2.优先副本是什么?它有什么特殊的作用?

• 3.Kafka有哪几处地方有分区分配的概念?简述大致的过程及原理

• 4.简述Kafka的日志目录结构

• 5.Kafka中有那些索引文件?

• 6.如果我指定了一个offset，Kafka怎么查找到对应的消息?

• 7.如果我指定了一-个timestamp，Kafka怎么查找到对应的消息?

• 8.聊一聊你对Kafka的Log Retention的理解

• 9.聊一一聊你对Kafka的Log Compaction的理解

• 10.聊一 -聊你对Kafka底层存储的理解

• 11聊一聊Kafka的延时操作的原理

• 12聊一聊Kafka控制器的作用

• 13.Kafka的旧版Scala的消费者客户端的设计有什么缺陷?

• 上14.消费再均衡的原理是什么? (提示:消费者协调器和消费组协调器)

• 15.Kafka中的幕等是怎么实现的?

Kafka高级篇

• 1.Kafka中的事务是怎么实现的?

• 2.失效副本是指什么?有那些应对措施?

• 3.多副本下，各个副本中的HW和LEO的演变过程

• 4.Kafka在可靠性方面做了哪些改进? ( HW, LeaderEpoch )

• 5.为什么Kafka不支持读写分离?

• 6.Kafka中的延迟队列怎么实现

• 7.Kafka中怎么实现死信队列和重试队列?

• 8.Kafka中怎么做消息审计?

• 9.Kafka中怎么做消息轨迹?

• 10怎么计算Lag ? (注意read. uncommitted和read. committed状态..

• 11.Kafka有哪些指标需要着重关注?

• 12.Kafka的那些设计让它有如此高的性能?

• 13.零拷贝技术

最近工作中呢，频频用到消息中心，包括异步转同步的功能，分布式收集日志信息等功能，在面试中也常会问到候选人关于消息中心的知识点，但大多数程序员，尤其是工作两三年的，虽然平时工作中都有用到消息中心，但都总是不能够说明白其中的原理，觉得有必要把消息中心作为一个主题，于是有了今天的这一篇分享

文中提及的《Kafka源码解析与实战pdf》、《Kafka面试问题解析(基础+进阶+高阶)》、《kafka知识导图笔记》均是免费分享的，需要用以学习的朋友们，   点击此处  即可免费获取