前言

这是一个数据大爆炸的时代，互联网成为了数据传播的主要载体。
大数据处理平台在现代化的互联网公司进行商业决策、规划发展、市场拓展等方面扮演着越来越重要的角色。Kafka 作为大数据平台的重要组件之一，受到越来越多的设计人员和开发人员的青睐，Kafka的社区也变得越来越活跃, Kafka本身的架构设计、应用场景也得到了长足的发展。

Kafka最开始由LinkedIn设计开发，并于2011年年初开源，2012年 10月成为Apache基金会的顶级项目。
目前Kafka为越来越多的分布式大数据处理系统提供支持，其中也包括著名的Apache Spark, LinkedIn. Netlix、 Uber、 Verizon、 网易、美团等互联网公司也选择以Kafka为基础搭建其大数据处理平台或消息中间件系统。

随着Kafka的应用场景越来越丰富，用户对Kafka的吞吐量、可扩展性、稳定性和可维护性等有了更多的期许，也有很多开发人员参与到Kafka的开发建议制定和代码提交中。在Kafka 0.10.X版本中出现了很多令人欣喜的新功能，本文深入剖析了Kafka 0.10.X的内部设计和实现细节。

目录

主要内容

由于本文的篇幅限制，本文并没有详细介绍Kafka源码中涉及的所有基础知识，例如Java NIO、J.U.C 包中工具类的使用、命令行参数解析器的使用等，为方便读者阅读，笔者仅介绍了一些必须且重要的基础知识。在开始源码分析之前，希望读者按照第1章的相关介绍完成Kafka源码环境的搭建，并了解Kafka的核心概念，这样也可以有更好的学习效果。
本文共五章，它们互相之间的联系并不是很强，读者可以从头开始阅读,也可以选择自己感兴趣的章节进行学习。

第1章是Kafka的快速入门，其中介绍了Kafka 的背景、特性以及应用场景。之后介绍了笔者在实践中遇到的一个以Kafka为中心的案例，并分析了在此案例中选择使用Kafka的具体原因和Kafka起到的关键作用。最后介绍了Kafka 中的核心概念和Kafka源码调试环境的搭建。

第2章介绍了生产者客户端的设计特点和实现细节,剖析了KafkaProducer拦截消息、序列化消息、路由消息等功能的源码实现，介绍了RecordAccumulator的结构和实现。最后剖析了KafkaProducer 中Sender线程的源码。

第3章介绍了Kafka的消息传递保证语义并给出了相关的实践建议,还介绍了ConsumerGroup Rebalance 操作各个版本方案的原理和弊端。最后详细剖析了KafkaConsumer 相关组件的运行原理和实现细节。

第4章介绍了构成Kafka服务端的各个组件,依次分析了Kafka网络层、API层、日志存储、DelayedOperationPurgatory组件、Kafka 的副本机制、KafkaCortoller. GroupCoordinator.

Kafka的身份认证与权限控制以及Kafka监控相关的实现。本章是Kafka的核心内容，涉及较多的设计细节和编程技巧，希望读者阅读之后有所收获。

第5章介绍了Kafka提供的多个脚本工具的使用以及具体实现原理，了解这些脚本可以帮助管理人员快速完成一些常见的管理、运维、测试功能。

这份【 kafka源码剖析】共有608页，已经整理打包好，需要完整版内容的朋友，可以转发此文关注小编，👇👇👇

总结

本文以Kafka 0.10.0版本源码为基础，深入剖析了Kafka 的各个模块的实现，包括Kafka的生产者客户端、消费者客户端、服务端的各个模块以及常用的管理脚本。
小编对Kafka设计的理解和经验分享也穿插在了剖析源码的过程中，希望读者能够通过本文理解Kafka的设计原理和源码实现，同时也学习到Kafka中优秀的设计思想以及Java和Scala的编程技巧和规范。

互联网大厂大牛强烈推荐学习本文

《Apache Kafka源码剖析》一书深入浅出地分析了Kafka 的源代码，无论是刚接触Kafka的菜鸟，还是已经有多年Kafka使用经验的老鸟，这本书都能让你有所收获。

——搜狗高级研发工程师张亚森

Kafka是大数据平台中的关键部分之一。《Apache Kafka源码剖析》全面细致地剖析了Kafka 的运行原理和架构设计，在带领读者进入Kafka源码世界的同时，也分析了许多设计经验，是一本不可多得的好书。

——华为高级研发 工程师张占龙

在阅读《Apache Kafka源码剖析》时，作者在每一章节中都会给我意外之惊喜。作者对Kafka源代码已有相当深刻的理解，此书代码分析过程逻辑清晰，详略得当，实属不易。

——网易游戏高级数据挖掘研究员 杨威

大型分布式系统犹如个生命，系统中各个服务犹如骨骼，其中的数据犹如血液，而Kafka犹如经络，串联整个系统。《Apache Kafka源码剖析》通过大量的设计图展示、代码分析、示例分享,把Kafka的实现脉络展示在读者面前,帮助读者更好地研读Kafka代码。

——今日头条高级研发工程师刘克刚

《Apache Kafka源码剖析》中汇集了作者多年Kafka开发经验，为读者深入学习Kafka实现指明了方向。对于想学习Kaka的程序员来说，这是一本非常 不错的进阶书籍。

——美团高级研发工程师 刘思