平时执行的更新语句，都是从磁盘上加载数据页到DB内存的缓存页，接着就直接更新内存里的缓存页，同时还更新对应的redo log写入一个buffer中。   既然更新了BP里的缓存页，缓存页就会变成脏页，就得有时机把那脏页给刷到磁盘文件，脏页刷盘机制，是维护了一个LRU链表。 后续若要加载磁盘文件的数据页到BP，但此时并无空闲缓存页，就得将部分脏缓存页刷入到磁盘，此时就会根据LRU刷盘。 万一你执行查询，需查大量数据到缓存页，可能导致内存里大量脏页需淘汰刷盘，才能腾出足够内存执行这条查询SQL。这时可能发现突然莫名线上DB执行某查询SQL就突然性能出现抖动，平时只要几十ms查询，这次一下子要几s，...

水友们大清早都是积极交流技术，你确定不要一起来嘛~

多个事务同时并发更新一行数据时， 就有脏写问题。脏写绝对不允许，可依靠锁机制让多个事务更新一行数据的时候串行化，避免同时更新一行数据。 有个事务要来更新一行数据，他会先看这行数据有没有人加锁？看到没人加锁，该事务就会创建一个锁，包含自己的trx_id和等待状态，然后把锁跟这行数据关联在一起。 更新一行数据，必须将其所在数据页从磁盘文件读到缓存页才能更新，所以此时这行数据和关联的锁的数据结构，都在内存。  因为事务A给那行数据加了锁，所以此时该数据被加锁。就不能再让别人访问了！ 此时事务B也想更新那行数据，就检查当前这行数据是否被别人加锁，然后发现事务A抢先给这行数据加锁了，这可咋办？ 事务B想...

1 访问Buffer Pool时需要加锁吗？ 对MySQL执行CRUD的第一步，就是利用BP里的缓存来更新或查询。 假设MySQL同时接收到了多个请求，他自然会用多线程处理，那这多线程就可能会同时访问BP，即同时操作里面的缓存页，同时操作一个free链表、flush链表、lru链表。现在多线程来并发的访问这个BP，此时他们都是在访问内存里的一些共享数据结构，如缓存页、各种链表，必要加锁，然后让一个线程先完成一系列操作，比如说加载数据页到缓存页，更新free、lru链表，然后释放锁，接着下个线程再执行操作。 2 多线程并发访问加锁，DB性能还能好？ 即使就一个BP，多个线程会加锁串行执行，性能也...

Buffer Pool是啥？ 数据库中的数据，实际上最终都要存放在磁盘文件。 但对DB执行CRUD时，不可能直接更新磁盘数据，因为若你对磁盘进行随机读写操作，那速度太慢，随便一个大磁盘文件的随机读写操作，可能都要几百ms。真这么玩，你的DB每秒也就只能处理几百个请求了！ 在对数据库执行CRUD时，实际上主要都是操作内存里的Buffer Pool中的数据，即你实际上主要是对DB的内存里的数据结构进行增删改。  在DB内存里执行一堆增删改操作后，内存数据是更新了，但这时若DB突然宕机，那内存里更新好的数据不就都没了？ 所以MySQL也怕这个问题，于是引入了redo log，你在对内存数据进行增删改...

某天报警：某台机器部署的一个服务突然无法访问。谨记第一反应登录机器查看日志，因为服务挂掉，很可能因OOM。这个时候在机器的日志中发现了如下的一些信息： nio handle failed java.lang.OutOfMemoryError: Direct buffer memory at org.eclipse.jetty.io.nio.xxxx at org.eclipse.jetty.io.nio.xxxx at org.eclipse.jetty.io.nio.xxxx表明确实为OOM，问题是哪个区导致的呢？可以看到是：Direct buffer memory，还看到一大堆jetty相...

假设知道自己的系统OOM了，咋办？ 解决OOM的初步思路 OOM必然说明系统中某区的对象太多，塞满那个区，而且一定无法回收掉那些对象，最终才导致内存溢出。 就得知道到底是什么对象太多了最终导致OOM，就必须得有一份JVM发生OOM时的dump内存快照。 OOM的时候自动dump 假设JVM发生OOM了，你觉得JVM是完全来不及处理然后突然进程就没了吗？也就是JVM是看起来非常突然的自己无法控制的就挂掉了吗？ 不是的，JVM本身在发生OOM之前都会尽可能的去进行GC腾出来一些内存空间，如果GC后还是没有空间，放不下对象， 才会触发内存溢出。 所以JVM自己对OOM情况的发生是完全有把控权的，他知...

1 个人简介 一位不致命的 Java Coder。双一流双非本科，迄今在百度、携程、华为等各厂都打了刻上我的名字的螺丝。一直专注于Java生态各种中间件原理、框架源码、微服务架构设计及实战，哦对了还有大数据算法！也获得过一些技术社区荣誉：阿里云开发者社区专家博主、腾讯云+社区2019、2020年度最佳作者、慕课网认证作者、CSDN百万阅读十万粉博客专家，简书优秀创作者兼《程序员》专题管理员。但最关键的还是在牛客网著有《Java源码面试解析指南》，阅读过万。   2 春招建议 结合我多年面试求职经历，也有了各种神奇的面试体验。 比如有的公司真的在乎地域，你家乡哪的呀，离公司近不近，有没有对象或者...

大部分工程师开发完一个系统后，部署生产环境的时候往往不对JVM进行参数设置，直接用默认JVM参数，这绝对是系统负载逐渐增高的时最大问题 如你不设置-Xmx、-Xms之类的堆内存大小，你启动一个系统，可能默认就给你几百MB的堆内存大小，新生代和老年代可能都是几百M。 很多后台系统都用默认JVM参数部署启动，前期没啥问题，但中后期开始，当有一定用户量和一定负载，就会出现惊喜。 Eden过小，导致频繁触发YGC，Survivor过小，导致经常在YGC后存活对象其实也没多少，但Survivor放不下，导致对象经常进入老年代，导致老年代过段时间就满，然后触发Full GC。 所以当时这个垂直电商APP的...

JVM参数示范(基于JDK 1.8) 用如下JVM参数运行代码： # 初始新生代大小 5M -XX:NewSize=5242880 # 最大新生代大小 5M -XX:MaxNewSize=5242880 # 初始堆大小 10M -XX:InitialHeapSize=10485760 # 最大堆大小 10M -XX:MaxHeapSize=10485760 -XX:SurvivorRatio=8 # 大对象阈值是10MB -XX:PretenureSizeThreshold=10485760 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC  如何打印JVM G...

更多精彩在公众号：JavaEdge 0 前言 线程就是为了能自动分配CPU时间片而生。异步模式设计可显著减少线程等待，在高吞吐量场景中，极大提升系统整体性能，降低时延。因此，像MQ这种需要超高吞吐量和超低时延中间件系统，其核心流程大量采用异步。 异步的本质是为了不占用过多的线程对象。比如一个响应时间是1秒的http1.1请求，并且不考虑http pipeline：  同步模式下，一个请求在未返回前，需要独占一个线程和一个httpconnection 异步模式下，一个请求在未返回前，只需要独占一个httpconnection,那个线程在提交完io任务后就回到线程池了  即QPS 5000时，同步...

无论是读取副本还是写入副本，都是通过底层的Partition对象完成的，而这些分区对象全部保存在上节课所学的allPartitions字段中。可以说，理解这些字段的用途，是后续我们探索副本管理器类功能的重要前提。 现在，我们就来学习下副本读写功能。整个Kafka的同步机制，本质上就是副本读取+副本写入，搞懂了这两个功能，你就知道了Follower副本是如何同步Leader副本数据的。 appendRecords-副本写入 向副本底层日志写入消息的逻辑就实现在ReplicaManager#appendRecords。 Kafka需副本写入的场景：  生产者向Leader副本写入消息 Follow...

挥别 2021 转眼间，2021 进入倒计时，2022 年的元旦就要到了，马上就要变成编程两年半时长的java程序员了。 2021是比较稳定的一年了，也是在今年，职业发展才走上了正轨。 大家都知道程序员 35 是个难过的槛，所以毕业十年的时间，我们能做出的职场规划是有时效限制的，每一次的选择，都可能决定了十年后的人生。 关于职业选择 也许仗着自己还很年轻，觉得世界充满机遇。2021 年的第一份工作还是比价稳定的，在一家酒店集团，过着 965 的躺平生活。但长期安逸的生活，可能并不适合我，为了寻求技术上的突破，认识更多的大佬，***月时还是选择了离职，来了裁拉拉。 关于社招 万年不变的牛客简历模...

更多干货，尽在公众号：JavaEdge  Kafka是分布式的，基于发布订阅的消息系统。 1 特点  同时为发布和订阅提供高吞吐量Kafka每秒可生产约25万条消息（50 MB），每秒处理55万条消息（110 MB） 持久化默认就将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及防止数据丢失。以O(1)时间复杂度提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。 分布式系统，易于向外扩展所有的producer、broker和consumer都会有多个，均为分布式的。无需停机即可扩展机器。消息被处理的状态是在consumer端...