2021-04-14 16:22 已编辑中国石油大学（北京） Java

关注

Netty开胃菜——图解NIO Buffer

微信公众号：大黄奔跑
关注我，可了解更多有趣的面试和编程相关问题。

写在之前

Hello，大家好，我是只会写 HelloWorld 的程序员大黄。

正所谓学而不思则罔，最近在温习 Netty 相关知识，目前的想法是这段时间内会持续地写 Netty 相关的知识，从Java NIO 开始，贯穿着 Netty 的实现过程，Netty 的源码分析，最终会以 Netty 实现一个简单的 rpc 框架为结束，可能这种文章会让本号原本不多阅读量雪上加霜，还是谁知道呢，如果对于该系列有兴趣的朋友，欢迎持续关注更新……

与大部分介绍 Netty 的文章结构相似，我仍然会介绍 Netty 的前世由来，然后再介绍今生何处，只有明白了缘为何而起？才能知道为何而灭。

前一篇介绍了 BIO 和 NIO 的区别（），这是我绘制的一张 NIO 的模型图。其中的 Selector、channel、Buffer是最核心的三个概念，本篇主要介绍 NIO 中 Buffer 是什么、有什么用，为何需要。

一桌好菜

从上面 NIO 的模型图，可以看出 Buffer 的是客户端输入数据主要的"承载容器"，为何需要 Buffer 呢？想知道为何需要 Buffer，可以了解在 Buffer 以前存在何种问题。

试想一下，如果想往某个地方写入一些数据，最初默认肯定是 new 一个数组，以byte为例，构造一个 byte[] ，可以稍稍了解一下 JVM 底层模型，数组是被分配到堆中的，也就是说如果用数组，只能使用Java堆中的内存。那堆外的内存如何操作，程序员说是不是还得自己去操作计算机底层数据？比如通过 malloc() / mmap()等申请出来的空间存储实际数据，然后再往存储空间中写入数据，其编程效率可想而知。

Buffer 刚可以可以封装这种抽象，利用一种 buffer 来直接操作底层数据，而不需要关心底层数据到底存储到哪里。

什么是Buffer

缓冲区（Buffer）：缓冲区本质上是一个可以读写数据的内存块，可以理解成是一个容器对象（含数组）。其实就是对原生数组的封装。

该对象提供了一组方法，可以更轻松地使用内存块，缓冲区对象内置了一些机制，能够跟踪和记录缓冲区的状态变化情况。

正常的无论是数组还是列表，其内部维护数据的访问一般用两个索引，比如最大的元素索引，当前元素索引，但是Buffer借用多个属性将数组的读写进行了分离，通过几个变量来维护数组内部读写机制。

Buffer 的四大助手

Capacity

和数组相似，buffer用Capacity来描述buffer可以容纳的数据元素的最大数量，一旦设置就不能更改。

Position

如何计算下一次要访问的位置？

利用 Position 来表示缓冲区内下一个将要被读或写的元素位置。是不是有点像我们通常访问数组时最喜欢用的下标i，初始情况下，该值为0，当有一个值写入到缓冲时，position +1，写最大的数量不能超过缓冲的最大容量(position最大可为 (capacity-1) )。但是读和写模式切换的情况下，该值会发生变化，当由写模式切换到读模式时，position会被重新置为0，表示从0开始读取。

Limit

巧妙地利用 Limit 来控制缓冲区中第一个不能被读或者写的元素位置。如果是写模式：表示你最多能往 Buffer 里写多少数据。写模式下，limit等于Buffer的capacity 如果是读取模式：表示你最多能读到多少数据。因此，当切换Buffer到读模式时，limit会被设置成写模式下的position值。（比如，你往银行卡里面存了100块，取的时候肯定最多只能够取到100块）

mark 用于记录当前 position的位置，可以通过可以利用合适的方式恢复 position 的位置。

以下面例子为例，简单说明一下四大助手的作用

public class BufferExample {

    public static void main(String[] args) {
        // 1. 创建一个Buffer，大小为5，即可以存放5个int
        IntBuffer intBuffer = IntBuffer.allocate(5);
        // 2. 向buffer中存放数据
        for (int i = 0; i < intBuffer.capacity(); i++) {
            intBuffer.put(i * 2);
        }
        // 3. 如何从buffer中读取数据，将buffer转换，读写切换
        intBuffer.flip();
        // 4. 读取数据
        while (intBuffer.hasRemaining()) {
            System.out.println(intBuffer.get());
        }
    }
}

有哪些数据类型

前面我们说过buffer其实是对基本数据类型的封装，大概的类型如下，主要是针对不同的数据类型的包装。

小试牛刀

让我们看看buffer中针对于读、写、数据切换有哪些基本的工具可以供使用。

分配空间

如上代码所示，JDK本身提供了基本的方式来分配空间大小。

IntBuffer intBuffer = IntBuffer.allocate(5);

这里我们分配了大小为5的 int 空间

写入数据

JDK提供了两种方式写入数据第一种：通过put()方法写到Buffer里第二种：从Channel写到Buffer。（比如，如果我们想把水从一个水缸移到另一个中，每次都用杯子舀水，你觉得这样效率如何？能不能借来一个桶，将水先倒入到桶里，待桶满了之后，再倒入到另一个水缸。这里的杯子相当于是 channel，水桶相当于Buffer）

// 从channel中读取数据，写入到buffer中
int bytesRead = inChannel.read(buf);

读取数据

同样有两种方式：第一种: 使用get()方法从Buffer中读取数据第二种: 从Buffer读取数据到Channel。

//从buffer中读取数据，写入到channel中
int bytesWritten = inChannel.write(buf);

**注:**很多人对于从什么时候用write、什么时候用read有点混淆，说一下自己的理解，我个人解决可以锚定一个方向，比如站在 buffer的角度，如果写入数据，是不是需要从channel中读取了；如果想要读取数据，需要考虑从buffer中读取了，存到何方的问题。

读写模式切换

可以通过 flip() 方法将 Buffer 从写模式切换到读模式。

调用 flip() 方***将 position 设回0，并将 limit 设置成之前 position 的值。

可以看一下源码是如何做的

public final Buffer flip() {
    limit = position;
    position = 0;
    mark = -1;
    return this;
}

清空buffer空间

一旦读完 Buffer 中的数据，需要让 Buffer 准备好再次被写入。如果空间被读满了，如何清除呢？可以通过 clear() 或 compact() 方法来完成

clear()方法

position 将被设回0，limit 被设置成 capacity 的值。换句话说，Buffer 被清空了。Buffer 中的数据并未清除，只是这些标记告诉我们可以从哪里开始往 Buffer 里写数据。后续写入的时候不再有任何标记会告诉你哪些数据被读过，哪些还没有，实际就成了脏数据。

下面以一张图为例： clear()方法发生了什么事儿

注意下面源码中capacity仍然不变哦。

public final Buffer clear() {
    position = 0;
    limit = capacity;
    mark = -1;
    return this;
}

compact()方法

将所有未读的数据拷贝到 Buffer 起始处。然后将 position 设到最后一个未读元素正后面。limit 属性依然像clear() 方法一样，设置成 capacity。现在 Buffer 准备好写数据了，但是不会覆盖未读的数据。

以下图为例 compact()方法发生了什么事儿

public ByteBuffer compact() {

    int pos = position();
    int lim = limit();
    assert (pos <= lim);
    int rem = (pos <= lim ? lim - pos : 0);
    // 直接调用底层方法将内存进行拷贝
    unsafe.copyMemory(ix(pos), ix(0), (long)rem << 0);
    position(rem);
    limit(capacity());
    discardMark();
    return this;
}

打个标记

通过调用Buffer.mark() 方法，可以标记 Buffer 中的一个特定 position 。之后可以通过调用Buffer.reset() 方法恢复到这个 position 。

如何比较两个buffer是否相同

equals()

当满足下列条件时，表示两个 Buffer 相等：

<section style="margin-top: 5px; margin-bottom: 5px; line-height: 26px; text-align: left; color: rgb(1,1,1); font-weight: 500;">有相同的类型（byte、int等）。</section>
<section style="margin-top: 5px; margin-bottom: 5px; line-height: 26px; text-align: left; color: rgb(1,1,1); font-weight: 500;">Buffer 中剩余的 byte、char等的个数相等。</section>
<section style="margin-top: 5px; margin-bottom: 5px; line-height: 26px; text-align: left; color: rgb(1,1,1); font-weight: 500;">Buffer 中所有剩余的 byte、char 等都相同。</section>

equals 只是比较 Buffer 的一部分，不是每一个在它里面的元素都比较。实际上，它只比较 Buffer 中的剩余元素。

buffer比较

compareTo()方法比较两个 Buffer 的剩余元素(byte、char等)，如果满足下列条件，则认为一个 Buffer“小于”另一个 Buffer：

<section style="margin-top: 5px; margin-bottom: 5px; line-height: 26px; text-align: left; color: rgb(1,1,1); font-weight: 500;">第一个不相等的元素小于另一个 Buffer 中对应的元素。</section>
<section style="margin-top: 5px; margin-bottom: 5px; line-height: 26px; text-align: left; color: rgb(1,1,1); font-weight: 500;">所有元素都相等，但第一个 Buffer 比另一个先耗尽(第一个 Buffer 的元素个数比另一个少)。</section>

总结

本文主要介绍了 NIO 中 buffer 含义及作用，秉着说人话的初衷写本篇文章，深知写让人通俗易懂的文章之难，查阅了诸多资料，如有一些思考不正确，还往指正及互相交流。

我写得不一定对，但我写得一定是我目前认知范围内给到的最好的。

参考： [1]. http://tutorials.jenkov.com/java-nio/buffers.html [2].《Netty实战》 Netty开胃菜——图解NIO Buffer

写在之前

微信公众号：大黄奔跑
关注我，可了解更多有趣的面试和编程相关问题。

写在之前

Hello，大家好，我是只会写 HelloWorld 的程序员大黄。

与大部分介绍 Netty 的文章结构相似，我仍然会介绍 Netty 的前世由来，然后再介绍今生何处，只有明白了缘为何而起？才能知道为何而灭。

一桌好菜

Buffer 刚可以可以封装这种抽象，利用一种 buffer 来直接操作底层数据，而不需要关心底层数据到底存储到哪里。

什么是Buffer

缓冲区（Buffer）：缓冲区本质上是一个可以读写数据的内存块，可以理解成是一个容器对象（含数组）。其实就是对原生数组的封装。

该对象提供了一组方法，可以更轻松地使用内存块，缓冲区对象内置了一些机制，能够跟踪和记录缓冲区的状态变化情况。

Buffer 的四大助手

Capacity

和数组相似，buffer用Capacity来描述buffer可以容纳的数据元素的最大数量，一旦设置就不能更改。

Position

如何计算下一次要访问的位置？

Limit

mark 用于记录当前 position的位置，可以通过可以利用合适的方式恢复 position 的位置。

以下面例子为例，简单说明一下四大助手的作用

public class BufferExample {

    public static void main(String[] args) {
        // 1. 创建一个Buffer，大小为5，即可以存放5个int
        IntBuffer intBuffer = IntBuffer.allocate(5);
        // 2. 向buffer中存放数据
        for (int i = 0; i < intBuffer.capacity(); i++) {
            intBuffer.put(i * 2);
        }
        // 3. 如何从buffer中读取数据，将buffer转换，读写切换
        intBuffer.flip();
        // 4. 读取数据
        while (intBuffer.hasRemaining()) {
            System.out.println(intBuffer.get());
        }
    }
}

有哪些数据类型

前面我们说过buffer其实是对基本数据类型的封装，大概的类型如下，主要是针对不同的数据类型的包装。

小试牛刀

让我们看看buffer中针对于读、写、数据切换有哪些基本的工具可以供使用。

分配空间

如上代码所示，JDK本身提供了基本的方式来分配空间大小。

IntBuffer intBuffer = IntBuffer.allocate(5);

这里我们分配了大小为5的 int 空间

写入数据

JDK提供了两种方式写入数据第一种：通过put()方法写到Buffer里第二种：从Channel写到Buffer。（比如，如果我们想把水从一个水缸移到另一个中，每次都用杯子舀水，你觉得这样效率如何？能不能借来一个桶，将水先到入到桶里，待桶满了之后，再到入到另一个水缸。这里的杯子相当于是 channel，水桶相当于Buffer）

// 从channel中读取数据，写入到buffer中
int bytesRead = inChannel.read(buf);

读取数据

同样有两种方式：第一种: 使用get()方法从Buffer中读取数据第二种: 从Buffer读取数据到Channel。

//从buffer中读取数据，写入到channel中
int bytesWritten = inChannel.write(buf);

**注:**很多人对于从什么时候用write、什么时候用read有点混淆，说一下自己的理解，我个人解决可以锚定一个方向，比如站在 buffer的角度，如果写入数据，是不是需要从channel中读取了；如果想要读取数据，需要考虑从buffer中读取了，存到何方的问题。

读写模式切换

可以通过 flip() 方法将 Buffer 从写模式切换到读模式。

调用 flip() 方***将 position 设回0，并将 limit 设置成之前 position 的值。

可以看一下源码是如何做的

public final Buffer flip() {
    limit = position;
    position = 0;
    mark = -1;
    return this;
}

清空buffer空间

一旦读完 Buffer 中的数据，需要让 Buffer 准备好再次被写入。如果空间被读满了，如何清除呢？可以通过 clear() 或 compact() 方法来完成

clear()方法

下面以一张图为例： clear()方法发生了什么事儿

注意下面源码中capacity仍然不变哦。

public final Buffer clear() {
    position = 0;
    limit = capacity;
    mark = -1;
    return this;
}

compact()方法

以下图为例 compact()方法发生了什么事儿

public ByteBuffer compact() {

    int pos = position();
    int lim = limit();
    assert (pos <= lim);
    int rem = (pos <= lim ? lim - pos : 0);
    // 直接调用底层方法将内存进行拷贝
    unsafe.copyMemory(ix(pos), ix(0), (long)rem << 0);
    position(rem);
    limit(capacity());
    discardMark();
    return this;
}

打个标记

通过调用Buffer.mark() 方法，可以标记 Buffer 中的一个特定 position 。之后可以通过调用Buffer.reset() 方法恢复到这个 position 。

如何比较两个buffer是否相同

equals()

当满足下列条件时，表示两个 Buffer 相等：

<section style="margin-top: 5px; margin-bottom: 5px; line-height: 26px; text-align: left; color: rgb(1,1,1); font-weight: 500;">有相同的类型（byte、int等）。</section>
<section style="margin-top: 5px; margin-bottom: 5px; line-height: 26px; text-align: left; color: rgb(1,1,1); font-weight: 500;">Buffer 中剩余的 byte、char等的个数相等。</section>
<section style="margin-top: 5px; margin-bottom: 5px; line-height: 26px; text-align: left; color: rgb(1,1,1); font-weight: 500;">Buffer 中所有剩余的 byte、char 等都相同。</section>

equals 只是比较 Buffer 的一部分，不是每一个在它里面的元素都比较。实际上，它只比较 Buffer 中的剩余元素。

buffer比较

compareTo()方法比较两个 Buffer 的剩余元素(byte、char等)，如果满足下列条件，则认为一个 Buffer“小于”另一个 Buffer：

<section style="margin-top: 5px; margin-bottom: 5px; line-height: 26px; text-align: left; color: rgb(1,1,1); font-weight: 500;">第一个不相等的元素小于另一个 Buffer 中对应的元素。</section>
<section style="margin-top: 5px; margin-bottom: 5px; line-height: 26px; text-align: left; color: rgb(1,1,1); font-weight: 500;">所有元素都相等，但第一个 Buffer 比另一个先耗尽(第一个 Buffer 的元素个数比另一个少)。</section>