这是音视频基础学习系列的第一篇文章，主要讲解 SDL 是什么以及为什么要用到它，看似和音视频没啥卵关系，其实必不可少。 SDL 简介 SDL 是 “Simple DirectMedia Layer” 的缩写，它是一个跨平台的多媒体库，可以在 Mac、Windows、Linux 以及更多的系统上运行。 SDL 提供了统一的针对音频、视频、键盘、鼠标、控制杆以及 3D 硬件的低级别访问接口，我们利用这些接口就能在不同系统上播放出音频、视频内容，而无需懂得系统特定的音视频接口。 这种跨平台特性和 OpenGL 是一样的，差别在与 OpenGL 是真·跨平台，它是 Khronos Group 组织开发...

在之前的文章中介绍了 stb_image 图像库，还顺带提到了 libpng 和 libjpeg ，这篇文章就是介绍如何在 Android 平台上用 CMake 编译 libpng 动态库以及 libpng 使用实践。 【简单易用的图像解码库介绍 —— stb_image】 glumes.com/post/androi… libpng 介绍 libpng 的官方介绍网站如下：  www.libpng.org/pub/png/lib…  下载地址网站如下：  sourceforge.net/projects/li…  博客中使用的版本是 1.6.37 ，也是目前最新的版本了。 关于 libpng...

近期，Google 的 Jetpack 组件又出了新的库：CameraX 。 顾名思义：CameraX 就是用来进行 Camera 开发的官方库了，而且后续会有 Google 进行维护和升级。这对于广大 Camera 开发工程师和即将成为 Camera 的程序员来说，真是个好消息~~~  原文地址：glumes.com/post/androi…  CameraX 介绍 官方有给出一个示例的工程，我 fork 了之后，加入使用 OpenGL 黑白滤镜渲染的操作，具体地址如下：  github.com/glumes/came…  官方并没有提到 CameraX 库具体如何进行 OpenGL 线程渲...

YUV 是一种颜色编码方法，和它等同的还有 RGB 颜色编码方法。 RGB 颜色编码 RGB 三个字母分别代表了 红（Red）、绿（Green）、蓝（Blue），这三种颜色称为 三原色，将它们以不同的比例相加，可以产生多种多样的颜色。 在图像显示中，一张 1280 * 720 大小的图片，就代表着它有 1280 * 720 个像素点。其中每一个像素点的颜色显示都采用 RGB 编码方法，将 RGB 分别取不同的值，就会展示不同的颜色。   RGB 图像中，每个像素点都有红、绿、蓝三个原色，其中每种原色都占用 8 bit，也就是一个字节，那么一个像素点也就占用 24 bit，也就是三个字节。 一张...

微博图床一时爽，迁移火葬场  前几天在群里看到说新浪微博图床挂掉了，图床上的图片链接单独访问还可以，但是在博客文章上就显示不出来了。 去自己网站上看一下，果然，连博客首页图片都加载不出来了，极大地影响了阅读体验呀。 还好图片链接是可以访问的，这就意味着图片还在，还来得及做迁移和备份。 回顾之前用了好多免(hao)费(yang)图(mao)床，从最早的 七牛，到 Cloudinary，再到 微博图床。七牛由于是临时域名，没有及时备份图片，导致图都没了，而 Cloudinary 和 微博图床 倒还是可以继续访问的。不过这种薅羊毛总不是个办法，万一服务商政策变了，又得再迁移图片了。 果然，免费的才是...

Vulkan 开发的系列文章：    进击的 Vulkan 移动开发（一）之今生前世     进击的 Vulkan 移动开发（二）之谈谈对渲染流程的理解     进击的 Vulkan 移动开发之 Instance & Device & Queue   此篇文章继续学习 Vulkan 中的组件：Command-Buffer 。   在前面的文章中，我们已经创建了 Instance、Device、Queue 三个组件，并且知道了 Queue 组件是用来和物理设备沟通的桥梁，而具体的沟通过程就需要 Command-Buffer （命令缓冲区）组件，它是若干命令的集合，我们向 Queu...

Vulkan 开发的系列文章：    进击的 Vulkan 移动开发（一）之今生前世     进击的 Vulkan 移动开发（二）之谈谈对渲染流程的理解   在 Vulkan 的系列文章中出现过如下的图片：   这张图片很详细的概括了 Vulkan 中的重要组件以及它们的工作流程，接下来的文章中会针对每个组件进行学习讲解并配上相关的示例代码，首先是 Instance、Device 和 Queue 组件。 Instance 组件 在开始创建 Device 等组件之前，需要创建一个 VkInstance 对象。 通过 vkCreateInstance 方法创建 VKInstance 对象，以下是函...

Android Studio 从 2.2 版本起开始支持 CMake ,可以通过 CMake 和 NDK 将 C/C++ 代码编译成底层的库，然后再配合 Gradle 的编译将库打包到 APK 中。 这意味就不需要再编写 .mk 文件来编译 so 动态库了。 CMake 是一个跨平台构建系统，在 Android Studio 引入 CMake 之前，它就已经被广泛运用了。 Google 官方网站上有对 CMake 的使用示范，可以参考 官方指南。 总结官网对 CMake 的使用，其实也就如下的步骤：  add_library 指定要编译的库，并将所有的 .c 或 .cpp 文件包含指定。 in...

GPUImage 是 iOS 上一个基于 OpenGL 进行图像处理的开源框架，后来有人借鉴它的想法实现了一个 Android 版本的 GPUImage ，本文也主要对 Android 版本的 GPUImage 进行分析。 概要 在 GPUImage 中既有对图像进行处理的，也有对相机内容进行处理的，这里主要以相机处理为例进行分析。 大致会分为三个部分：  相机数据的采集 OpenGL 对图像的处理与显示 相机的拍摄  相机数据采集  相机数据采集实际上就是把相机的图像数据转换成 OpenGL 中的纹理。  在相机的业务开发中，会给相机设置 PreviewCallback 回调方法，只要相机处...

帧缓冲(Framebuffer Object)，简称 FBO，在渲染绘制中， 图像最终都是绘制到 FBO 上的，一般都是默认的 FBO 上，也就是我们的屏幕。 除此之外，还可以创建自己的 FBO，用来作为绘制的载体，当在自己的 FBO 上绘制好了之后，可以再把绘制内容显示到屏幕上，实现一个双缓冲的绘制。 FBO 实际上是由颜色附件、深度附件、模板附件组成的，作为着色器各方面（一般包括颜色、深度、深度值）绘制结果存储的逻辑对象。 渲染缓冲(Renderbuffer Object)，简称 RBO，由应用程序分配的 2D 图像缓冲区，可以用于分配和存储 深度 和 模板 值，也可以用作 FBO 的 深...

在 Android 中通过 JNI 去操作 Bitmap。 在 Android 通过 JNI 去调用 Bitmap，通过 CMake 去编 so 动态链接库的话，需要添加 jnigraphics 图像库。 target_link_libraries( # Specifies the target library. native-operation jnigraphics ${log-lib} ) 复制代码 在 Android 中关于 JNI Bitmap 的操作，都定义在 bitmap.h 的头文件里面了，主要就三个函数，明白它们的含义之后就可以去实践体会了。 检索 Bitmap 对象信息 A...

现在我们用 OpenGL 绘制了如下的立方体：   不管我们怎么旋转立方体，从任何一个方向去看它，最多都只能看到三个面。 那么对于 OpenGL 来说，那看不到的另外三个面完全可以不用绘制它，从而提高绘制的性能。 面剔除 既然现在要把看不到的面丢弃，那么问题就来了：  如何去确定哪个面看得到，哪个面看不到呢？  在 OpenGL 中允许检查所有正面朝向观察者的面，并渲染它们，而丢弃所有背向观察者的面，这就可以节省片段着色器的运行。 所以，我们要做的就是告诉 OpenGL 哪个面是正面，哪个面是背面。 通过顶点连接顺序确定正反面 当我们通过三角形来绘制形状时，会定义顶点连接的顺序，它可能是顺时针...

学习一下如何在 Native 代码中使用线程。 Native 中支持的线程标准是 POSIX 线程，它定义了一套创建和操作线程的 API 。 我们可以在 Native 代码中使用 POSIX 线程，就相当于使用一个库一样，首先需要包含这个库的头文件： #include <pthread.h> 复制代码 这个头文件中定义了很多和线程相关的函数，这里就暂时使用到了其中部分内容。 创建线程 POSIX 创建线程的函数如下： int pthread_create( pthread_t* __pthread_ptr, pthread_attr_t const* __attr, void* (...

在前面的博客文章中有提到 OpenGL 裁剪测试及注意点，并且裁剪测试只能裁剪一个矩形区域，相当于就是把整个内容都绘制上去了，但是透过一个小矩形区域来看绘制的物体。 除了透过矩形区域，还可以实现透过任意形状区域来观察物体，这就是要用到 OpenGL 的 Alpha 透明度测试。 关于 Alpha 透明度测试，在 用 OpenGL 对视频帧内容进行替换 也用实践用到过。 在 OpenGL 中，每个颜色都有四个色彩通道 --- RGBA，其中 A 就是 Alpha 透明度通道，可以利用它的值进行检测。 Alpha 测试的基本原理为，当绘制一个片元时，首先检测其 Alpha 值，若 Alpha 值满...