FFmpeg/WebRTC/RTMP音视频流媒体技术

FFmpeg/WebRTC/RTMP音视频流媒体技术

1 音视频基础知识

1.1 FFMPEG环境搭建

• Windows平台搭建FFMPEG
• Linux平台搭建FFMPEG

1.2 音视频基础

• 音频基础
• 视频基础
• 常用工具
  • Medialnfo
  • VLC播放器

2 FFMPEG命令

• 视频录制
• 多媒体文件的分解/复用
• 裁剪与合并
• 图片/视频互转
• 直播相关
• 各种滤镜

3 FFMPEG编程实战

3.1 音视频渲染

• SDL环境搭建
• SDL事件
• SDL线程
• YUV视频播放
• PCM声音播放

3.2 FFmpeg API

• FFmpeg框架
• FFmpeg内存模型
• FFmpeg常用结构体

3.3 音视频编码

• AAC编解码原理
• H264编解码原理
• AAC解码
• AAC编码
• H264解码
• H264编码
• FFmpeg解码流程
• FFmpeg编码流程

3.4 音视频封装格式

• FLV封装格式
• MP4封装格式
• 多媒体解复用
• 多媒体复用实战
• 多媒体转封装格式实战

3.5 音视频过滤器实战

• 音视频过滤器
• 视频过滤器

3.6 播放器开发实战

• 播放器框架分析
• 模块划分
• 音视频解码
• 播放器控制
• 音视频同步

3.7 ffplay播放器

• 掌握ffplay.c的意义
• ffplay框架分析
• 音视频解码
• 音视频控制
• 音视频同步
• 参数机制

3.8 ffmpeg录制转码

• 掌握ffmpeg.c
• ffmpeg框架
• 音视频编码
• 封装格式转换
• 提取音频
• 提取视频
• logo叠加
• 音视频文件拼接
• filter机制

4 流媒体

4.1 rtmp流媒体

• rtmp协议
• wireshark抓包
• rtmp拉流
• rtmp推流

4.2 hls流媒体

• hls协议
• HTTP协议
• TS格式
• wireshark抓包
• hls拉流
• ffmpeg hls源码
• hls多码率机制

4.3 http-flv流媒体

• http-flv协议
• wireshark抓包
• http chunk机制
• http-flv拉流
• ffmpeg http-flv源码

4.4 RTMP/HLS/HTTP-FLV流媒体服务器

• 整体框架
• rtmp推流
• rtmp拉流
• hls拉流
• http-flv拉流
• FFmpeg转码
• 首屏秒开技术
• forward集群源码
• edge集群源码
• 负载均衡部署方式

4.5 RTSP流媒体

• RTSP协议
• RTP协议
• RTCP协议
• RTSP流媒体服务器搭建
• RTSP推流
• RTSP拉流
• wireshark抓包
• RTSP流媒体服务器

5 WEBRTC

5.1 WebRTC中级开发

• WebRTC通话原理
• WebRTC开发环境搭建
• coturn最佳搭建
• 如何采集音视频数据
• —对—通话时序
• 信令服务器设计
• Web一对一通话
• Web和Android通话
• AppRTC

5.2 WebRTC高级开发

• 自定义摄像头分辨率
• 码率限制
• 调整编码器顺序
• Mesh模型多方通话
• Janus框架
• Janus Web客户端源码
• Janus Android客户端源码
• Janus Windows客户端源码
• Janus信令设计
• 基于Janus实现会议系统
• WebRTC源码编译
• 拥塞控制算法
• FEC
• jitter buffer

5.3 Janus服务器源码

• 源码结构
• 插件机制
• 线程
• 信令交互过程
• videoroom
• sdp
• rtp
• srtp
• rtcp
• stun
• turn

更多音视频相关信息，请看https://github.com/0voice/audio_video_streaming