【直播】常见概念及其关系

1. 背景

当我们从零开始介入音视频领域时，会发现有很多概念、协议进入视野，比如采样率、分辨率、比特率、h264、mp4、rtmp、rtp等等，在没有理解这些概念所在音视频数据处理的阶段时，容易给人造成混淆和迷惑。 本文从概念上进行一些初步的分类介绍，帮助理解概念。

2. 音视频数据处理流程及概念

媒体数据一般的处理过程以下示意图表示：

3. 数据采集

数据采集的目标是将模拟信号转变为数字信号，之后再可以通过数字信号还原人类感知近似的模拟信号。

3.1 音频采样

如下为音频数据采样示例：

x轴密度代表采样的频率，y轴代表声音的振幅。

在人耳可见的音频范围内（20Hz～20kHz），采样频率越高，表达振幅（位深）的数字范围越大，音频的质量也会越高。

香农定理指出，为了防止在对信号进行数字采样时丢失任何信息，必须以至少两倍于最高预期信号频率的速率进行采样。

常见的音频采样频率/位深为：44.1kHz/16位，按左右声道计算，比特率为：44,100 x 16 x 2 = 1,411,200 位每秒（1.4Mbps）

3.2 视频采样

一下为视频数据采样示例：

视频数据在空间上，以图像的分辨率作为采集精度，在时间上以帧率作为采集精度。

下面列出了几种常见的视频分辨率：

常用的视频帧率：

• 24 fps：是电影的标准帧率，提供电影感和自然的运动流畅度。
• 25 fps：在欧洲及其他采用PAL制式的地区常用，常用于电视广播。
• 30 fps：在美国和日本等NTSC制式地区常用，尤其适用于电视和网络视频。
• 50 fps 和 60 fps：常见于高清视频和流媒体，适用于动作画面较多的内容，如体育赛事和快速动作。
• 120 fps 和 240 fps：用于制作慢动作视频，捕捉高速运动的细节。

4. 编码格式

4.1 视频编码格式

4.2 音频编码格式表格

5. 容器格式

5.1 视频容器格式

5.2 音频容器格式

6. 音视频传输

以下是常用的音视频传输协议的表格，涵盖了不同协议的特点和主要应用场景。

说明：

• RTMP：是一种实时音视频传输协议，广泛用于直播流媒体，尤其是与Flash播放器配合使用，虽然现在有些地方已经被HLS和DASH等协议取代，但它依然被许多直播平台使用。
• HLS：是Apple推出的流媒体传输协议，主要用于基于HTTP的自适应流媒体传输，支持分段传输和自适应码率，适用于各种网络环境，广泛应用于iOS设备和浏览器。
• WebRTC：一个用于网页浏览器之间实时音视频通信的协议，它支持点对点的实时通信，广泛应用于视频会议和在线客服等应用中。
• SRT：专为视频传输设计，提供高效的安全传输，在丢包和高延迟环境中也能保持稳定性，适用于广播和远程视频传输。

7. 参考

https://www.headphonesty.com/2019/07/sample-rate-bit-depth-bit-rate/ https://www.researchgate.net/figure/Spatial-and-temporal-sampling-of-a-video-sequence-70_fig11_334190984