固阳音箱协会

媒体格式的概念

广州小程2018-11-07 09:00:58

小程之前介绍了录制的实际操作,以及声音采集的概念,而采集只是多媒体操作流程中的一个环节,更多的环节可以参考一下这个图: 

声音或视频采集后,就是编码、写文件或推流。不管是编码还是写“文件”,读者都能找到相应的程序来完成,一般加上自己的业务代码就能实现自己的功能需求。

小程这次不介绍编码或写文件的具体实现,因为这些流程会作为后续的某个场景的实现中的一部分出现,这种方式也能达到理解的目标。

小程这次还是介绍概念方面的内容,而且跟编码与写文件有关。因为概念还是相对枯燥的,如果读者不感兴趣,那可以到此就结束阅读。

本文介绍音视频常见的编码格式与容器格式。

声音或图像在采集后需要进行编码压缩,这个格式叫作编码格式,或压缩格式。压缩后的数据一般需要保存到文件,或者以文件的组织(比如一些tag或box)形式来传输,这就好像把编码后的数据放到一个容器中一样,所以这个叫容器格式或封装格式。

编码的目的是为了节省体积或带宽

一般一首歌曲4分钟,如果不对它进行压缩,以pcm格式采集后就保存起来,那这个文件占多大体积呢?

以44100的采样率、双声道跟16位采样精度(2字节)来计算:44100*2*2*(4*60) = 40.37M。

也就是说,如果没有编码压缩,一个一般的音频文件就占了40m,那“磁盘容量不足”极有可能成为突出问题;如果在网络上传输,那带宽就会成为问题。

那如果经过编码,可以节省多少体积呢?以常见的mp3编码格式来看,按mp3的十分之一的压缩率,可以把40m的大小变成4m大小,节省的体积十分明显。而压缩率可以大概计算出来(以128kbps来算):44100*2*2/(128000/8*1) = 11。


所以,减肥是有必要的。那么,有哪些编码格式呢?

(1)pcm


pcm(脉冲编码调制)是特殊的编码格式,因为它没有压缩数据,它是釆集声音时表示电平值的一种格式,也是其它编码格式的原始数据。

(2)mp3

mp3是mpeg制定的压缩标准。

mpeg,动态图像专家组,从属于ISO标准化组织,主要工作是制定视音频压缩编码标准。还有一个jpeg,是静态图像专家组。

mpeg标准的版本有:mpeg1/2/4/7/21,但是,没有mpeg3,而mpeg2.5是非官方版本,是mpeg2的扩展。

我们经常说的mp3,在它之前,还有mp1与mp2。

mp1/mp2/mp3,一般都指mpeg-1 audio layer1/2/3,都是基于mepg1标准。layer1/2/3的区别是编码的复杂度不一样,由低到高,layer3的复杂度最高,使得它编解码时会更耗时耗力,但它编码时可以用更小的体积来达到相同的质量。

注意,mp3并不是指mpeg3标准,实际上不存在mpeg3标准,而mp3是基于mpeg1标准,一般来说mp1与mp2也是基于mpeg1标准。mp3全称是:mpeg-1 audio layer3。

mp3的压缩,大概来说,就是把时域波形转换成频率数据,再把高频段与低频段加大压缩力度(特别是高频段),对不同频段使用不同的压缩比例,为有损压缩,压缩率达1:10或更高。

(3)aac

Advanced Audio Coding,目标是取代mp3,而且似乎真的做到了,现在aac编码格式得到广泛使用(h264搭配aac到处可见)。

aac在mpeg-2与mpeg-4标准中都有涉及。从编码的角度,lc-aac(低复杂度的aac)使用最为广泛,此外还有he-aac(高性能的aac)、main-aac、ssr-aac之类规格的编码格式。

(4)ac3

ac3, 全称是Audio Coding version 3,是杜比(Dolby)实验室制定的有损音频编码格式。

ac3广泛应用于5.1声道(前左右、后左右、中低音),也是电影院专属编码格式。

(5)ape/flac

ape与flac都是无损压缩,也就是能还原出原始的pcm数据。

ape,全称就是ape,猿的意思,所以也叫Monkey。

flac,Free Lossless Audio Codec(无损音频压缩编码)。

想听高品质的音频,ape与flac是很好的选择。

(6)wma

wma,Windows Media Audio,是微软力推的一种音频格式。wma是有损压缩,压缩率可达1:18,比mp3更高,但未必音质就更好。

(7)amr

amr,Adaptive Multi-Rate,由欧洲通信标准化委员会提出,在移动通信系统中广泛使用的语音标准。

amr(分wb或nb)编码时,支持的参数是有限制的,比如nb最高的采样为8000,比特率最高为12200,声道数为1。

amr最大的特别就是体积小,音质差。在语音通话中(直播或本地存储)经常使用到。

以上,小程介绍了编码格式,接下来介绍容器格式

容器格式也叫封装格式,因为把编码数据给封装起来了。一个封装格式往往可以支持多个编码格式。

(1) mkv

mk,是matroska的缩写。matroska封装格式,是CoreCodec公司制定的格式,俗称“万能的容器”,基本上支持所有编码格式。

mkv,是视频容器,一般也包括音频与字幕,是matroska格式中应用最广泛的一种。

mka,只包括音频的matroska格式,可以包括多个音轨,比如国粤英三个音轨。

mks,只包括字幕流的matroska格式。

(2)mp4

mp4,是动态图像专家组(mpeg,从属于ISO)制定的封装格式。

mp4对编码格式有要求,只支持基于mpeg4的编码格式,比如视频的h264,音频的aac。对于其它编码格式,并非官方支持,比如ac3、mp3等。如果硬把非官方支持的编码格式塞到mp4容器,难以保证一定能被播放。

mp4对编码格式要求明确,是它能广泛应用的一个原因,特别在移动平台,比如ios系统上。

mp4如果只有音频,则文件有可能以m4a作为后缀,这是苹果公司起的名字,用来区分带有视频的一般的mp4。所以m4a文件也是mp4文件,从容器的角度。一般m4a里面的音频是aac压缩格式,但不排除塞了mp3、applelossless等格式的数据。

(3)ts

ts,transport stream的缩写,即传输流,从名字就知道它可以用于网络播放。

ts,全称是mpeg2-ts,早期广泛应用于数字电视,视频编码格式为mpeg2。

苹果公司制定的hls协议,使用ts作为数据的封装格式,同时也简化了ts的设计,让这种格式广泛应用于在线直播。简化后的ts,视频编码格式为h264,音频为aac或mp3。

每个ts包,能单独解码与播放。

(4)flv

flv,FlashVideo的缩写,是Macromedia公司(2005年被Adobe收购)制定的视频封装格式。

flv被广泛应用于网络视频播放。flash插件播放器的出现,使得在浏览器上可以轻松观看在线视频,免去安装本地播放器的麻烦。而flash播放器使用flv容器。

直播的兴起,也影响了flv的使用,比如rtmp流协议,使用的是flv封装格式。

(5)avi

avi,Audio Video Interleaved,即音视频交错格式,微软在1992年发布的封装格式,基于riff文件格式。

历史久远,但简单的开发接口与windows平台的影响,还有不少忠实粉丝。


为什么有如此多的封装格式或编码格式呢?一来不同的应用场景需要不同的格式,二来同样的场景,大公司都会制定自己的标准并成为专利(抢先成为行业标准),不会屈服于别家的规则。


总结一下,本文介绍了音视频常见的编码格式与封装格式,理解的难度系数为1。


Copyright © 固阳音箱协会@2017