固阳音箱协会

探秘VR体验背后的功臣——3D音频技术

VRPinea2018-12-05 07:15:31


VR作为一种新兴科技,能够为用户带来逼真的沉浸式场景体验。为了让用户在虚拟场景中更“入戏”,各大厂商都致力于开发更身临其境的视听解决方案。但我们往往只顾强调优质的视觉体验,而忽略了同样重要的听觉体验。



但作为VR系统的一部分,听觉体验对VR体验带给用户的整体感受同样具有很大的影响。3D音频作为目前普遍用于VR系统的听觉解决方案,旨在满足用户对听觉体验的高品质追求,在虚拟场景中提供360°听觉体验。

 

为此,小编对目前主流的几款3D音频编辑工具、音频解决方案及3D音频技术进行了整理,以下为具体内容:


3D音频编辑器/平台


作为VR体验音效的编辑工具,3D音频编辑器/平台旨在帮助开发人员,将声源放置在正确的时间线与空间位置上,为用户带来更加身临其境的听觉体验。


THX空间音频平台,端到端通用解决方案


MWC 2018上,娱乐体验公司THX推出了一款End-to-End(端到端)通用定位音频解决方案,其可根据MPEG-H音频标准对内容进行编码、解码、传输和渲染。该方案支持传统内容、沉浸式内容格式和开放标准,适用于移动、PC和电子消费设备。



THX空间音频平台由内容创建组件和功能组件组成,可优化各种消费设备上的音频播放体验,并将所有功能无缝集成到现有内容创建和分发工作流程中。同时,为确保最大的灵活性和可访问性,THX空间音频平台的组件可独立使用,甚至可作独立的End-to-End音频解决方案。


谷歌沉浸式音频SDK,广泛的跨平台支持


201711月,谷歌发布了一套名为“Resonance Audio”的沉浸式VR音频SDK(软件开发工具)。该工具支持AndroidiOSmacOSLinuxWindows等多个平台,兼容Unity等多款3D游戏引擎,能够为360°全景视频、AR/VR内容提供内嵌的高保真立体音效。此外,该工具还可作为软件接口的音频插件,嵌入多种多媒体音乐制作程序中使用。



Resonance Audio”可以模拟复杂的声音环境,允许开发者控制来自单个声源的声波传播方向,对每个声源的宽度及长度进行编辑。同时,其能自动渲染用户手臂范围内声源的近场效果。当用户与声源的位置变化时,听到的声音大小也产生相应变化(越远声音越小,反之亦然)。


鉴于该工具拥有广泛的跨平台支持,开发者只需设计一种音频方案,即可在多个平台上正常运行。这一功能的实现,得益于高阶Ambisonics(高保真立体声)的数字信号处理算法,在不影响音频质量的情况下,同步数百个3D声源。


Adobe VR音频编辑器,可视化调整声源


201710月举行的Adobe Max大会上,Adobe展示了一款名为“SonicScape”的可视化VR音频编辑器。该VR音频编辑器可对来自场景中各个方向和角度的声音,进行可视化编辑,将声源与正确的时间线及空间位置进行匹配。



SonicScape”的工作原理为:通过在已拍摄好的视频上叠加彩色斑点,来可视化展示音频。而彩色斑点的大小和位置,分别对应其代表的音频的频率、强度及音频在视频中所处的位置。视频编辑人员只需拖拽彩色斑点,将其放置在正确的位置及时间线即可。此外,编辑还可利用“SonicScape”为视频添加新的3D音频。


目前,SonicScape”只是Adobe设计实验室开发的原型产品,并未以正式产品的形式推出。


3D音频技术


目前几款主流3D音频技术,都已可实现基本的“听音辨位”。用户能够在其营造的三维音场中,获得立体环绕的音效体验。


SRSWOW)音频技术,基于心理声学原理


SRSSound Retrieval System)音频技术由SRS公司开发,是最具代表性的3D立体声技术。这种技术基于人耳的生理声学和心理声学原理,利用立体声音响中的三维环绕信息,可显著扩展声场的宽度、高度和深度,使声音变得更加自然、悦耳。



SRS WOWSRS公司针对MP3等新一代的音频格式,而开发的一种音质增强技术。可使用户感觉置身于一个三维声场中,在心理及主观感觉上建立声波的立体感知,再现原声源的方位和空间分布,打造身临其境的听觉体验。


飞利浦LifeVibes音频技术,超低内存占用率


LifeVibes是飞利浦结合多年音频和声学经验,所开发的专业级音效技术。其能以变量译码技术为基础,通过优化算法来还原和改善各种压缩音乐的音质损失,并能在提高音质的同时缓解使用耳机所带来的听觉疲劳。



飞利浦LifeVibes音频技术专为各种音乐数码产品设计,内存占用率极低。其并不依赖于音量和心理声学原理,而是利用超低音增强推进,带来真实出众的听觉体验。其包含C.SoundConcert Sound)、P.StudioPure Studio)、P.BassPure Bass)三种音效,并支持音效/均衡器叠加。


三星DNSe音频技术,完美音效体验


DNSeDigital Natural Sound Engine)是三星经过6年的时间,采用三星家庭影院系统的5.1音频DSP音响技术,研制出的一款3D环绕立体声音频技术。



DNSe音频技术拥有Dynamic Range Control(动态范围规划)功能,并加强了重音,消除了爆音现象,能够带来更加逼真的临场感。


酷狗3D旋转音频技术,实时变化虚拟声源


3D旋转音频技术由酷狗音乐开发,采用“头相关传输函数”(Head Related Transfer FuncTIon,以下简称HRTF)来对音频技术进行处理,实现实时旋转变换的虚拟声源。以此打造出真实的三维音场,让用户获得360°立体环绕的音效体验,以实现最大化娱乐效果。



但为了确保能够查找到匹配的HRTF数据,从而达到更加真实的播放效果,需要在以人头为球心的球体表面,密集地采集大量HRTF数据。所以,只有配置了大容量存储空间的设备才能适配该音频技术。


小编希望,在VR视觉体验效果被不断提升的同时,3D音频技术的发展也能跟上步伐,为我们带来更优质的视听体验。


本文属VRPinea原创稿件,转载请洽:brand@vrpinea.com



Copyright © 固阳音箱协会@2017