为了让你在网页VR听得爽，谷歌又发布并开源新系统Omnitone

为了让你在网页VR听得爽，谷歌又发布并开源新系统Omnitone 邮件群发 美国太平洋时间 7 月 25 日，谷歌在其官方博客上公布了其网页 VR 音频系统 Omnitone 项目的技术细节。Omnitone 项目是一个跨浏览器支持的开源空间音频渲染器。 谷歌这次解决的问题其实也是其他 VR 设备也要解决的，就是营造“全景音频”环境。 如上图所示，随着用户佩戴的头显发生移动，声音的位置应该是不同的。用户听到来自后方的拍手声，于是应声转向身后，此时声音应该是变成从前方传来。VR 体验需要在周围模拟一个全方位的声音环境，并且让声音在 3D 环境中随着你头部的运动而及时自动定位。谷歌在这里使用的是“头部相关函数”(Head-related Transfer Function，简称 HRTF)，这也是 Oculus Rift 等产品普遍使用的技术。 但谷歌 Omnitoneo 团队面临的主要挑战就是:在已有的浏览器里引进环绕立体声技术(Ambisonics)，同时不能干扰浏览器本来的运行。他们想出的解决办法很聪明，而且单刀直入。 下面是 Omnitone 音频处理过程图解。 图自:Google Open Source Blog 环绕立体声里包含四种声道，可以在任意一个扬声器设置里进行解码。Omnitone 没有使用实体扬声器，而是基于 HRTF 设置用 8 个虚拟的扬声器来渲染最终的双耳音频流。双耳渲染音频仅通过耳机就可以营造一种空间感。 这个系统的关键之处就在于中间的声场转换(如图解里 Rotator 模块所示)，把 VR 头显或者耳机里方向传感器的数据与 Omnitone 的解码器无缝衔接，从而流畅地将整个音场进行转换。 Omnitone 已经在 Github 上开源并且有经过渲染的样本，感兴趣的朋友可以点击 Github 代码和音频样本到达展示页面。 等到 VR 应用的钟摆从专用 App 荡回网页系统时，谷歌那时就已经准备好了。 题图自:TC Via TC & Google Open Source Blog