放谈沉浸式电影声音技术

放谈沉浸式电影声音技术 甄 钊 (北京电影学院，北京 100088) 【摘 要】介绍近年围绕沉浸式电影声音的学术研究、概念形成和产业面临的问题，反映对这些问题的思考;介绍年内在该 领域发生的重大事件及其影响。 【关键词】 沉浸式声音;基于对象处理;基于声道还原;基于波场合成 文章编号: 10.3969/j.issn.1674-8239.2014.12.010 On the Immersive Sound Technology of Film ZHEN Zhao (Beijing Film Academy，Beijing 100088, China) 【Abstract】This essayintroduces the academic research in recent years around the immersive sound, concept of its and the difficultywhat industr yare faced with.The paper reflectth auethors thinking of these issues. At the same time also introduces the important events in the field of years and its influence. 【Key Words】Immersive sound;based on objec tpraocessing base;d on the channel reduction base;d on wave fiel synthesisd 近两三年，沉浸式声音(Immersive sound)似旋风般1 困境——关于多声道电影声音格式问题的来由 席卷了好莱坞，并迅速在全世界蔓延。Dolby Atmos(杜 早在2002年，任职于日本放送协会(NHK)并比全景声)和Auro-3,(巴可3D声音技术)的全方位发 明了著名的滨崎方阵(Hamasaki SQ)的滨崎公男环 绕声格式都给观众留下了深刻印象，最近则更加致力先生 就提出了Hamasaki 22.2声道的3维环绕声系统，于家 庭影院的声音环境的推广。来自不同方向的音响作为一 个试验性的，这个系统是为NHK的超高清充满影 院，为观众带来前所未有的声音体验。这是自电视系统 1990年以来 独立声道的5.1环绕声问世以来在电影声音(UHTV)开发的。 的生产和消费 领域最激动人心的技术变革。 自此以后的十多年间，相继有来自德国、美国及 身临其境，沉浸式声音(Immersive sound)面临艺 其他国家的各种实验系统纷纷问世，都借3D电影的术和技术的双重突破。 概 念进行推广，本身并无明确的概念与名称。名目的 杂乱 也反映出多声道电影声音在研究开发与应用推广 方面的 演 艺 科 技 ENTERTAINMENT TECHNOLOGY36 音响技术 A u d i o T e c h n o l o g y 乱象。概念不清，理念各异，也是这个时期多声道电影声音格式研究的特(杜比数字)、DTS(Digital Theater点。 System，数字影院系统)和 SDDS 据不完全统计，曾经出现的多声道还音系统有:Hamasaki 22.1; (SONY Digital Dynamic Sound，索 Iosono(德国公司Iosono开发);Dolby Atmos;Auro-3D; 尼数字动态声)等方式问世，给电影 Immsonic 发行业带来机遇的同时也带来了许多 (巴塞罗那媒体研究中心推出)„„其中既有基于声道还原方式的，如 困扰。Dolby Digital、DTS和SDDS Hamasaki、Auro-3D;也有基于对象处理的Atmos;还有基于波阵面合成重 三种格式争夺电影制作和影院的竞争 建三维声学空间的波场合成的Iosono等。 中受到不同方面的青睐，结果发行者 就其原始开发理念而言，既有面向游戏声音制作，也有为音乐录音而 分成不同的阵营，如果想要还放所有 设计，甚至干脆以实验为目的。最后，这些系统多多少少地都试图加入到 的电影数字立体声格式，影院必须安 电影声音制作的过程中。以至于在过去的数年中，总是能够风闻在某部电 装以上的所有三种格式，这既不实际 影的制作中试用了某某多声道还音系统之类的消息，一时间莫衷一是。 也不划算。于是，最终的妥协就是制 片厂印制所谓的4合1声迹(见图2 多声道电影声音格式的内涵及命名的困惑 1) 的拷贝，其中包括矩阵编码立体 在以上的几种方案中，只有Dolby Atmos由于在中国电影市场的先声夺 声光 学模拟声迹，Dolby Digital、人，因此起了一个非常形象的中文名称“全景声”，甚而几乎担当起此类 SDDS 和DTS同步信号。同样的，在多声道系统的通用名称，这情景不禁令人回想起当年Dolby Stereo(杜比立 影院一 端，需要不同的影院处理器体声) 就是20世纪70、80年代电影立体声的代名词。 完成读出 和解码环节，这些都毫无 但是无论如何，“全景声”已经成为Dolby Atmos在中国的专利名称， 疑问地增加 了影院的运营成本。若实际上它所代的含义严格地说是专指Dolby Atmos的。那么其他的多声干年来，大多 数主要制片厂均采用道 电影还音系统又将如何命名呢, 此种方式制作 拷贝，直到后来大 多数电影只制作 Dolby Digital数几乎是与Dolby Atmos在中国市场风生水起的同时，有关电影制作机 字声迹的拷贝，使之 最终成为最通构也在进行类似系统的实验研究，最明显的例子是中国电影集团公司(以 行的格式。这种局面 一直持续到数下简称“中影集团”)后期制作基地的13.1多声道还音系统的试验研 字电影拷贝用5.1 PCM 究。 此外，还有在一些教育机构安装了Iosono多声道实验系统，Auro- 3D也在 Barco(巴可)公司的极力推广下受到一定的关注。在进行此类系(Pulse Code Modulation，脉冲编码 统的研究 和实验过程中，毫无疑问，会感觉到它们之间存在某种共通的调制)声音文件完全取代了编码声 迹。 概念，但又 各有自己的特点。如果试图找到一个通用的名称来概括或描 述这个范畴是 相当困难的。事实上，即使是杜比在早期的推广过程中也好景不长，数字电影声音最初的 未能给自己的系 统找到一个通用名称，无论英文还是中文。 “伊甸园”被Dolby Atmos的出现 在多次的国际学术交流中，分别使用过:多层环绕声，三维环绕声， 破 高度环绕声、半球环绕声等不同的概念，虽然多少都能得到国内外同行的 认可和理解，但是缺乏普遍的共识。所以，直到不久前，见诸各种学术资 料中最多用的仍然是一个不定短语——超越5.1。 3 问题——杂乱而无所适从 20世纪90年代初，数字声音首次应用于电影放映，独立声轨的5.1声 道 环绕声分别以CDS(Cinema Digital Sound，影院数字声音)、Dolby Digital 图1 4合1数字声迹 演 艺 科 技 ENTERTAINMENT TECHNOLOGY37 2014年第十二期 总第104期 月刊 No. 12, 2014 monthl.y 104 No 坏了，这种全景声格式要求另外把一个5.1或7.1 PCM声音文件具备转换到另一种格式的定向数据。而对于观 混众的区别在于，影院系统与混录系统互相匹配的程度。 录声音打包进DCP(Digital Cinema Package，数字电影 由DTS提出了一个可能的解决方案即MDA。该公包)。而对于Auro-3D格式的拷贝， 5.1 PCM混录声音 司 是包含在11.1 Auro-3D混录声音中的。如果一个5.1混的影院业务已经剥离成为Datasat公司，这正是为Barco录 声音在Auro-3D影院还音时，Auro-3D编码器会把生 产AP24影院处理器的代工厂家。 上层 通道电平和设置设为“无效”。 MDA的技术源自于SRS实验室，后被DTS兼无独有偶，今天的局面较之20世纪90年代更为并。 “MDA电影支持者集团”是一个非正式的联严 峻。仅就在影片制作发行过程中最早得到广泛使用盟，由DTS 和QSC、USL和Barco等组成，他们联的两 种沉浸式电影声音格式Atmos和Auro-3D而言，合向SMPTE 的 TC-25CSS工作组提出了MDA方案。 由于两者 开发理念不同，前者更需要能够处理声音对象迄今为止，MDA还没有正式用于任何影片，但它一 的专用处理 器，而后者则是以声道方式进行声场重建。直在进行行业测试，几个月前刚刚向TC-25CSS工作组令业主更为不 堪的是，两者的众多扬声器布置完全不提 交规范文本，其1.0版本的2014年8月初发同，使得它们之间 几乎没有兼容的可能。影院会因为安表。 装单一还音系统，无 法还放竞争对手的声音格式，从而SMPTE开展的标准化过程极其漫长。虽然电影行业 失去一部分市场。这就 更大程度地增加了影院运营的成想要结束格式之争，电影制片厂和设备生产商无法坐等 本，使得影院业主们对于 采用这样的多声道制式多多少少MDA真正投入使用，毕竟，Auro-3D和Dolby Atmos有抵触。 是 现成的。 沉浸式电影声音格式之争仍在继续。 MDA与Atmos一样是基于对象，并为行业提供一 个 开放的格式，向开发人员提供开发工具。MDA作为 一个 开放格式将是免费的，DTS将向数字音频工作站4 SMPTE的大动作——MDA，开放格式的时 和调音 台厂家提供必要的软件 (巴可和杜比一直以来代即将到来 都是这样 为电影行业提供类似的支持)。 2013年初，美国影院业主协会(NATO)和欧洲国际 不同于Auro-3D和Atmos需要可扩展的扬声器布置影院联盟(UNIC)携手数字电影倡导组织(DCI)建 和 定向目标的理念，MDA在设计上希望与扬声器不相立通用沉浸式电影声音拷贝(common immersive sound 关， 然而实际上在影院实施过程中可能会产生很多偏package)，而不再像35 mm胶片拷贝的“4合1”声迹差。 那 样把所有格式的声音统统发给影院。 一旦这个开放格式得以通过，下一个目标应该是沉浸 作为响应，电影电视工程师协会(SMPTE)成立了 式声音文件到5.1或7.1格式的下变换问题，这样可以避一个特别工作组(TC-25CSS)协助标准化工作。SMPTE意 免 DCP中单独附带PCM线性混录声音文件。危险在于，在“协调”两个“标准”:一个基于Dolby Atmos，而 这有 可能意味着最终的混合由于在影院自动完成而失去另一方则是DTS的MDA(多维音频)。 了制作 者的监控。究竟这个目标是否可行还不明了，影巴可和杜比都承诺支持开放格式。虽然Auro-3D院中的声 音重新定向将使得混录的失误更加凸显。 目 前不是基于对象的格式，但它的制作工具套件允许开放格式，这将是一个艰巨的任务 基于 对象的混录。同时， Auro-3D的东家Barco的影 院处理 器的设计已经有了一个升级思路，很可能把环 绕声道分 成若干个分区。根本来说，使用元数据的目 5 大事件——Immersive Sound 师出有名 的就是无论 任何格式的混录声带经由任何一种影院处 2014年9月6日，由MIX杂志、CAS与MPES理器渲染生成 后都会产生与影院扬声器的布置相匹配 联合在 美国洛杉矶卡尔弗城的SONY电影公司举办了的声音效果。的 确，在混录棚里有些原本是为Auro- 为期一天 的“Immersive Sound—from Production to 3D或Atmos混录的 Playback”的 主题活动，图2为活动期间举办的的专 题研讨会现场， 演 艺 科 技 ENTERTAINMENT TECHNOLOGY38 音响技术 A u d i o T e c h n o l o g y 图2 专题研讨会上专家在探讨 图4 片段演示 图6 工艺问题 图5 格式，还是格式 图7 客观理解Auro-图3 笔者在Interteen2014活动上做沉浸式音乐3D 拾 音的技术演示 这一事件成为年内全球电影声音行业最为瞩目的一次活称，2014年成为沉浸式电影声音的元年。这一事实将在动，超过500位电影声音专业人士出席。曾经两次获全世界范围尚处于初始阶段的多声道电影声音技术领域 得 奥斯卡奖的著名声音设计师Randy Thom在Cary 被越来越广泛地接受。 Grant剧 院做了电影声音创作的主题演讲。活动包括了围绕沉浸式声音的研究，包括系统格式搭建，标 一系列专 题研讨会，以及影片片段的演示和不同格式准化与兼容性，内容制作方法，制作工具开发以及系 沉浸式声音 的体验等。笔者也在当日参加了所有活动，统最小化与应用领域拓展等。还有很多工作需要集结 图3为笔者在 Interteen2014活动上做沉浸式音乐拾音大批有识之士共同参与，希望不仅沉浸其中，并且推 的技术演示。 动发展。 除了 Atmos、Auro-3D、 MDA等沉浸式电影声 音格式的片段在William Holden剧院展示放映以 外 (见图4)。当日活动最令人瞩目的是在Kim Novak剧作者简介: 院 开展的分别以“创作的机遇”，“格式之争”甄钊，北京电影学院教授，北京市教委长城学者 培养计划入选人，影视环绕声专家。承担北京市教委 (见 图5)、“技术与”(见图6)为主题的研讨《综合媒体技术条件下的电影全景声录音工艺及制作 会，话 题分别涉及剪辑与混录、音乐与对白、三种格手段研究》项目，2014年7月应邀赴美国芝加哥国际式、技术 与流程等。而三种格式的沉浸式声音系统体验互 动媒体论坛进行沉浸式声音基础研究的学术演讲(见图7) 则分别在Sony 后期制作的第7混录棚、Burt 和制 作手段的演示。2014年9月出席Immersive Lancaster剧 院和Anthony Quinn剧院进行。当晚，还sound from production to playback研讨会。 在Cary Grant剧 院特别放映了SONY新片《The Equalizer》。 这次被誉为一次独一无二(one-of-a-kind)的盛 (编辑 杜 青) 大的活动中，宣告了一个时代的正式启幕: Immersive Sound——沉浸式声音成为多声道电影声音的正式名 演 艺 科 技 ENTERTAINMENT TECHNOLOGY39