音频缺失的VR世界,无法创造真正的沉浸感。然而,即使在VR成为最火热的科技趋势之一的时期,虚拟现实环绕声技术也鲜少在专业音频领域获得热捧。
但是,努力从来没有断过。比如,时代拓灵。
时代拓灵是在国际音频领域获得认可的中国创业公司。继推出世界首款全景声便携式录制机Twirling 720之后,近日他们又推出了全景声互动影院系统。一款将颠覆舞台表现的爆品。
于是,我们邀请了原麦田守望者乐队主创、时代拓灵联合创始人刘恩,分享了他们对全景声技术的探索和成绩。
刘恩 时代拓灵
作为一个曾经混迹音乐圈的不靠谱的半专业音乐爱好者, 经常会在各种局里和老友聊起音乐行业的动态和娱乐现象。流行音乐、娱乐平台、选秀造星和版权之争的话题,大家每次说起来也更多的是无奈和惆怅,好像现在赶上了一个比自己还不靠谱的时代。
时下流行音乐的僵硬格局确实让许多音乐人感到无所适从,方向难寻。哪个音乐人不想超越自己,不想尝试创造出新的作品?
问题是,出路在哪里?
我们给出的答案是:全景声技术。
全 景 声 技 术 给 音 乐 以 新 的 出 路
全景声是一个全方位的展现形式,跟立体声和环绕声在一个水平面上不同,全景声有全方位360×360的展现形式,很重要的一点就是我们认为它需要支持交互。和游戏或者全景电影里非常密切相关的就是,全景声不是静止的,引用了很多交互的概念。
全景声技术给音乐从业者提供了这样一条出路:赋予了音乐人一个从三维空间的方位和运动轨迹的维度进行创作的可能,更丰富的帮助传统音乐创作。
从歌词、旋律到音高、节奏,全景声技术实现了创作和音乐的演绎三维化。有了全景声技术,未来声音的想象力和感染力会是成几何倍数的放大,沉浸感的体验也会给音乐作品带来历史性的突破和变革。
出于个人爱好和对全景声技术的兴趣,我曾兴致盎然的找了好几个音乐圈的老朋友们,去介绍这个新技术,新玩法。不出所料,回复大都是:呵呵。
大家虽然认识到了现状,但可能还是有些不敢尝新。成名的艺人或其经济公司认为这是个冒险的噱头,有可能毁了“身后名”;新人则担心自己跑的太快,当了“炮灰或小白鼠”。
就像《晓松奇谈》讲的那样,大家看惯了无声电影的默片,有声电影一出来,众人是如何的不接受。任何新鲜事物的产生,都是经历了无数次的不理解。
不管如何拒绝,技术驱动的时代变革,仍会无可阻挡的到来。对音乐的热爱和对全景声技术的兴趣,让我和我的合伙人孙学京(北大本科、美国西北大学博士、杜比(Dolby)音视频专家)还是决定投入到全景声技术的事业中,时代拓灵也因此成立。
世 界 首 款 全 景 声 便 携 式 录 制 机
Twirling 720
在一片质疑声中,我们埋头研发2年。2016年,我们在国外推出了世界首款全景声便携式录制机Twirling 720。这是华人第一次在国际音频舞台上拿出实现核心技术突破的产品。
Twirling 720可以同时提供128轨的音频,不错过任何声音细节,并根据陀螺仪给出的头部旋转和位置等信息,随时加入音源,并实时渲染。它可以一键录制全景声场信号,性能达到了影视级别的要求。
Twirling 720于2016年4月于中科院声学所进行专业测试
不止如此,我们还推出了可以制作全景声音效的插件Twirling Works,可以帮助混音师等制作360度全景声效。
这是一件大事。过去,中国无论多大牌的音乐人和多媒体作品从来都是用国外的软件加工制作的(有些恐怕还是盗版),这一领域华人就从来没有掌握过话语权。
TwirlingStudio全景声制作插件
优质的全景声制作软件Twirling720 Studio和插件TwirlingWorks,虽然还只是非常小的产品,但却真正突破了历史记录,一个华人的音频厂家名字头一次在被国际大厂垄断的Facebook音频讨论组里面出现了。
就像在国内的质疑声一样,一开始的确也几个老外不友好地评价了我们的产品,种种对中国团队的瞧不上。
其实也难怪他们,多年来多媒体技术一直就只有欧洲和美国的厂牌,我们乍一出来很难快速取得信任。好在,好的产品会为自己说话,我们做了一个客户调查问卷,反馈都是“Extremely Satisfied”!现在,我们已经把制作软件免费开放给合作伙伴。
摘 掉 耳 机 全 景 声 绝 不 是 3D 音 效
路漫漫其修远兮,对产品进行打磨和创新还远远不够。
给全景声摘掉耳机
首先面临的问题就是“全景声必须带耳机”质疑。
“全景声必须带耳机”的认知确实造成了多人无法同时体验全景声的问题。我们经过反复试验,利用已有的技术经验积累,率先推出了全景声影院系统,该系统直接通过音箱阵列播放沉浸式全景声效果,可以支持多人共享体验互动全景声的沉浸感而无需带耳机了。
突破了这个点,我们又面临新的问题,全景声=3D音效?
全景声绝不是3D音效
其实,两者最大的差异就是互动性。
全景声的听众和内容音源之间是可以在空间里面进行自由互动的,而普通3D音效是不支持的,普通3D音效里面听众是固定的无法移动,而全景声允许听众转身、漫游行走、甚至飞翔,声音可根据听众位置变化实时播放渲染。
浅显地讲,全景声是活的,3D音效是死的。
为了解决这个问题,我们反复思考如何体验互动性,终于有一天我们想到了一个办法:使用体感设备捕获听众肢体运动信息,然后实时让全景声引擎根据用户运动信息对声音进行相应变化。
基于以上两点的突破,我们的新产品成形了——全景声影院系。
颠 覆 舞 台 表 演 的 方 案:全 景 声 互 动 影 院
全景声影院系极大地增加了听众与声音的互动可能性。它会给儿童教育、游戏、线下体验店、科技馆等提供一个较大的开发新产品提升体验的手段。用户可以多人同时在一个空间里面根据声音进行互动而无需佩戴设备。
同时互动影院系统本身也给舞台表演者提供了一种新的酷毙的现场演出表演形式。在音乐节 、现场LiveHouse、DJ、话剧、歌剧、舞台秀、时装秀等城所,想象一下,如果歌星、模特或者DJ通过体感设备可以边舞边控制现场音效,效果会有多震撼,歌迷非疯了不可。
在VR环境下,很多用户长时间带耳机会感觉不舒适或显得很笨重,全景声互动影院系统很好地解决了这个问题。
它另外一个好处在于可以利用原有的音箱和音响系统进行适当的升级改造就可以使用了,同时引擎对于音箱没有要求,甚至可以适配几十元的小音箱, 硬件成本不高。
现在这款产品已经面世了,您可以在时代拓灵公司总部或者清华大学HLab阳光厅免费体验该系统的效果。欢迎各路朋友莅临指导。
朋友们,一起跟声音互动起来。