纵观世界艺术历史,科技的发展和艺术的发展息息相关,从农耕时代中世纪的教堂圣咏,到工业革命冶炼技术出现后成就的交响乐,随着电子技术以及计算机的出现,电子音乐、MIDI、计算机音乐、音乐人工智能迅速发展。未来音乐会是和计算机、人工智能有关吗?这是很有可能的。我们并不知道未来音乐是怎样的,但未来音乐值得我们探索。
音乐与人工智能的发展
国外音乐与科技相关学科的发展自20世纪50年代开始,工程师和科学家开始合作探索音乐的数字处理技术,逐渐形成了音乐科技/计算机音乐(Music Technology/Computer Music)这一交叉学科。上世纪70年代以后,欧美各国相继建立了多个大型计算机音乐研究机构。2000年后,音乐科技在世界各地如澳大利亚、日本、新加坡等地都逐渐发展起来。
20世纪90年代起,国内各个综合类大学的计算机专业中的一些教授开始了关于计算机与音乐的研究。近年来,中央音乐学院、中央美术学院、上海音乐学院等国内一批一流艺术院校先后成立了艺术科技交叉学科,对音乐或其他艺术与人工智能的交叉研究开展了初步探索。
中央音乐学院是我国最早开展音乐与人工智能交叉研究的艺术院校:1993年成立了电子音乐中心,2012年成立音乐科技部,2018年组建音乐人工智能与音乐信息科技学科方向和实体系,下设音乐人工智能、电子音乐作曲、电子音乐制作、音响艺术指导、音乐治疗、艺术嗓音等专业方向。前一段时间在京举办的世界音乐人工智能大会就是由音乐人工智能系承办的,主办单位是中央音乐学院和中国人工智能学会,团结了全世界最顶尖的一线人工智能音乐专家。明年将继续举办,希望它成为世界音乐人工智能的风向标和重要的学术交流场所,成为产业化交流的平台与服务社会的纽带。
世界音乐人工智能大会圆桌讨论
人工智能与艺术目前受到广泛关注,去年在西安举办的中国人工智能与艺术教育论坛,网络在线近50万人共同参与了该论坛。我们发现,全国各地有非常多的人关注这个事情。2021年举办的全球人工智能技术大会(GAITC)——当AI与艺术相遇专题论坛,同样几十万人参与。
今年,中国人工智能学会(CAAI)艺术与人工智能专委会、中国计算机学会(CCF)计算艺术分会相继成立,团结了全国八大艺术门类的所有跟科技相关的人员,包括中央音乐学院、中央美术学院、上海音乐学院、中央戏剧学院等艺术院校艺术与科技的相关人才,一起来探讨未来艺术。
音乐人工智能先乐后药
音乐与人工智能发展有三个过程:创作、呈现、接受。我们研究音乐、人和人工智能三者如何协同发展的关系。在创作、呈现、接受以外,还有哲学、音乐人工智能的美学以及它的伦理,都有待我们跟进研究。
音乐创作方面,有作曲技术的研究,也有智能作曲和新创作的方式。智能作曲是按照人既有的规律创作;而新创作的方式,是以人还没有的规律(由AI)自觉创作的一个过程。我们现在做AI作曲,会发现它模拟人的创作挺有趣,而它模拟的自主创作会让人瞠目结舌,希望未来也会为这个世界创作一些惊喜。
音乐呈现、传播等方面,有机器人的演奏,中央音乐学院与美国印第安纳大学还搞了一个自动伴奏系统。原来的伴奏系统是人跟着乐队、伴奏带学习,但现在的AI伴奏系统,会像人一样配合你的演奏。未来我们也会自动生成为一些伴奏音乐。
音乐接受方面,我们已经在认知、音乐治疗、欣赏过程方面进行了研究和探索。音乐治疗是我们人工智能系重要的部门之一,下设音乐治疗教研室中心,已经有了接近30年的历史。目前,中央音乐学院的音乐治疗除了传统的音乐治疗以外,还有音乐人脑科学,科学地研究、构建一个更大的音乐治疗范围,不仅仅是从心理学角度研究,还从脑科学进行研究。目前,大家已经找到了音乐记忆在脑部的某个位置的反应,是很小的一个记忆点。我们希望搞清楚音乐的频率、音乐如何形成人的情绪,它对人脑到底产生了什么影响。其实,音乐对人的情绪影响是巨大的,有的时候甚至超过了药物,你吃药得反应半天才会有效果,可是听音乐的一瞬间情绪就会发生变化,所以音乐的频率特别神奇。
中国古代音乐的“乐”字繁体字“樂”,加个草字头就是“藥”(药)字。《黄帝内经》不断说了先乐后药,治病的时候还有声音治病。我们希望通过脑科学验证声音的频率到底对人有多大的反应,反应在哪儿,它的机理是什么。我们未来想做抑郁症、自闭症、临终关怀,可是现在我们想第一步解决睡眠的问题,研究音乐对睡眠的影响。
智能作曲已经开始了
央音的AI自动作曲系统,是通过人工智能算法进行作曲、编曲、歌唱、混音,并最终生成完整歌曲作品的系统。智能作曲能够在23秒快速地创作出一首歌曲,可以达到一般作曲家写作水平。23秒,配器、演唱都可以出来,在全世界都比较前沿。
自动作曲系统架构
智能自动作曲系统主要分为自动作曲模块、自动编曲模块、歌声合成模块和自动混音模块。在系统建立过程当中,首先要对歌曲旋律、曲风、情感、歌词等歌曲信息进行整理和统计,建立给信息大数据库,然后用深度学习算法训练对应的模型,最后由系统根据用户输入的参数和歌词进行歌曲作品的制作。这个项目最终的目的是要实现一个基于网页-服务器架构的、可供用户操作使用的网页端产品。
未来的音乐一定会是一个多维的音乐空间。传统的一对音箱的立体声,我们听到的声音都是从前面传过来。但是现在很多全景式的收音、录音技术,是可以收到四面八方的声音的,效果就好了很多。3D音乐将比立体声音乐有着更动人的音乐魅力,是传统的立体声音乐听觉的升级,是目前电视、立体声录音等没办法体验的、全新概念的音乐体现方式。这种“跑动起来、流动的”3D全息音乐将是未来音乐的一部分,是一个这个时代的创新工程,值得我们探索。
除了传统的交响乐队产生三维立体声效,我们还有新创造的音乐,比如电子音乐创作,不拘泥于前面发声,也可以通过后面发声、上面发声,各个维度所有方向参与音乐的创作表达当中。我们的研究结果发现,3D音乐的出现,可能会对我们传统的和声、配器产生影响。
3D音乐肯定会改变原来的模式,2019年中央音乐学院做了一场3D音乐《中国十二生肖》。现在全世界很多的音乐家都在做,包括杜比公司、DTS公司已经发布自己的编码解码系统,这就给了创造者更多的空间,他们自己在家里就可以做3D音乐了。3D音乐除了音箱以外,还可以下降到耳机的算法,我们戴耳机也可以听出三维的空间。
未来,音乐机器人、虚拟机器人对于我们音乐表演、交互、音乐娱乐将会有重要的好处,我们目前正在做一个音乐教育方面的音乐机器人。大家知道,全世界的音乐教育师资缺乏,特别是偏远地区专业的音乐老师非常缺乏,甚至有些地方都是体育老师、语文老师兼职。我们希望在“数字人”方面做一些努力,让“数字人”能作为一个音乐老师跟你交互。如果音乐教育的虚拟人物能为全国的边远山区做一些事,对我们中国的美育教育将会是一个重大的贡献。
我们还有一个AI歌词辅助写作系统,辅助作曲家创作歌词。我们做了一个作诗系统,80%的人都写不过它。我们现在在做音乐数据以及计算中心,教育部和发改委都非常重视,特别希望我们建成全世界最大的音乐数据中心。
音乐人工智能的研究领域非常广泛,全世界没有专门研究人工智能的学校,大家都是从声音转过来的。中央音乐学院这个学科研究的就是未来音乐,我们有人工智能创作、人工智能的表演与交互、智能音乐教育、音乐与脑科学四个研究方向。我们的毕业生特别抢手,音乐人工智能的毕业生还没有毕业,各个大公司都抢着要我们的人。
未来的音乐是什么?可能我们不知道。但是我们可以通过纵观音乐历史的发展、科技的发展来看到一些线索。科技的发展对我们的音乐创作、音乐呈现、音乐接受、音乐哲学等都会产生深远的影响。
我认为未来音乐的发展将会在下面三个维度上展开:
第一、传统意义的音乐(包括现代音乐)将会继续发展;第二、科技赋能传统意义的音乐创新发展;第三、新科技产生新的音乐形态独立发展。
总之,音乐人工智能是帮助人类、赋能人类的,不是代替人类的,人类的艺术因为音乐人工智能的出现将更加丰富多彩、更加弥足珍贵。希望我们一起携手为未来音乐做一些事情。
文/中央音乐学院音乐人工智能与音乐信息科技系系主任、教授李小兵