在清华校庆之际,清华教师阿卡贝拉小唱组的老师们,还真献上了上面这一场“云上实时合唱献礼清华校庆”活动。
并非事先各自录制,而后剪辑实现。这6位老师是在各自家中,利用普通网络和普通手机,同一时刻一起远程合唱。
不得不说,论唱歌还是服清华,前有李健水木年华高晓松等知名“音乐”校友,现在还通过技术实现云合唱。
那么这项技术,究竟有啥过人之处?
超低延时音视频互动技术
前面提到,视频通话、视频直播中尚可接受的几百毫秒延迟,对于实时合唱来说却是致命的。
如果双方的人声、伴奏延时高于100ms,唱的拍子就会合不上。
因此,在此前被众多网友称作“有生之年系列”的One World:Together At Home网络音乐会上,受限于歌手们时差、现场收录条件、网络条件的差异,为了保证演出效果,大部分合唱表演其实是提前录制好的。
正如著名音乐电台DJ,SoundArio音乐基金会创始人加菲众所评价:“0.17秒的延迟足以低效全世界顶级音乐人的现场功力。”
而清华老师们这场精彩的阿卡贝拉,即无伴奏合唱,对演唱者之间的相互配合要求极高,单向延时超过50ms,或者声音断断续续、忽大忽小,就会造成歌者之间的互相干扰。那就不是美妙和声,而是灾难现场了。
所以,这场表演是如何实现的?
老师们借助的,是超低延时音视频互动技术,能使单向音视频延迟低于50ms。
而技术的提供方,正是从清华园走出来的技术团队——清流鼎点(PowerInfo)。
音视频互动涉及编码、传输、转发、解码等多个环节,各个环节又分为多个模块和层次。清流鼎点的iLive方案将其视作一个整体,进行全栈综合优化。
其中的重点,是在音视频的编码和传输环节。
iLive方案建立了从评估、预测到调整的延时、流畅及质量三要素模型,并针对不同场景,进行基于大数据的算法和策略优化。
涉及的技术细节包括:
PTCP传输协议:基于UDP(用户数据报协议),在充分理解传输内容的基础上,实现的专门用于实时音视频的协议,具备优先级、jitter、RC、重传、FEC等多种控制手段。
ARRC:支持基于传输信道状态对编码及播放策略的控制,依据海量数据(21.280, -0.20, -0.93%)的分析,并根据不同场景QoE模型,采用不用的控制策略。
Multi-Path多径传输技术:在PTCP协议内部实现Multi-Path传输机制,支持主/从、并行等不同的传输策略,支持基于对不同信道状态实时监测的Packet粒度的动态选径策略。
也就是说,能够同时利用多个网络(比如WiFi和4G)传输数据,降低单个网络的传输不稳定性,从而降低卡顿率,提升音视频通讯体验。
目前,这一技术方案已实现在1%丢包率下,码率4Mbps音视频延迟最低达42ms,卡顿0.2次/分钟。
也就是说,普通家庭网络接入,只要丢包率不超过1%,就可以体验超低延时合唱啦。
并且,该技术已经在清流鼎点推出的直面app上应用。据官方介绍,可以满足线上教学、视频会议,乃至实时合唱、在线乐队排练等场景需求。
乐徽科技和腾讯合作运营的“全民K歌”线下体验店,同样应用这套技术方案,实现了异地实时卡拉OK合唱功能。
如此效果,也给未来的线上互动场景提供了更多可能性,比如在AR/VR游戏中的应用,在远程医疗领域的应用……
清流鼎点:生于清华,长于清华
最后,简单介绍一下清流鼎点。
清流鼎点的创始团队,全员毕业于清华计算机系。在视频编码及传输领域有近20年的持续积累,从事过国内首批电信级VOD、IPTV系统、广电级高质量视频编码器等开发工作。
其合作客户包括:央视、映客直播、Starmaker、dokidoki等等。
自2008年起,清流鼎点旗下公司累计为中国用户大规模地提供过3次奥运会网络直播、2次欧洲杯和1次世界杯的网络直播,以及4届央视春晚网络直播,在网络直播视频传输领域积累深厚。
关键词:音乐教育 钢琴 俩臺鋼琴 公益 中音联 邮轮游学才艺嘉年华 社会音乐教育机构扶持计划 音乐 乐器 中小学 少年儿童 音乐会 合唱 口琴 化蝶品牌
中国音乐教育网公益扶持部微信号:csm351、中国音乐教育网.樂助理微信号:csmes351