关闭
首页 > 科技与创新 > 创新之路

清华教师完美「云」合唱献礼校庆,背后是清流鼎点的超低延时技术

2020-05-14
  在清华校庆之际,清华教师阿卡贝拉小唱组的老师们,还真献上了上面这一场“云上实时合唱献礼清华校庆”活动。
  并非事先各自录制,而后剪辑实现。这6位老师是在各自家中,利用普通网络和普通手机,同一时刻一起远程合唱。
  不得不说,论唱歌还是服清华,前有李健水木年华高晓松等知名“音乐”校友,现在还通过技术实现云合唱。
  那么这项技术,究竟有啥过人之处?
  超低延时音视频互动技术
  前面提到,视频通话、视频直播中尚可接受的几百毫秒延迟,对于实时合唱来说却是致命的。
  如果双方的人声、伴奏延时高于100ms,唱的拍子就会合不上。
  因此,在此前被众多网友称作“有生之年系列”的One World:Together At Home网络音乐会上,受限于歌手们时差、现场收录条件、网络条件的差异,为了保证演出效果,大部分合唱表演其实是提前录制好的。
  正如著名音乐电台DJ,SoundArio音乐基金会创始人加菲众所评价:“0.17秒的延迟足以低效全世界顶级音乐人的现场功力。”
  而清华老师们这场精彩的阿卡贝拉,即无伴奏合唱,对演唱者之间的相互配合要求极高,单向延时超过50ms,或者声音断断续续、忽大忽小,就会造成歌者之间的互相干扰。那就不是美妙和声,而是灾难现场了。
  所以,这场表演是如何实现的?
  老师们借助的,是超低延时音视频互动技术,能使单向音视频延迟低于50ms。
  而技术的提供方,正是从清华园走出来的技术团队——清流鼎点(PowerInfo)。
  音视频互动涉及编码、传输、转发、解码等多个环节,各个环节又分为多个模块和层次。清流鼎点的iLive方案将其视作一个整体,进行全栈综合优化。
  其中的重点,是在音视频的编码和传输环节。
  iLive方案建立了从评估、预测到调整的延时、流畅及质量三要素模型,并针对不同场景,进行基于大数据的算法和策略优化。
  涉及的技术细节包括:
  PTCP传输协议:基于UDP(用户数据报协议),在充分理解传输内容的基础上,实现的专门用于实时音视频的协议,具备优先级、jitter、RC、重传、FEC等多种控制手段。
  ARRC:支持基于传输信道状态对编码及播放策略的控制,依据海量数据(21.280, -0.20, -0.93%)的分析,并根据不同场景QoE模型,采用不用的控制策略。
  Multi-Path多径传输技术:在PTCP协议内部实现Multi-Path传输机制,支持主/从、并行等不同的传输策略,支持基于对不同信道状态实时监测的Packet粒度的动态选径策略。
  也就是说,能够同时利用多个网络(比如WiFi和4G)传输数据,降低单个网络的传输不稳定性,从而降低卡顿率,提升音视频通讯体验。
  目前,这一技术方案已实现在1%丢包率下,码率4Mbps音视频延迟最低达42ms,卡顿0.2次/分钟。
  也就是说,普通家庭网络接入,只要丢包率不超过1%,就可以体验超低延时合唱啦。
  并且,该技术已经在清流鼎点推出的直面app上应用。据官方介绍,可以满足线上教学、视频会议,乃至实时合唱、在线乐队排练等场景需求。
  乐徽科技和腾讯合作运营的“全民K歌”线下体验店,同样应用这套技术方案,实现了异地实时卡拉OK合唱功能。
  如此效果,也给未来的线上互动场景提供了更多可能性,比如在AR/VR游戏中的应用,在远程医疗领域的应用……
  清流鼎点:生于清华,长于清华
  最后,简单介绍一下清流鼎点。
  清流鼎点的创始团队,全员毕业于清华计算机系。在视频编码及传输领域有近20年的持续积累,从事过国内首批电信级VOD、IPTV系统、广电级高质量视频编码器等开发工作。
  其合作客户包括:央视、映客直播、Starmaker、dokidoki等等。
  自2008年起,清流鼎点旗下公司累计为中国用户大规模地提供过3次奥运会网络直播、2次欧洲杯和1次世界杯的网络直播,以及4届央视春晚网络直播,在网络直播视频传输领域积累深厚。

       关键词:音乐教育   钢琴  俩臺鋼琴  公益   中音联   邮轮游学才艺嘉年华   社会音乐教育机构扶持计划  音乐  乐器  中小学  少年儿童  音乐会  合唱  口琴  化蝶品牌

中国音乐教育网公益扶持部微信号:csm351、中国音乐教育网.樂助理微信号:csmes351
 

0

  • 上一篇:音乐和舞蹈对痴呆症有积极的作用,患者生活质量有所改善
  • 下一篇:音乐区块链应用进入第5年,当初承诺的美好未来还有多远?