上音开发多维系统，解决线上音乐教学音频延时、乐谱同步等难题
2022-01-20
填补空白
开发低延时音频驱动程序
多维教学直播平台
“在音乐技术领域，尤其在核心的音乐音频处理技术、编辑创作软件、乐谱工具等方面，罕见国产技术的踪影；交叉领域技术与人才的欠缺，制约着国内音乐信息化的发展。这些空白成为未来音乐发展的瓶颈。”项目负责人、上音音工系主任于阳带领上海市音乐声学艺术重点实验室与跳羚团队合作，完成首个完全国产知识产权的低延时音频驱动程序的开发，填补了多年来的空白。他介绍，项目组通过开发“多维教学直播平台”软件，整合低延时驱动，多通道音频路由、集成化多功能效果器等功能，实现在一个软件内完成上课所需的各种话筒声音、背景音乐、音效等，统一推送音频信号流，简便高效地解决音乐线上教学中的常见问题，并显著提升音质。
为应用和优化该项技术，项目组组织音乐工程系的学生志愿者以及上音首位虚拟毕业生“小冰”，在音乐人工智能技术的进一步助力下，云端开展“当传统文化遇上音乐人工智能”公益支教活动，为多个非遗传承地区和革命老区的孩子们带去最新概念的音乐课，社会强烈反响。同时，项目组还通过与上海、江苏、浙江、安徽、江西、黑龙江、辽宁等省音乐教研员合作，开展十多场面向近2000名偏远地区中小学音乐教师线上信息化培训，在改进技术的同时，进一步服务社会。
来自江西省南昌市南昌县洪燕学校的魏杨慧老师表示：“通过参与这个项目，让以前我们音乐老师不擅长的计算机技能得到了很大的提升，也让我们对计算机音乐和音乐人工智能有了新的理解，希望未来能有更多资源帮助我们上好音乐课。”
专利转化
解决交响乐总谱同步问题
“双层”解析技术应用案例
“能够解决复杂数字乐谱在设备上的显示、解析和同步问题的技术，长期以来只掌握在国外乐谱软件如Sibelius、Finale或相关研究机构手上。随着智能乐器教学和互联网音乐欣赏方式的发展，大量国内企业只能使用国外方案，特别是针对简谱以及较为复杂的五线谱的问题更是缺乏技术支持。”于阳介绍，上音项目组在多年积累的基础上，创新提出“双层”乐谱显示解析方案，通过自主开发的音乐数据解析工具和配套的数据标准，较好地解决复杂交响乐总谱的解析与同步，在交响乐《红楼梦》幻想曲的总谱上测试成功，获得发明专利并完成产业转化，间接服务了数十万音乐学习者和爱好者。
于阳解释，使用“双层”乐谱显示解析方案，登陆特定网址，选择云端已经载入的数字乐谱文件，程序会将交响乐总谱各项乐谱数据进行解析，然后与对应的音频做时间轴同步，根据乐谱信息精确解析到每个音的位置，并用不同色块表示出来，跟随音乐播放。在音乐教学领域，这项技术可以解决大型乐谱的自动跟随问题，帮助学习者更好地理解音乐，同时还可以把乐谱和相关的虚拟乐器对应起来，这样可以体会到多声部音乐，以便于学习者多维度体验音乐。
截至该项目结项，共完成发明专利一项、软件著作权两项、作品登记证书两项，通过多种形式、多次数的公益活动完成了技术升级，参与实践的师生近数百人次。在全国范围内，为提升音乐信息化水平提供多维度的技术方案，继续向彻底解决音乐技术瓶颈问题的目标前进。
反哺社会
免费软件应用小学音乐课
项目组成员、上音音工系副教授陈世哲介绍：“音乐信息化可以降低乐器学习的门槛、丰富乐器的种类，比如，在我国中小学课堂中使用虚拟乐队可以降低学习乐器的门槛和成本。但是，目前市场上的虚拟乐队软件大多功能过于复杂，不便在中国小学音乐课堂上应用。为配合科技创新工程项目，我们另外开发了首个国产的免费音乐编程平台软件——音虫。希望通过这样一款免费软件，让我国的青少年能够打开计算机音乐学习的大门，并促进中小学音乐课堂的信息化。这个软件通过简单的操作和多达160种中外虚拟乐器，辅以先进的人工智能辅助编曲功能，以我国青少年的学习特点为设计目标，搭建了一套适合全面普及的学习和教学的软件系统。”
项目成果未来会进一步在线上音乐课的教学中使用。今年，上音音工系已经和数十所中小学开展合作，通过技术赋能，给这些学校开设计算机音乐课和虚拟乐队课。
陈世哲表示，通过产学研合作，希望能让高校的科研成果提升艺术教育质量，反哺社会。
0
