9月，一群人聚集在麻省理工学院媒体实验室，观看音乐家乔丹·鲁迪斯（Jordan Rudess）和两位合作者的音乐会。其中一位小提琴家兼歌手卡米拉B?ckman之前曾与Rudess合作过。另一个——一个被非正式地称为jam_bot的人工智能模型，是Rudess与麻省理工学院的一个团队在过去几个月里开发出来的——作为一项正在进行的工作首次公开亮相。
在整个演出过程中，Rudess和B?ckman交换了经验丰富的音乐家共同寻找最佳状态的信号和微笑。鲁迪斯与jam_bot的互动暗示了一种不同的、不熟悉的交流。在一首受巴赫启发的二重奏中，Rudess在演奏几个小节和允许AI以类似的巴洛克风格继续音乐之间交替进行。每次轮到模特时，粗鲁的脸上都会闪现出一系列表情：困惑、专注、好奇。在这首歌的最后，Rudess向观众承认：“这是一个充满乐趣和挑战的组合。”
鲁迪斯是一位广受好评的键盘手——根据《音乐雷达》杂志的一项民意调查，他是有史以来最好的键盘手——他因与白金销量、格莱美奖得主、前卫金属乐队Dream Theater的合作而闻名，该乐队将于今年秋天开始40周年巡演。他还是一名独唱艺人，最新专辑《允许飞翔》（Permission to Fly）于9月6日发行；通过详细的在线教程分享他的技能的教育工作者；也是软件公司Wizdom Music的创始人。他的作品结合了严谨的古典基础（他9岁开始在茱莉亚音乐学院学习钢琴），以及即兴创作的天才和对实验的渴望。
去年春天，Rudess成为麻省理工学院艺术、科学和技术中心（CAST）的访问艺术家，与麻省理工学院媒体实验室的响应环境研究小组合作，开发新的人工智能音乐技术。Rudess在企业中的主要合作伙伴是媒体实验室的研究生Lancelot Blanchard，他研究生成式人工智能的音乐应用（通过他自己对古典钢琴的研究），以及Perry Naseck，一位专门研究互动、动态、光和基于时间的媒体的艺术家和工程师。监督这个项目的是约瑟夫·帕拉迪索教授，他是响应环境小组的负责人，也是粗鲁的长期粉丝。1994年，帕拉迪索来到媒体实验室，他的简历是物理学和工程学，副业是设计和制作合成器，以探索他的前卫音乐品味。他的团队有通过新颖的用户界面、传感器网络和非常规数据集来研究音乐前沿的传统。
研究人员着手开发一种机器学习模型，以引导Rudess独特的音乐风格和技巧。今年9月，他们与麻省理工学院音乐技术教授埃兰·伊戈齐（Eran Egozy）共同在麻省理工学院出版社（MIT Press）网站上发表了一篇论文，在论文中，他们阐述了他们所谓的“共生精湛技艺”的愿景：人类和计算机可以实时二重唱，从他们一起表演的每一段二重唱中学习，并在现场观众面前制作出值得表演的新音乐。
鲁迪斯为布兰查德训练人工智能模型提供了数据。Rudess还提供了持续的测试和反馈，而Naseck则尝试了将技术可视化的方法。
纳塞克说：“观众已经习惯了在许多音乐会中看到灯光、图像和风景元素，所以我们需要一个平台，让人工智能与观众建立自己的关系。”在早期的演示中，这采用了雕塑装置的形式，每当AI改变和弦时，照明就会发生变化。在9月21日的演唱会上，安装在“粗鲁”背后的花瓣状面板通过基于人工智能模型的活动和下一代的编排而栩栩如生。
纳塞克说：“如果你看到爵士音乐家相互眼神交流并点头，那就会让观众对将要发生的事情有所期待。”“人工智能有效地生成乐谱，然后播放它。我们如何展示并传达接下来的内容？”
在Brian Mayton（机械设计）和Carlo Mandolini（制造）的帮助下，Naseck在媒体实验室从头开始设计和编程了结构，并从访问学生Madhav Lavakare开发的实验机器学习模型中绘制了一些运动，该模型将音乐映射到空间中移动的点。由于能够以微妙到戏剧性的速度旋转和倾斜花瓣，动态雕塑在音乐会期间将人工智能的贡献与人类表演者区分开来，同时传达其输出的情感和能量：例如，当粗鲁者带头时轻轻地摇摆，或者像花朵一样展开，当人工智能模型为即兴慢板生成庄严的和弦时。后者是纳塞克在剧中最喜欢的时刻之一。
他回忆道：“最后，Jordan和Camilla离开了舞台，让AI充分探索自己的方向。“这个雕塑让这一刻变得非常强大——它让舞台保持活力，并强化了人工智能演奏的和弦的宏伟本质。观众们显然被这一段吸引住了，他们坐在座位的边缘。”
“我们的目标是创造一种音乐视觉体验，”Rudess说，“以展示什么是可能的，并提高游戏水平。”
音乐期货
作为他的模型的起点，Blanchard使用了一个音乐转换器，这是麻省理工学院助理教授Anna Huang 2008年开发的一个开源神经网络架构，她于9月加入麻省理工学院。
“音乐变形器的工作方式与大型语言模型类似，”布兰查德解释说。“就像ChatGPT会生成最可能的下一个单词一样，我们的模型也会预测最可能的下一个音符。”
布兰查德使用Rudess自己演奏的元素对模型进行了微调，从低音线到和弦再到旋律，Rudess在他的纽约工作室录制了这些变化。在此过程中，布兰查德确保人工智能足够灵活，能够实时响应鲁迪斯的即兴创作。
“我们重新设计了这个项目，”布兰查德说，“根据模型所假设的音乐未来，而这只是基于乔丹的决定而实现的。”
正如Rudess所说：“人工智能如何回应——我如何与它对话？这是我们正在做的最前沿的部分。”
另一个优先事项出现了：“在生成式人工智能和音乐领域，你听说过Suno或audio等初创公司能够根据文本提示生成音乐。这些非常有趣，但它们缺乏可控性，”布兰查德说。“对乔丹来说，能够预测将要发生的事情是很重要的。如果他能够看到AI将做出一个他不想要的决定，他便能够重新启动生成或设置一个终止开关，这样他便能够再次获得控制权。”
除了给Rudess一个屏幕预览模型的音乐决定外，Blanchard还构建了不同的模式，音乐家可以在他演奏时激活-例如，提示AI生成和弦或主旋律，或者启动呼叫和响应模式。
“乔丹是这一切的策划者，”他说。
乔丹会怎么做
虽然实习已经结束，但合作者们看到了许多继续研究的途径。例如，纳塞克希望通过电容感应等功能，尝试更多方式让鲁迪斯与他的装置直接互动。纳塞克说：“我们希望将来能够研究更多他的细微动作和姿势。”
虽然麻省理工学院的合作重点是Rudess如何使用该工具来增强自己的表现，但很容易想象其他应用。帕拉迪索回忆起早期与这项技术的接触：“我演奏了一个和弦序列，乔丹的模型生成了引线。就像有一只乔丹·鲁迪（Jordan Rudess）的音乐‘蜜蜂’在我奠定的旋律基础上嗡嗡作响，做着乔丹会做的事情，但受制于我演奏的简单进程，”他回忆道，他的脸上流露出当时的喜悦。“你会看到你最喜欢的音乐家的人工智能插件，你可以把它带到你自己的作品中，有一些旋钮可以让你控制细节，”他假设。“这就是我们用这个打开的世界。”
鲁迪斯还热衷于探索其教育用途。因为他为训练模型而记录的样本与他对学生使用的耳朵训练练习相似，他认为该模型本身有一天可以用于教学。他说：“这项工作的意义不仅仅是娱乐价值。”
涉足人工智能是鲁迪斯对音乐技术感兴趣的自然发展。“这是下一步，”他相信。然而，当他与其他音乐家讨论工作时，他对人工智能的热情经常遇到阻力。“我可以同情或同情一个感到受到威胁的音乐家，我完全理解，”他承认。“但我的使命是成为推动这项技术朝着积极方向发展的人之一。”
帕拉迪索说：“在媒体实验室，思考人工智能和人类如何为了所有人的利益而结合在一起是非常重要的。”“人工智能将如何提升我们所有人？”理想情况下，它将做许多技术已经做过的事情——把我们带入另一个我们更有能力的前景。”
“乔丹是领先的，”帕拉迪索补充道。“一旦与他建立了联系，人们就会追随。”
麻省理工学院的干扰
媒体实验室第一次出现在Rudess的雷达之前，因为他想尝试由响应环境的另一位成员，纺织研究员Irmandy Wickasono博士创建的针织键盘。从那一刻起，“这对我来说是一个发现，了解麻省理工学院音乐界正在发生的很酷的事情，”Rudess说。
去年春天，在他的妻子，戏剧和音乐制作人Danielle Rudess的协助下，Rudess两次访问剑桥，他回顾了Paradiso电子音乐控制器课程的期末项目，课程大纲中包括他自己过去表演的视频。在Egozy教授的互动音乐系统课程上，他带来了一款名为“Osmose”的新型手势驱动合成器。Egozy的作品包括电子游戏《吉他英雄》（Guitar Hero）的共同创作。鲁迪斯还在一个作文课上提供了即兴创作的技巧；他与斯坦福大学的研究人员、麻省理工学院笔记本电脑合奏团和艺术学者项目的学生音乐家共同制作了一款触屏乐器GeoShred；并在麻省理工学院空间声音实验室体验沉浸式音频。在他最近一次9月的校园之旅中，他在麻省理工学院的爱默生/哈里斯项目中为钢琴家教授大师班，该项目总共为67名学者和研究员提供音乐学院级别的音乐教学支持。
“每当我来到大学，我都有一种匆忙的感觉，”鲁迪斯说。“我有一种感觉，哇，我所有的音乐想法、灵感和兴趣都以这种非常酷的方式融合在一起。”