人工智能(AI)为音乐行业开辟了新的有趣机会,例如,可以开发自动生成音乐作品或特定乐器曲目的工具。然而,大多数现有的工具都是为音乐家、作曲家和音乐制作人设计的,而不是为非专业用户设计的。
LG人工智能研究院的研究人员最近开发了一种新的互动系统,可以让任何用户轻松地将自己的想法转化为音乐。该系统在arXiv预印本服务器上发表的一篇论文中进行了概述,该系统将在音乐数据集上训练的仅解码器自回归变压器与直观的用户界面相结合。
“我们引入了象征性音乐生成的演示,重点提供了作为叙事中心主题的简短音乐主题,”韩尚俊(音译)、咸智元(音译)等人在论文中写道。“对于生成,我们采用自回归模型,以音乐元数据为输入,生成4小节多轨MIDI序列。”
支持团队符号音乐生成系统的基于变压器的模型在两个音乐数据集上进行了训练,即Lakh MIDI数据集和textareaMIDI数据集。总的来说,这些数据集包含超过400,000个MIDI(乐器数字接口)文件,这些文件是包含有关音乐轨道的各种信息的数据文件(例如,演奏的音符,音符的持续时间,演奏的速度)。
为了训练他们的模型,团队将每个MIDI文件转换为音乐事件表示(REMI)文件。这种特定的格式将MIDI数据编码为表示各种音乐特征(例如,音高和速度)的符号。REMI文件以一种特别有利于训练用于音乐生成的AI模型的方式捕捉音乐的动态。
研究人员写道:“在训练期间,我们从音乐元数据中随机删除令牌,以保证灵活的控制。”“它为用户提供了选择输入类型的自由,同时保持了生成性能,从而在音乐创作中具有更大的灵活性。”
除了开发基于变压器的符号音乐生成模型外,Han, Ham和他们的同事还创建了一个简单的界面,使专家和非专业用户都可以访问它。这个界面目前由一个侧边栏和一个中央交互面板组成。
在侧边栏中,用户可以指定他们希望模型生成的音乐的各个方面,例如应该播放什么乐器和歌曲的节奏。在模型生成歌曲后,他们可以在中央面板中编辑曲目,例如,通过删除/添加乐器或调整开始播放音乐的时间。
“我们通过模型能力、音乐保真度、多样性和可控性等方面的实验来验证这种策略的有效性,”韩、哈姆和他们的同事写道。“此外,我们扩大了模型,并通过主观测试将其与其他音乐生成模型进行比较。我们的结果表明,它在控制和音乐质量方面都具有优势。”
研究人员发现,他们的模型表现得非常好,可以根据用户的规格可靠地生成最多4个小节的音乐。在他们未来的研究中,他们可以通过延长他们的模型可以创建的音乐轨道的持续时间,扩大用户可以给出的规格,并进一步增强系统的用户界面来进一步改进他们的系统。
研究人员写道:“我们的模型经过训练,可以生成4小节的音乐,并具有全局控制能力,但在延长音乐长度和控制小节级别的局部元素方面存在局限性。”“但是,我们的尝试对于制作可以作为循环使用的高质量音乐主题具有重要意义。”
更多信息:韩尚军等,基于音乐元数据的符号音乐生成柔性控制,arXiv(2024)。期刊信息:arXiv .2409.07467
?2024 Science X Network
引用:一种利用音乐自我进行符号音乐生成的新模式
数据(2024年10月1日)检索自https://techxplore.com/news/2024-09-music-generation-musical-me
tadata.html本文档
作品受版权保护。除为私人学习或研究目的而进行的任何公平交易外,未经书面许可,不得转载任何部分。的有限公司
内容仅供参考之用。