AI已能按音乐风格填词，周杰伦又有御用作词了？｜在线可玩 来源：量子位 虽然AI在艺术领域一直有不少争议，但它一直也没停下各种尝试的步伐： 写歌、画画、写诗……这不，刚又学会了填词。 我们给这个AI放了一首钢琴曲，曲调非常悠扬平和。 然后，它生成的部分词是这样的： 各位感觉如何？ 其中，生成过程的动态效果看着还不错： 当然，它可以很好地分辨不同风格的音乐：给安静的钢琴乐生成的词与给嘈杂的摇滚乐生成的会完全不一样。 不过，鉴于目前的填词效果（比如有时无厘头的上下衔接），研究人员也表示： 这个工具也不是为了取代音乐家，而是成为一个激发音乐家创作灵感的工具，辅助他们创造出满意的作品。ps.此处在线cue周杰伦，御用词人试试AI？ 如何分辨出不同风格的曲子？这项研究来自滑铁卢大学，研究成果即将发表在ICCC 2021。 项目的动机源于其中一位研究员的个人兴趣。 这名研究员非常喜欢音乐，所以她很好奇机器是否可以生成听起来像她最喜欢的音乐艺术家风格的歌词。 最终做出来的系统叫做LyricJam，已有在线网页版供任何感兴趣的音乐人访问使用。 该系统通过将原始音频文件转换为频谱图，然后使用深度学习模型实时生成与音乐相匹配的歌词。 模型的架构由两个变分自动编码器（VAE）组成，一个用于学习音乐音频的表示，另一个用于学习生成歌词。 训练数据集由18000个原始歌曲的WAV音频片段和7种音乐艺术家的相应歌词组成。 首先使用CNN来根据频谱图将带歌词的音频，按风格分类成不同“艺术家”。 然后训练一个条件VAE(conditional VAE，CVAE)“重建”原始歌词，根据不同类型音乐的歌词用词和表达方式的不同，生成一系列连贯的新歌词。 其中生成条件是前面预先训练的“艺术家”种类。 推理阶段，流程差不多：系统将实时录制的音频片段转换成频谱图，然后进行风格识别，为了生成最匹配的歌词，需要根据“艺术家”的类别从潜在空间中采样并对其进行解码，然后生成对应的歌词表达。 最后，使用基于GAN的对齐模型来对齐两种编码器生成的歌词和音频表示。 最终效果如何呢？ “非批判性的即兴演奏伙伴”为了评估他们开发的系统，研究人员进行了一项简单的用户研究，请来一批搞音乐创作的人来测试。 测试要求音乐人现场演奏音乐并分享他们对系统所作歌词的反馈。 首先确定该系统是否能更准确地生成与音乐所产生的情绪相匹配的歌词。 研究人员选用了5种不同乐器演奏的不同歌曲的片段，每段约10秒，用该模型的两种变体（下图中每组的第二三行）各生成一行歌词，再用一个基线模型（下图中每组第一行）生成歌词。 生成示例如下： 测试者需对以上3种词，进行打分，选出最匹配当前音乐的一种。 总共有15个人参与了这项研究，从下表可以看出，无论播放的歌曲类型如何，用户都更喜欢后两个模型的歌词，而非基线模型的。 这说明，该系统可以生成匹配音乐风格的歌词。 最后，通过一系列问卷调查显示，大多数参与实验的音乐人都觉得，LyricJam是一个非批判性的即兴演奏“伙伴”，可以鼓励他们即兴创作并尝试不同寻常的歌词表达方式。 另外，即使中间改变音乐风格或尝试加入新的和弦，歌词也能实时做出抒情主题的变化。 最后研究人员表示，如果在更大的数据集上训练，填的词就更具有多样性了。 感兴趣的朋友可戳在线链接试玩，系统操作非常简单，录入一个音频就可以：https://lyricjam.ai/ 论文地址：https://arxiv.org/abs/2106.01960 参考链接： https://techxplore.com/news/2021-06-lyricjam-lyrics-instrumental-music.html 推荐阅读【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！ 分层级联Transformer！苏黎世联邦提出TransCNN: 显著降低了计算/空间复杂度！ 清华姚班教师劝退文：读博，你真的想好了吗？ 2021李宏毅老师最新40节机器学习课程！附课件+视频资料 最强通道注意力来啦！金字塔分割注意力模块，即插即用，效果显著，已开源！ 登上更高峰！颜水成、程明明团队开源ViP，引入三维信息编码机制，无需卷积与注意力 常用 Normalization 方法的总结与思考：BN、LN、IN、GN 注意力可以使MLP完全替代CNN吗？未来有哪些研究方向？ 清华鲁继文团队提出DynamicViT：一种高效的动态稀疏化Token的ViT 并非所有图像都值16x16个词--- 清华&华为提出一种自适应序列长度的动态ViT 重磅！DLer-计算机视觉&Transformer群已成立！ 大家好，这是计算机视觉&Transformer论文分享群里，群里会第一时间发布最新的Transformer前沿论文解读及交流分享会，主要设计方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、视频超分、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如Transformer+上交+小明） ??长按识别，邀请您进群！