M2UGen官网
公告声明:本站仅提供网站信息发布展示,请谨慎判断网站真伪,如果发现网站违法请联系我们删除QQ50169001
百度权重 |
移动权重 |
360权重 |
神马权重 |
搜狗权重 |
头条权重 |
更新权重 |
|
|
|
|
|
|
点击更新
|
特别声明
本站提供的M2UGen官网信息,均来源于互联网。我们致力于确保所有收录内容在收录时均符合法律法规。本站严格遵守版权法,尊重著作权人的合法权益。
若发现收录内容存在侵权或违法行为,请及时与我们联系。我们将迅速采取措施,断开相关链接并彻底删除侵权内容。请注意,由于网站域名可能经历过期、删除或重新注册等变更,原有链接可能不再代表本站立场。
我们不声明也不保证链接内容的准确性和可靠性。访问者应自行判断链接内容,并对其访问行为负责。如有风险,由访问者自行承担。
我们提醒所有用户:请遵守国家法律法规,谨慎选择并访问网络链接。
腾讯发布多模态音乐生成模型M2UGen 支持图片、视频生成音乐,M2UGen是一款引领潮流的框架,融合了音乐理解和多模态音乐生成任务,旨在助力用户进行音乐艺术创作。通过其强大的功能,M2UGen提供了全方位的音乐生成和编辑体验。
M2UGen演示地址:https://huggingface.co/M2UGen
M2UGen项目地址:https://github.com/shansongliu/M2UGen
M2UGen论文地址:https://arxiv.org/abs/2311.11255
M型2UGen模型是一种音乐理解和生成模型,能够从文本,图像,视频和音频中进行音乐问答和音乐生成,以及音乐编辑。 该模型利用编码器,如用于音乐理解的 MERT、用于图像理解的 ViT 和用于视频理解的 ViViT,以及 MusicGen/AudioLDM2 模型作为音乐生成模型(音乐解码器),以及适配器和 LLaMA 2 模型。
音乐的产生和理解
我们介绍M2UGen框架,能够同时 包括音乐理解和多模态音乐生成任务, 旨在协助用户进行与音乐相关的艺术创作。
面向音乐的数据集
我们提出了一种系统化的方法,用于生成大面向多模态音乐的指令数据集,我们使用 MU-LLaMA 模型和 MosaicML 的 MPT-7B-Chat 模型来生成面向音乐的数据集。
我们还利用BLIP图像字幕模型和VideoMAE字幕模型来为各自的模态添加字幕。
除了可以从文字生成音乐外,它还支持图像、视频和音频生成音乐,并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解,ViT进行图像理解,ViViT进行视频理解,并使用MusicGen/AudioLDM2模型作为音乐生成模型(音乐解码器)。用户可以轻松移除或替换特定乐器,调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。
此外,M2UGen还加入了适配器和LLaMA2模型,使得该模型具备多种能力。