Meta开源研究音乐生成 多模态模型

MusicGen(音乐生成) MusicGen

MusicGen(Meta)系列 · Meta(FAIR) · 2023-06发布

开源支持本地部署多模态国内可直连有免费额度

模型介绍

Meta 开源的音乐生成模型,输入描述与风格可生成带旋律/伴奏的音频片段,支持文本/旋律双提示,本地可运行,研究友好。

模型基础信息

模型系列MusicGen(Meta)系列
开发机构Meta(FAIR)
发布时间2023-06
参数规模300M ~ 3.3B
上下文窗口文本生成音乐
模型类型文本生成音乐
中文能力一般
使用方式网页体验 / API调用 / 本地部署

免费额度与收费政策

开源(权重非商用)

免费规则详情

代码 MIT,音频权重 CC BY-NC 4.0(非商用)。

收费标准简介

本地免费。

模型能力介绍

✅ 核心优势

  • 开源可本地生成音乐
  • 支持文本与旋律提示
  • 多种尺寸可选
  • 研究基线完善

⚠️ 短板与局限

  • 权重非商用许可
  • 生成音频长度有限
  • 质量与商业模型有差距

🎯 适用场景

  • 音乐研究实验
  • 短视频配乐原型
  • 声音设计
  • 开源二次开发

模型使用教程

本章节整理 MusicGen(音乐生成) 的在线体验、API调用、本地部署全套入门教程,快速上手使用该模型。

Meta 开源的文本生成音乐模型,适合研究与非商业创作。

本地调用见部署教程;Hugging Face 提供在线 Demo。

pip install audiocraft
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download facebook/musicgen-medium

Hugging Face Transformers:

from transformers import AutoProcessor, MusicgenForConditionalGeneration
processor = AutoProcessor.from_pretrained("facebook/musicgen-small")
model = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small")
inputs = processor(text=["一段轻快的钢琴曲"], padding=True, return_tensors="pt")
audio = model.generate(**inputs, max_new_tokens=256)
pip install audiocraft
from audiocraft.models import MusicGen
model = MusicGen.get_pretrained('facebook/musicgen-medium')
model.set_generation_params(duration=10)
wav = model.generate(['upbeat electronic music for a sport video'])
import scipy.io.wavfile as wavfile
wavfile.write('out.wav', model.sample_rate, wav[0].cpu().numpy())

💡 使用小技巧

python -m audiocraft 快速生成。

规模选 medium 性价比高。

❓ 常见问题 FAQ

Q1:MusicGen 免费吗?

A1:开源,本地免费,权重非商用。

Q2:能生成多久?

A2:默认约 10-30 秒片段(可扩展)。

访问备注与注意事项