分类：大模型
AI 音乐生成不再只是“抽卡”：YuE2 用符号乐谱打开编辑入口
开源音乐生成模型 YuE2 将符号乐谱放在生成流程中间，让模型先产出可读、可改的旋律与和弦乐谱，再生成完整音频。该项目由香港科技大学（HKUST）、M·A·P、Tokenwave.AI、NYU、Stanford、MBZUAI、NOIZ、ACE Studio 等机构联合研发，目前获得 12,280 颗 Star，在 GitHub Trending 日榜排名第一；在 Hugging Face 全站趋势榜最高达到第 3 名，在 Text-to-Audio 分类趋势榜位列第 1 名。
把乐谱变成“白盒接口”
多数 AI 音乐生成工具的工作方式是：用户输入风格描述和歌词，模型直接输出音频。生成过程不可见，用户也很难针对某个音符或段落进行修改。YuE2 的做法是在输入与音频之间加入一个显式中间产物：用 ABC 记谱法表示的旋律与和弦乐谱。这个乐谱可以由人查看，也可以由 Agent 读取和修改，确认结构和走向后再渲染成歌曲。
在模型结构上，YuE2 采用 AR-NAR 混合 Transformer（Mixture-of-Transformers）骨干：先以自回归方式预测乐谱和语义 Token，再通过 Flow Matching 生成声学潜变量，最后由 VAE 解码器输出 48kHz 立体声音频，且不经过量化压缩。它支持从零创作、翻唱已有歌曲，以及对已生成作品进行迭代编辑，三者的区别主要在于乐谱来自模型生成、录音转写，还是人工或 Agent 编辑。
项目需要 Linux、Python 3.12、支持 BF16 的 NVIDIA GPU 和 24GB 显存，模型文件首次使用时会从 Hugging Face 自动下载。输出目录中还会保留乐谱、语义 Token、声学潜变量、生成参数和所用模型标识，方便检查每一步结果。
生成过程被拆成可检查的阶段
YuE2 的生成管线提供了四个阶段化 API：plan()、generate_semantic()、synthesize() 和 decode()。每一步都可以单独调用、检查或替换。符号规划参数 cot 提供三种设置：
- “full”：新歌默认，生成旋律与和弦完整计划。
- “melody”：翻唱推荐，只生成旋律计划，伴奏自由适配新风格。
- “off”：跳过符号规划，直接从歌词和风格描述生成音频。
项目文档展示了一个名为《The Last Train》的案例：作品经历 9 个步骤、14 个版本，从中文流行乐逐步调整为带萨克斯独奏的英文爵士。每一版都保留对话记录、乐谱、提示词和歌词，可以回放对比。这类可追溯的编辑历史，在一次性输出音频的端到端模型中难以实现。
翻唱、Agent 与纯音乐工作流
YuE2 还配套了多个模型和工具，包括音乐理解表征模型 MERT2、音频转乐谱模型 SheetSage2，以及评测数据集 WildSongBench，形成“理解—生成—评测”的工具链。
在翻唱场景中，YuE2 不做翻唱专项微调，而是复用同一个通用生成模型。流程是先用 SheetSage2 将源录音转成旋律 ABC 乐谱，审阅或修改后，再配上新歌词或目标风格，并使用 cot=”melody” 模式生成。项目给出的测试显示，在 948 首作品上，带完整乐谱的 YuE2 翻唱达到 0.647 CLEWS mAP；不提供乐谱直接生成的对照组为 0.006。该指标用于衡量翻唱是否保留源曲身份特征，两组结果相差接近两个数量级。
项目还提供 yue2-music Agent Skill，用于指导 Agent 完成歌曲和纯音乐生成、录音转录与翻唱、ABC 乐谱编辑、检查音乐性不变量，以及组织听感对比。README 推荐搭配 GPT-6 Astra 作为执行 Agent，但同时强调，YuE2 仍承担谱曲和音频生成的核心工作。纯音乐流程默认是先生成完整乐谱，再把人声声部的音符挪到器乐声部并渲染；音频翻唱转纯音乐时，辅助工具会保留原始人声音符的音高、起始时间和持续时长，并记录声部重叠部分。项目文档也说明，这一步之后仍需人工听感检查，确认没有人声“漏音”，并判断旋律保真度是否足够。
评测表现与行业意义
在 WildSongBench 评测中，数据集包含 192 条提示词，采用全自动评测。YuE2 的 best-of-8 结果，即从 8 个候选中挑选最优，在 17 个评测配置中获得最高 SongBench 均分；标准单次生成的 YuE2 排在 Suno v5 之后、Mureka 9 之前，位列第四。项目文档同时提示，排名会因指标而异，最高几个均分之间的微小差距并不构成统计显著性。
相比第一代 YuE 的 SongBench 均分 4.9165，YuE2 的提升幅度可观。但更值得关注的是它对创作流程的重新组织：当乐谱成为中间层，AI 音乐生成不再只是反复重新生成，而可以被检查、修改和版本化。对于希望进入专业创作流程的音乐 AI 工具来说，这种可编辑性可能比单纯提升听感更接近实际工作需求。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/ai-yin-yue-sheng-cheng-bu-zai-zhi-shi-chou-ka-yue2-yong-fu
