人声与歌声合成全景深度调研
音高 / 响度 / 情绪 / 时长 / 音色克隆 / 声乐技巧控制 × 数据 × 训练 × 产品版图

0 · 执行摘要

一句话总结：人声/歌声生成在 2021–2023 年由「两阶段声学模型 + 神经声码器」的 DiffSinger 范式主导；2023–2024 年开源社区以 RVC / so-vits-svc 把音色克隆平民化；2024–2026 年主战场转移到 Token-LM 与 Flow Matching 的整曲生成（Seed-Music、YuE、SongGen、LeVo、ACE-Step、DiffRhythm、Mureka O1、Suno/Udio），并把后训练（RLHF/DPO、多偏好对齐、CoT 推理）引入音乐生成。可控性的前沿不再是「能不能唱」，而是「能不能精确控制」——音高曲线、响度包络、情绪标签、时长对齐、零样本音色、乃至声乐技巧级（mix / belt / breathy / falsetto / vibrato）的细粒度操控。

1 · 领域全景图

2 · 人声机理与声乐术语体系

要把「混声、头声、胸声、气声、闭合」这些声乐术语变成模型可学习的控制信号，必须先在生理机制 → 声学特征 → ML 特征三层之间建立映射。本章给出这一映射表，它是第 5.6 节技巧控制的方法论基础。

2.1 发声机理与声学特征

人声产生遵循 source–filter 模型：声带振动产生激励源（source，基频 F0 与谐波列），声道（咽喉、口腔、鼻腔）作为滤波器塑造共振峰（formants）。歌唱与说话的核心差异在于：

• F0 范围：说话 F0 窄且平稳；歌唱横跨 2–4 个八度，且有 vibrato、滑音等周期性/非周期性调制。
• 声区切换：说话几乎只使用 modal register（真声）；歌唱需要在 chest / mixed / head / falsetto / whistle 间连续过渡。
• 频谱能量分布：歌唱大量使用 singer's formant（约 2.8–3.2 kHz 的共振峰聚集，用于穿透乐队）与 belting 等高能量策略。
• 气声与噪声成分：breathy singing 中 aspiration noise（湍流噪声）显著提高 HNR（谐波噪声比）下降。

对应到 ML 特征：F0 轨迹（semitone 域）、能量/RMS 包络、mel 频谱 / CQT、HNR / spectral tilt、jitter/shimmer（声带周期微扰）、formant 频率与带宽、periodicity（WORLD 的 BAP/aperiodicity 参数）。这些正是 WORLD/pyworld、CREPE、RMVPE、FCPE 等 F0 提取器和声码器条件输入的基础。

2.2 声区体系：真声、假声、混声、头声、胸声、哨音

2.3 声乐技巧词典（面向 ML 的定义）

GTSinger（浙大，NeurIPS 2024 Spotlight）把六种「歌曲中最常用」的技巧做成了受控对照数据集；VocalSet（ISMIR 2018）覆盖 17 种标准/扩展技巧。下表合并两套本体并补充工业界常用的控制参数名。

3 · 任务定义与技术路线演进

3.1 任务谱系

3.2 四代技术路线时间线

3.3 三大建模范式的取舍

4 · 代表性模型与研究工作

4.1 两阶段与扩散系 SVS 主线

XiaoiceSing（Interspeech 2020，微软）确立了 FastSpeech 式「频谱+F0+时长一体化」的 SVS 基线；ByteSing 用时长分配 encoder-decoder + WaveRNN 工程化。VISinger（ICASSP 2022）/ VISinger2 把 VITS 的端到端 VAE+flow+NSF 架构引入 SVS，直接从乐谱端到端生成波形，成为 ESPnet-Muskits 工具包的两大基线之一。

DiffSinger（AAAI 2022，浙大）是本领域引用最高的工作：用浅扩散机制（shallow diffusion）——先用简单 MSE decoder 预测 mel 谱，再从预测结果与真值扩散轨迹的交点处启动少量去噪步——同时解决过平滑与推理慢。其影响远超论文本身：

• 官方代码 MoonInTheRiver/DiffSinger 与社区维护版 openvpi/DiffSinger（OpenVPI 团队）持续演进，加入 variance predictor（音素时长/F0/能量）、多说话人、零样本微调等；
• 渲染器并入 OpenUtau（ONNX 运行），形成全球最大的开源 AI 歌声音库生态（任何人都可录制并训练自己的 DiffSinger voicebank），配套中文文档、调教师社群与「AI 合成 + 人工调参」的工作流——这一生态直接孕育了 ACE-Opencpop 数据集（见 6.5）；
• 浅扩散思想被移植进 SVC（so-vits-svc diffusion 分支、Diffusion-SVC、DDSP-SVC）。

后续扩散/生成式 SVS 变体：Multi-Singer DiffSinger（多歌手）、RefuseSinger（参考歌声引导）、Learn2Sing 2.0（说→唱迁移）、SmoothSinger（多分辨率条件扩散）、LAPS-Diff（语言感知韵律风格）、HiddenSinger（neural codec latent 扩散）、DiTSinger（ICASSP 2026，RoPE+qk-norm 的 DiT 系统性 scaling + 隐式对齐）、FM-Singer（2026，flow matching 修正 cVAE latent mismatch）。风格侧：StyleSinger（AAAI 2024）做零样本风格迁移 SVS；TCSinger（EMNLP 2024）/ TCSinger 2实现 audio+text prompt 双模态风格的零样本 SVS（覆盖唱法/情绪/节奏/技巧/发音五维风格）；AlignSTS 做 rhythm-free 的说转唱。

4.2 Token-LM 系歌曲生成（2024–2026 主战场）

Seed-Music（字节 Seed，arXiv 2409.09214，2024-09）是目前公开细节最完整的工业框架：三种中间表示（symbolic token / audio token / vocoder latent）× 三条流水线：

• Lyrics2Leadsheet2Song：AR-LM 先把歌词生成为「lead sheet token」（对齐音素的旋律/和声/节奏符号序列，可读可编辑），再由第二个 LM 渲染成音频；配置成只输出 vocal stem 即为 SVS（Leadsheet2Vocals）；
• Token2Vocal/Song：zero-shot 歌声转换与克隆（10 秒样本）；
• Vocoder-latent Diffusion Transformer：非因果扩散天然适配后期制作——lead sheet 条件 inpainting 实现已生成音频中的歌词/旋律就地编辑。
• 训练分三段：预训练 → 微调（data FT 提升 musicality / instruction FT 提升可控性）→ RL 后训练（明确声明使用 RL 对齐人类偏好）。

YuE（HKUST × M-A-P，arXiv 2503.08638，Apache 2.0）：基于 LLaMA2 的开源整曲基座，万亿 token 预训练，可生成最长 5 分钟带人声歌曲。三项关键设计：track-decoupled next-token prediction（人声/伴奏双轨并行 token 流，防止密集器乐淹没人声）、structural progressive conditioning（按 [verse]/[chorus] 分段渐进条件保证长程一致性）、多任务多阶段预训练配方；支持 ICL 风格迁移（city pop → 英文 rap 保伴奏）与双向生成；社区展示出未专门训练过的 scatting、death growl、多声部阿卡贝拉等涌现能力。2025-06 加入 LoRA 微调。

SongGen（ICML 2025）：单阶段 AR transformer 文本到歌曲，混合模式（mixed mode）与双轨模式（dual-track mode）两种 token 排布的系统对比实验给出模式选择洞见；支持 3 秒参考音色克隆；完全开源（16kHz/30s 版本）。

LeVo（腾讯 AI Lab，arXiv 2506.07520）：song generation LM + 音乐编解码器（Music Codec，RTF 0.0902，比 MuCodec 快约 7 倍）；双轨/混合 token 并行预测（优于 SongGen 的 interleaved 方案在长曲上的表现）；核心贡献是 multi-preference alignment——半自动构建多维偏好（整体质量/旋律吸引力/人声-伴奏和谐/结构清晰度/音质/歌词贴合）数据并进行后训练，还支持偏好向量插值以平衡不同音乐属性。主观评测全面领先开源系统，LYC（歌词贴合）超出 Suno V4.5 0.21 分。

Mureka O1 / V6（昆仑万维，2025-03-26）：全球首个引入思维链的音乐模型。MusiCoT 基于 CLAP 表示，在细粒度音频 token 预测之前先生成整体音乐结构的「思考链」，提升结构连贯性与配器精度；训练含 RL（策略优化器：梯度压缩、探索利用平衡）与 CoT 数据集；V6 基座引入自研 ICL 强化人声质感，支持 10 语种、歌曲参考 prompt 与音色克隆；开放 API + 模型微调服务。

ACE-Step（ACE Studio × StepFun，arXiv 2506.00045，Apache 2.0，3.5B）：「音乐的 Stable Diffusion」路线——Music-DCAE（改编自 Sana 的深度压缩自编码器，latent 约 10.77 Hz）+ Linear DiT + 条件流匹配（FM）损失 + REPA 式语义对齐辅助损失（DiT 第 8 层特征对齐 MERT/mHuBERT，显著改善咬字）。A100 上 4 分钟歌曲约 20 秒（比 LLM 基线快 15×）。原生支持 remix、repaint（时间轴 inpainting）、歌词编辑等 flow 操作级控制，并示范 LoRA / ControlNet 式下游扩展（如 lyric-to-vocal 合成、text-to-sample）。1.5 版（2026-02）演进为 2B DiT + 4B LM 混合架构。DiffRhythm（西工大 ASLP，2025）则用纯 latent diffusion 实现 8× 实时的全曲生成。

4.3 SVC 歌声转换生态（音色克隆主力）

4.4 模型对比总表

注：Suno/Udio 未发表技术报告，业界普遍推测为「语义 token LM + 声码/扩散解码 + 大规模许可/爬取歌曲数据」的组合；本报告不对其内部架构作确定性断言。

5 · 六大控制维度深潜

5.1 音高控制（Pitch Control）

音高是歌声区别于语音的第一变量，也是所有 SVS 系统的「第一公民」。控制手段按显式程度分三层：

（a）乐谱级：音符 → F0 的自动演绎

• F0 条件建模：两阶段系统把 F0 作为声学模型输入。FastSpeech 系用 continuous wavelet transform（CWT）把 F0 轨迹分解为多尺度成分分别预测（XiaoiceSing/FAST 一脉）；VISinger 在 VAE 内部联合建模 F0；DiffSinger 用独立的 pitch predictor + F0 条件 mel 扩散。
• 演绎建模：同一乐谱的演唱 F0 并非严格落在音符中心——portamento 滑入滑出、vibrato onset 延迟、blue note 偏移构成「唱法」。早期系统直接量化到音符，听感机械；后续工作学习 note→F0 的残差分布，或像 ACE Studio/SynthV 那样由 AI 先生成一条「AI Pitch」曲线供人工覆写。
• 评估指标：F0 RMSE、Semitone Accuracy、VUV error；对转换任务用 mir_eval 的 RPA/RCA/COR。

（b）曲线级：逐帧编辑（专业制作标配）

• SynthV 提供 AI Retakes / Pitch Deviation / Manual Mode 与参数面板（vibrato envelope、portamento、tone shift）；ACE Studio 提供 6 个音高工具（Brush/Anchor/Fixed/Erase/Vibrato/Modulation），其中 Vibrato 工具暴露幅度、相位、频率、起振/收尾包络四组手柄，「Modulation」工具整体压缩/放大 AI 生成的音高动态——这是「生成式先验 + 参数化覆写」混合控制的典范。
• 底层技术：编辑后的 F0 曲线作为条件重新渲染（扩散系需重跑去噪或局部 repaint）。ACE-Step 展示了在 latent flow 空间做旋律重绘的可能性。

（c）Token 级：LM 系统中的音高

• Seed-Music 把音高写进可读的 lead sheet token（AR 第一阶段输出），因此「改调」= 改符号序列再重渲染，天然支持精确编辑——这是 token 系里音高可控性最好的设计。
• MusiCoT（Mureka O1）在结构层推理中隐含旋律规划；YuE/Suno 类纯 prompt 系统无法保证指定旋律复现，只能靠参考音频 ICL 近似。

5.2 响度控制（Loudness / Dynamics）

工程要点：训练数据的响度分布高度依赖录音链路（麦克风/压缩器/mastering），需要在预处理阶段做 LUFS 统计与归一化策略设计（全局 vs 分歌手归一化），并在推理端提供用户侧 gain 匹配（如 K 歌场景的伴奏-人声自动平衡）。

5.3 情绪控制（Emotion / Style）

• 标签条件：M4Singer 提供多风格标注（美声/民族/流行/音乐剧等 10 种风格 × 20 歌手）；GTSinger 给每首歌打 global style 标签（singing method / emotion / range / pace 四维）。情绪 embedding 通过 lookup + FiLM/cross-attention 注入声学模型是最常见做法。
• 参考音频（style prompt）：TCSinger 用 audio+text 双模态风格编码器做零样本风格迁移，把「唱法/情绪/节奏/技巧/发音」五维解耦；Seed-Music/YuE/SongGen/Mureka 均支持音频参考驱动整体风格。
• 文本描述：LM 系统接受自由文本情绪描述（"melancholic, breathy female vocal"）；CLAP 对齐损失让 latent 空间具备文本可引导性（ACE-Step 的 REPA 损失部分承担此角色）。
• 技巧即情绪：气声≈亲密感、belt≈爆发力、气口频率≈脆弱感——第 5.6 节的技巧控制在实践中常被用作情绪控制的低层实现路径；两条控制轴正交性越好，组合空间越大。
• 评测：情绪相似度目前没有公认客观指标，普遍做法是 CMOS/ABX 主观测试 + 风格分类器准确率代理（GTSinger technique-recognition benchmark 可复用为 style classifier）。

5.4 时长控制（Duration / Timing）

• 音素级 duration predictor：SVS 标配。乐谱给出音符时值，但音素在音符内的切分（辅音占比、元音起始）需要模型决定——ACE Studio 甚至把这个比例做成可视化拖拽编辑（辅音/元音 shading 直接拉伸）。
• 节奏对齐：整曲生成要求人声落拍。LeVo 以 PER（phoneme error rate）+ 歌词贴合 MOS 度量；YuE 用 structural progressive conditioning 维持段落节拍稳定。
• 用户指定总时长：ACE-Step 支持用户指定输出时长；SynthV/ACE Studio 天然由 MIDI 决定。
• 编辑语义：改一个词的时值后其余部分如何流动？传统方案是 variance inpainting（重预测邻域 duration）；diffusion 方案是 masked inpainting（Seed-Music 后期编辑）；这是「歌声编辑」任务的核心难点。
• 实时约束：K 歌评分场景还需要演唱与参考旋律的 onset 偏移度量（全民 K 歌多维实时打分系统的核心组件之一）。

5.5 音色克隆（Timbre Cloning）

音色控制有两条互补路线：

5.6 技巧控制（Vocal Technique Control）——当前最前沿

技巧控制的目标：给定乐谱 + 「这段用 mix，那段换 falsetto，长音加 vibrato」的指令，模型按技巧演绎。方法谱系：

1. 受控对照数据 + 技巧标签：GTSinger 是标杆——六种技巧 × 同旋律对照 × 音素级标注，配套四个 benchmark（technique-controllable SVS、technique recognition、style transfer、STS）。其 technique-controllable SVS 基线证明：把音素级技巧 embedding 注入 DiffSinger 类声学模型即可实现可控合成，且 recognition 准确率可作为控制保真度的客观代理。
2. 连续参数化合成：不学离散标签，而是把技巧映射到连续声学参数轴——vibrato（幅度/频率/相位）、breathiness（aperiodicity/HNR）、belting（能量+频谱 tilt）、闭合度（HNR 连续值）。WORLD 声码器的参数化使这条路线可直接落地为产品推子（ACE Studio 的 Breath/Air/Falsetto/Tension/Energy/Formant；Verse25 引擎的 Power/Soft/Breathy/Chest + breath noise）。优点是可解释、可插值、可自动化；缺点是各轴不完全正交。
3. 技巧转换（technique transfer）：VocalSet 论文展望的任务——直声↔vibrato、清声↔气声互相转换。2026 年已出现专门工作（如基于 VocalSet 的 SVC vibrato 表达控制，把 pitch 类技巧与 timbre 类技巧分开独立控制以提升正交性）。
4. 涌现式技巧：YuE 团队报告 scatting、death growl、阿卡贝拉和声等未专门训练的技巧在大规模 LM 上涌现——提示「数据规模 + 多样性」本身是一种技巧获取途径，但不可控、不可验证，只能事后发现。
5. 技巧识别器作为奖励/过滤器：技巧分类器（VocalSet CNN 基线、GTSinger Tech-Recognition benchmark）可以反过来当数据清洗过滤器和 RL 奖励模型——见第 7 章。

5.7 四层控制体系逐层深度调研（L0–L3）

把 §5.1–5.6 的控制维度重组为四层栈：L0 声学参数层（逐帧连续曲线，监督来自信号处理、零人工成本）、L1 音符·技巧层（离散标签+局部参数，依赖受控对照种子集）、L2 表演风格层（乐句~歌曲级全局量，回归打分器+统计特征）、L3 制作美学层（stem/混音域）。粒度越细监督越便宜、用户价值越间接；本节逐层回答：物理/感知基础 → 提取标注算法 → 模型注入方式 → 保真度探针。

5.7.1 L0 声学参数层

（a）音高/F0。提取器谱系已在 §6.3（CREPE 精而慢 RTF≈0.48；RMVPE 复调鲁棒；FCPE 快 5.3× 且精度持平）。条件建模侧的关键进阶是把 F0 分解为「音准 intonation + 颤音参数化」两段：Bonada & Blaauw 的混合神经-参数 F0 模型（ICASSP 2020）用 Hilbert 变换提取 depth/rate/phase 三参数并在音符边界强制 depth→0；ExpressiveSing（ICASSP 2023）指出这会在非颤音段残留噪声，于是引入第四参数 vibrato likeliness（颤音存在概率，由自动标注网络打标），合成时 v(t) = l(t)·e(t)·cos(2πr(t)t/f_s + φ) 并按音符平均 likeliness≥0.5 门控——NUS-48E 上 F0 RMSE 20.9Hz vs 参数化基线 22.8Hz。这一「三参数 + 存在概率」的四元组就是 §5.6 技巧控制里颤音轴的工程化形态。探针：条件曲线 vs 生成 F0 的 COR≥90%；likeliness 门控处不应出现伪波动。

（b）响度包络。除 variance adaptor 能量分支与 Seed-Music 的 intensity curve 条件外，ExpressiveSing 还提出 autoencoder 式latent energy bottleneck（功率谱压缩到 T×256 瓶颈再解码重建），证明能量通道单独建模可显著提升表现力。工程侧统一用 K-weighting/LUFS 归一化消除录音链路差异（§5.2）。

（c）气声度/闭合度——临床级成熟度量可直接拿来当标注工具。HNR = 10·log₁₀(谐波功率/噪声功率)，Praat 口径下健康成人 15–20dB、<10dB 即显著气声；jitter<0.5%、shimmer≤3–5% 为正常范围。但 HNR 要求准周期信号且对录音噪声敏感；CPP/CPPS（倒谱峰突出度）在连续语音上更稳健、跨平台一致性更好，是当前临床首选——两者互补：HNR 更纯反映声门源质量（不受鼻化影响），CPP 同时携带声道信息。标注管线的正确姿势：双指标并行（HNR 定气声、CPPS 兜底质量），再经 WORLD 重分解取 aperiodicity/BAP 作为逐帧连续值，走「分解→改参数→重合成」闭环验证轴的单调性。产品对应：SynthV breathiness −1~1、ACE Breath/Air 推子即此轴的编辑语义。

（d）呼吸控制。TTS 侧已有完整方法论可迁移：帧级呼吸检测用「规则法种子标注 + Conformer 下/上采样 + 自训练伪标签」在 LibriTTS-R 上免人工完成（Interspeech 2024），把检测出的 breath mark 插入文本后训练，呼吸自然度 MOS 从 3.34→3.55，甚至能为训练数据中没有呼吸的歌手合成出呼吸声；语音中的停顿内成分统称 PINTS（silence/breath/click）。数据集有 BreathBase（5,070 个呼吸实例、多姿态多麦克风）。歌唱侧的增量需求：吸气风格分类（鼻/口/急促）、乐句级换气规划（呼吸位置受乐句结构与情绪驱动，比语音更规律）、以及「呼吸作为表现手段」的深度控制——这正是 ACE Studio 显式 Breath 参数的产品化方向。探针：呼吸事件位置 IoU≥0.7、强度档位单调。

（e）颤音分析与工具链。检测工具已开源化：VibratoScope（JOSS 2026，Python/MIT，extent=1200·log₂(f₀/f_mean) cents，附 sample entropy 不规则度量，GUI+批处理 CLI）；此前生态有 MATLAB 的 VAT（Hilbert 流水线）、Praat 的 EML Vibrato Tools、商业 VoceVista Pro。典型数值：rate 5–7Hz（宽口径 3–10Hz）、extent 约 ±0.3 半音量级。Amazon UTACO（AS2S 架构）展示大模型能自主「决定在哪加颤音」，但不可控不可验证——恰是参数化轴存在的理由。

5.7.2 L1 音符·技巧层

（a）受控对照方法论。技巧标签的可信度完全取决于采集设计。GTSinger 用「同一旋律 × 有/无某技巧」对照矩阵 + 音素级人工标注获得干净监督；VocalSet 用 scales/arpeggios/long tones/excerpts 四情境覆盖 17 类技巧但无旋律上下文对照；Phonation Modes 数据集专录 pressed/flow/breathy/neutral 四种声门模式的持续元音（有生理对照价值但脱离音乐语境）；KVT 走众包 tag 路线（70 个 vocal tag 仅 6 个技巧相关，粒度粗）。结论：分类器种子集必须受控录制，规模数据靠伪标——两级供给缺一不可。

（b）技巧识别现状。VocalSet 论文给出 CNN 在 10 类技巧上的分类与歌手识别基线，并观察到 trill↔vibrato 的预期混淆；GTSinger Tech-Recognition 成为当前标准基准。混淆对管理是伪标质量的关键：falsetto↔head voice（漏气与否）、mix↔belt（音量策略差异）、fry↔growl（真声带不规则 vs 室带失真）需要在标注规范里写成判例，低置信区间（softmax<0.9）不回填。

（c）技巧可控合成。GTSinger 配套四个 benchmark（technique-controllable SVS / technique recognition / style transfer / STS）；StyleSinger、TCSinger(2) 把技巧纳入零样本风格迁移的五维之一。2026 年的 vibrato 表达控制工作进一步提出把 pitch 类技巧（vibrato/straight）与 timbre 类技巧（fry/breathy/belt）分开独立控制以提升正交性——这与 SynthV 把 vibrato envelope 单独设轴、ACE 把 Power 与 Breathiness 分开的行业直觉一致。探针：tagger 标签一致率 ≥80%（§5.6 已述）。

（d）与音色的解耦纠缠。技巧和音色天然相关（同一歌手的 mix 唱法本身就是其音色签名的一部分）：ContentVec 用互信息目标抑制说话人信息、speaker augmentation 打乱音高-音色相关性、RVC 干脆承认泄漏并用检索混合「拉回」目标域分布。对可控系统的影响：技巧条件注入时要防止模型把「标签」当成「歌手指纹」的代理——消融实验须包含「同标签×跨音库」的组合测试。

（e）咬字行腔与戏腔的数据缺口。现存最接近的资源：一个聚焦中国戏曲的歌唱数据集（28 位歌手、70 余段录音，VocalSet 论文综述提及）与 M4Singer 内含的戏曲风格子集；全民K歌「AI 戏腔」证明产品需求真实。但受控对照意义上的戏腔语料为零——E3 自采清单里的最高优先级项。

5.7.3 L2 表演风格层

（a）情绪：从离散标签到 Russell 环状二维（valence–arousal）。MER 社区已完成基础设施铺设：DEAM（1,802 段，2Hz 连续 V-A，CC 许可）与 PMEmo(794 首 Billboard/iTunes 热门、457 名标注者、静态+2Hz 动态 V-A、同步 EDA 生理信号、副歌选段与 LRC 歌词) 是两大主干，辅以 EmoMusic、MTG-Jamendo emotion 子集等。精度现状：MERT 特征+和弦/调性特征的统一多任务框架在 PMEmo 上 valence R²=0.54、arousal R²=0.78；动态预测 CCC 仅 0.1–0.39。关键警示：Jukebox 表示的跨数据集实验显示 OOD 泛化接近失效（其他数据集训练→PMEmo 测试 avg R²≈0.04，域内 arousal 可达 0.72）——V-A 回归器只能做域内 reward/过滤器，不能当通用裁判；歌词侧可用句子级 V-A（LyEmoBERT 类）补充语义通道。歌唱相对纯音乐的优势：人声是最直接的情绪通道，V-A 与 §5.6 技巧轴（气声↔亲密、belt↔爆发）存在系统相关，两层联合建模优于独立建模。

（b）节奏 Feel。三个可量化分量：① swing ratio——长短视频音符时长比，Friberg & Sundström 经典研究确认其随速度变化（慢速比更大；一项 150bpm 实测约 2.66:1）；② microtiming deviations (MTD)——音符相对网格的小偏差。学界曾长期争论 MTD 是否构成 swing 的本质（Keil 的 participatory discrepancies 理论）；Datseris 等（Sci Reports 2019，160 人听测、量化/放大/反转三种操纵）发现 MTD 本身并非必需，swing ratio 的稳定性反而更重要；其后 Communications Physics 2022 进一步提出 downbeat delay（正拍延迟）才是 swing 的关键成分。对控制系统的启示：不要让模型学「随机抖动」，要学「稳定的拍位偏移分布」——pocket 度量 = onset 相对网格偏移的 μ/σ 统计，控制目标是平移 μ 而非增大 σ；③ rubato=乐句级 tempo 曲线，与 microtiming 分离提取（先 beat tracking 出网格，再做分句 tempo 平滑拟合）。另有 syncopation 与身体摆动的倒 U 关系（Witek 2014）提示 groove 密度也存在最优区间而非越大越好。

（c）音准性格。blue note/microtonal 偏移可统计为「F0 相对十二平均律的系统性偏差分布」（蓝调三音常压低数十音分；流行歌手三度倾向纯律方向——此类结论应按曲风分桶统计而非绝对值）；drift（<0.5Hz 慢漂移）与 wow/vibrato（4–8Hz）用带通分离；修音污染检测（E0 实验）本质上是该分布的熵异常检测。

（d）Ad-lib 与结构。ad-lib 密度需要歌曲结构分割（verse/chorus/bridge 检测）提供位置先验（intro/outro/hook 后是高发区）；转音复杂度复用 L1 melisma 指标。注入方式：全局 token + 插值（类比 LeVo 的偏好向量插值），或参考音频 style prompt（TCSinger 双模态编码器路线）。

5.7.4 L3 制作美学层

（a）自动混音研究谱系。十五年演进三条波次：规则/专家系统（De Man 的知识工程混音、最佳实践规则库）→ 经典 ML（特征回归混音参数）→ 深度学习时代：Wave-U-Net 鼓组混音（JAES 2021）、可微混音台（differentiable mixing console，效果器进计算图端到端反传）、FxNorm-AMIX（ISMIR 2022，与我们场景最同构）——针对「干声多轨稀缺」用 MSS 湿 stem 做效果归一化预处理，训出响度/EQ/声像/DRC/混响五个自动混音头，盲听中与专业混音在 Production Value 和 Excitement 上不可区分、Clarity 反而更高；后续 Diff-MSTC（CHI 2025）加入可控性与上下文感知、AiLive Mixer（2026）做到现场零延迟、还有 diffusion 修混音失衡的工作。对我们的意义：Sonata 数据全是「湿」成品歌，FxNorm 式归一化正是解锁 L3 监督的钥匙。

（b）效果链风格迁移。DeepAFx-ST（Steinmetz/Bryan/Reiss）把音频效果作为可微算子嵌入网络、自监督训练（无需配对数据），输入录音+参考录音即可预测 EQ/压限/混响的控制参数——输出是可解释的效果器参数而非黑盒波形，天然适合做 L3 的「制作风格轴」：给定参考歌曲，把其空间感/压缩特性迁移到生成人声上，且参数可回读进探针。Tone Transfer/DDSP 一脉提供了实时版思路。

（c）和声/Double。多声部人声数据稀缺（MedleyDB/MUSDB 只有少量多轨人声），可行路线按成本排序：pitch-shift 式 double（廉价但机械）、基于和声音程的受控生成（需 L1 音高控制成熟）、LM 涌现式（YuE 展示过阿卡贝拉和声，不可控）。这是四层中公开方法最薄弱的一环，建议列为研究空位。

（d）人声-伴奏平衡。流媒体响度目标约 −14 LUFS；sidechain ducking 与人声电平自动化可从专业混音统计学习；LeVo 的 HAM（人声-伴奏和谐）MOS 维度是该层的直接评测。探针：RT60 读数 ±20%、LUFS 差 ≤1LU、double 数量检测准确率。

5.7.5 层间协同与对实验设计的修订

• 解耦训练策略：每条轴独立 condition dropout（随机置空单轴防纠缠），课程顺序 L0→L1→L2→L3（先让模型学会忠实复刻曲线，再学标签演绎，最后学全局风格与成品感）；每轮消融只开一条轴。
• E4 修订：气声度轴采用 HNR+CPPS 双指标验收（仅 HNR 在连续演唱段不稳）；颤音轴升级为四参数（含 likeliness），门控行为写入探针。
• E5 修订：V-A 回归器限定域内使用（训练分布 = Sonata 试点集本身），OOD 警示写入风险表；swing 控制目标改为「拍位分布平移 + 方差稳定」，不奖励随机微 timing。
• E6 补充：L3 的效果参数（RT60/压缩量/响度差）全部可程序化计算，直接并入可验证奖励族——DeepAFx-ST 的参数化输出让「制作风格」也变成可验证目标。
• 新研究空位：① GRPO for singing（原判断不变）；② 受控戏腔语料；③ 多声部人声生成的监督数据；④ 歌唱呼吸风格分类数据集。

6 · 数据工程全链路

歌声数据是整个领域最硬的瓶颈：SVS 需要「音频 + 乐谱 + 音素对齐」三重强标注，天然稀缺；技巧/情绪标注进一步抬高成本。本章按采集 → 挖掘分离 → 标注对齐 → 清洗筛选 → 构造组合五段展开，最后给出公开数据集大全。

6.1 采集（Collection）

• 录音棚协议：GTSinger 展示了当前最高标准的录制设计——20 位职业歌手 × 9 语种 × 四声部全覆盖；每首歌按「同一旋律 × 技巧对照」矩阵排布；同时录 16.16 小时配对语音（供 STS 任务）；48kHz 高采样。关键经验：乐谱要「realistic」——音符时值规律化（非精细记谱）反而更贴近真实创作场景，这是 GTSinger 与 Opencpop 精细谱的路线分歧点。
• 内容覆盖设计：音素覆盖表、音域覆盖（四声部）、技巧覆盖矩阵、情绪脚本库、melisma 密度控制（ACE-KiSing 专门选了 27% melisma 乐句的歌单）。中文还需考虑儿化音/轻声在唱词中的弱化规律。
• 授权与法务前置：歌手授权书须明确「训练用途、合成物所有权、声音形象权」（呼应 ELVIS Act / 中国《民法典》声音权益与《标识办法》要求）；商业 voicebank 还需约定转授权范围。GTSinger 采用 CC BY-NC-SA 4.0，ACE 系数据 CC-BY-NC——学术与商用边界必须在采集前锁定。
• 远程/众包采集：低成本路线是指导歌手自录（手机+监听耳机），代价是通道一致性差，需要更重的增强与质量过滤；适合音色微调类小数据（几分钟~几小时），不适合基座训练。

6.2 挖掘与分离（Mining & Source Separation）

In-the-wild 歌曲是规模化的唯一途径（YuE 万亿 token 预训练即依赖此类数据）。核心工具链：

6.3 标注与对齐（Annotation & Alignment）

• 歌词转录：通用 ASR 在歌唱上错误率高（拖腔、装饰音破坏语音节奏）；实践常用「人工歌词文本 + 对齐」替代逐句听写；近年歌声 ASR 专门模型逐步改善但仍是开放问题。
• 强制对齐：AutoLyrixAlign（NUS，MIREX 2019 冠军）提供复调音乐中歌词词级对齐；SVS 训练更常用 Montreal Forced Aligner 变体 + 音素级人工校验（Opencpop/GTSinger 均为人工精校）；MFA 的声学模型需用歌唱数据重训，否则元音拖长处对齐漂移严重。
• F0 提取：

  算法	原理	适用
  pYIN/Harvest	经典启发式	干净独唱；Harvest 在 WORLD 工作流内常用
  CREPE	CNN 直接回归（ICASSP 2018）	精度高但极慢（RTF 0.48）
  RMVPE	深 U-Net+GRU 端到端，专为复调伴奏下的人声 F0 设计（2023）	RVC/DiffSinger 社区标配
  FCPE（2025）	深度可分离卷积上下文模型；精度持平 RMVPE 而 RTF 0.0062（快 5.3×，比 CREPE 快 77×）	实时变声与大规模批处理的当前最优解

• 音符切分与乐谱重建：从 F0 + onset 检测重建 MIDI（vocal melody transcription；Mel-RoFormer 微调版在该任务亦达 SOTA），用于给挖掘数据补乐谱监督。
• 技巧/情绪标注：受控对照录制（GTSinger 路线）> 专家逐音素标注 > 众包 tag（KVT 路线）> 分类器自动伪标（成本递减、噪声递增）。自动标注器本身可用 VocalSet/GTSinger 训练，形成「小种子集 → 自动标注 → 扩数据」的自举闭环。

6.4 清洗筛选（Filtering）

• 信号级：削波检测、SNR 估计、直流偏移、采样率统一（24k/44.1k/48k 分层）、静音切分（能量 VAD 或 singing-voice detection）。
• 内容级：ASR 回译一致性检查（唱词与文本不符则丢弃）、语言识别、重复片段去重（跨歌曲副歌重复会导致验证集泄漏）、翻唱版本归并。
• 质量打分：神经 MOS（UTMOS 迁移、SingMOS/SingMOS-Pro 歌唱专用）、CLAP 相似度（audio vs 歌词/风格描述）、F0 合理性（超出人声范围的 octave error 剔除）、分离残留度（instrumental stem 回灌相关度）。
• 合规级：版权指纹比对（呼应 UMG-Udio 和解中的 Content ID 义务）、艺人 opt-out 名单、水印溯源标记。

6.5 构造与组合（Construction & Mixing）

除直接采集外，三条已被验证的构造路线：

1. 「合成 + 专家调参」自举（ACE-Opencpop 范式，Interspeech 2024）：以 ACE Studio 合成 Opencpop 同款乐谱的 30 个虚拟歌手版本，由专业调教师修正 AI Pitch、vibrato 深度、呼吸与音节时长，再经音域合理性过滤，得到 128.9 小时 / 30 歌手的多歌手数据集（原版仅 5.2h 单人）；实验证明其预训练显著优于 M4Singer 预训练迁移。这条路线把「数据生产成本」从录音棚转移到调参人力，且乐谱免费继承——human-in-the-loop 数据工作流的教科书案例。
2. 伪标签自训练：用现有 SVS 给挖掘数据生成乐谱伪标（score-free distillation），或用 MSS 分离 stem 构造多轨训练样本（Seed-Music 明确使用 MSS 获得 stem-level 训练样例）。
3. 增强合成：pitch-shift / formant-shift（扩音域与音色多样性，注意会破坏绝对音高先验需谨慎）、EQ/压缩模拟不同录音链路、房间脉冲响应加混响、codec 徊环（MP3/AAC 二次编码抗压缩失真）、速度微扰。SVC 社区还流行「说话数据预训练 + 歌唱微调」（cross-domain SVC，SVCC 证实有效但上限低于 in-domain）。

组合策略：多源数据的配比决定能力边界——经验上「录音棚强标数据定上限、挖掘数据保多样性、合成数据补规模」三层金字塔；训练时按数据置信度加权采样，并对合成/挖掘数据施加 dropout 式随机降权防止分布偏移。LeVo 消融显示指令对齐噪声（歌词抽取/结构识别错误）是开源系统与闭源的剩余差距主因之一，印证「数据管线噪声 > 模型架构」的判断。

6.6 公开数据集大全

趋势解读：① 规模竞赛已从「小时数」转向「受控维度」（技巧/情绪/配对语音）；② 中文资源最丰富（产业驱动），日语 UTAU 生态贡献了大量单歌手精品；③ 许可普遍 NC，「可商用的合规歌唱数据」仍是巨大空白，也是厂商的核心壁垒。

7 · 训练方法：预训练 → SFT → 偏好优化 / RL

7.1 预训练目标

7.2 微调 / SFT

• 歌手微调：目标歌手少量干声（0.5–5h）继续训练多歌手基座。SVC 社区标准流程（预处理 → ContentVec/HuBERT 特征 → 训练数小时 → 聚类/索引）；SVCC 证实 pretrain-adapt 两段式显著优于从零训练。
• LoRA / Adapter：YuE 官方 LoRA 微调、ACE-Step 示范的 LoRA 定制风格/音色——把「音色资产」做成几十 MB 可分发文件成为可能。
• 指令微调：Seed-Music 区分 data FT（提升 musicality）与 instruction FT（提升可控性/可解释性/交互性）；LeVo 用半自动管线把「歌词+描述+参考」→ 高质量歌曲构造成指令数据。
• 课程设计：常见做法是短乐句 → 整句 → 整曲；技巧维度上先直声后 vibrato 再 melisma（ACE-KiSing 显示 melisma 是主观质量瓶颈，宜单独强化）。

7.3 偏好优化与 RL（当前最活跃的方向之一）

已验证的公开工作：

• SpeechAlign（NeurIPS 2024）：codec-LM 的迭代偏好优化框架——用 SFT 模型自采样生成候选，按 MOS/客观分构造 golden vs synthetic 的偏好 codec 数据集，依次验证 RLHF-PPO、DPO（可迭代 3 轮持续提升 WER↓ 相似度↑）、BoN、CoH；结论：RLHF 泛化最好，DPO 迭代性价比最高且第 3 轮仍有增益。该框架可直接平移到歌声 codec-LM。
• Seed-Music：官方技术报告明确三段训练的最后一段为 RL 后训练对齐人类偏好（细节未公开）。
• Mureka O1：RL 环境 + 验证纠错式奖励函数（音乐质量、风格一致性）+ 策略优化器（梯度压缩、探索/利用平衡）训练 MusiCoT 推理。
• LeVo multi-preference alignment：六维偏好（整体/旋律吸引力/人器和谐/结构清晰度/音质/歌词贴合）半自动构造偏好对做后训练，并支持偏好向量插值在推理期调节属性平衡——把 RM 从单一标量升级为可操控空间。

7.4 表示学习与解耦辅助任务

• SSL 内容特征：HuBERT/WavLM/ContentVec 是 SVC 的事实内容编码器；ContentVec 通过互信息目标抑制说话人信息；MR-HuBERT、多语 HuBERT 扩展跨语言能力（CtrSVDD 的伪造系统即系统对比了这些编码器）。
• 说话人解耦：speaker augmentation（pitch-shift 打乱音高-音色相关性）、AdaIN/FiLM 注入、互信息最小化、梯度反转；零样本 SVS 的相似度上限基本由解耦质量决定。
• 音乐语义对齐：CLAP/MERT 对齐既服务文本控制又服务检索式数据挖掘（Mureka MusiCoT 直接建在 CLAP 表示上）。

8 · 模型架构方案选型

8.1 声码器演进线

WaveNet(2016) → Parallel WaveGAN → HiFi-GAN(2020) → NSF-HiFiGAN（加入谐波源滤波分支，F0 作为显式条件注入，歌唱场景标配）→ BigVGAN / kNN-vocoder（泛化）→ iSTFTNet / Vocos（去掉上采样、频域逆变换头，RTF 数量级下降，实时变声首选）→ DDSP 类解析合成（最轻量，CPU 实时）。选择逻辑：离线品质看 NSF-HiFiGAN/BigVGAN，在线延迟看 Vocos/DDSP。SingGAN（ACM MM 2022）证明歌唱专用 GAN 声码器可在 2080Ti 上达 50× 实时。

8.2 条件与结构组件清单

8.3 三套推荐配方

A. 专业制作引擎（对标 SynthV/ACE）
   乐谱前端 → 音素/时长/F0 variance 分支 → 条件扩散或 FM mel 解码 → NSF-HiFiGAN
   + 全参数曲线编辑层（AI Pitch 初稿 + 用户覆写）
   关键指标：MOS≥4.3、逐音符可控、本地渲染 RTF<0.3

B. 开源整曲生成（对标 YuE/LeVo/ACE-Step）
   海量挖掘歌曲 → MSS 分离伪 stem → codec/LM 预训练（track-decoupled 或 DCAE+DiT-FM）
   → 指令微调 → 多维偏好后训练（DPO/GRPO + 可验证奖励）
   关键指标：PER/CER↓、人器和谐 MOS、30–60s 内出 3 分钟曲

C. 实时变声/K歌（对标 RVC realtime/seed-vc-stream）
   流式 F0（FCPE）+ 因果内容特征（ContentVec-lite）→ 小型 flow/reflow 或 iSTFT 解码
   目标延迟 ≤120ms @ 单卡消费级 GPU；DDSP 兜底 CPU 场景

9 · 评测体系与基准

9.1 客观指标

9.2 主观评测

• MOS（自然度 1–5）、CMOS（对比）、SMOS（音色相似）、XAB/动态偏好测试（风格相似度）；LeVo 定义了六维 MOS（OVL/MEL/HAM/STR/AQ/LYC）成为整曲生成的事实模板。
• Sun 声纹评测的坑：歌唱样本方差大，需固定伴奏底、随机化顺序、足够听评人数（>25）并报告 95% CI。

9.3 挑战赛与基准

10 · 性能与训练 / 推理优化

10.1 已公开的速度基准

10.2 训练侧优化

• 混合精度 bf16 + DeepSpeed ZeRO-2/3（ACE-Step 公开配置）；梯度累积补偿长序列 batch 限制。
• 分段训练：声学模型与 vocoder 分开预训练再联调；LM 系先训 codec 再冻结构训 LM，最后联合微调。
• 课程与采样：按时长分桶减少 padding；多源数据加权采样（见 6.5）；EMA 权重稳定 GAN 训练。
• 数据生产基建：分离/F0/对齐三步都是可并行 CPU/GPU 批任务，适合 K8s 队列化流水线（分离模型显存需求高时降 segment size）。这与算力平台作业编排（ACK/ACR 类基础设施）直接相关——数据管线吞吐往往才是训练迭代的真实瓶颈。

10.3 推理侧优化

• 少步采样：DPM-Solver++/UniPC 把扩散压到 5–20 步；FM 的 ODE 天然少步友好；rectified flow/reflow（DDSP-SVC 6.x）一步化增强分支。
• 蒸馏：一致性蒸馏、对抗蒸馏（Vocos 式频域头替代上采样栈）；声码器蒸馏是 RTF 收益最大的单点优化。
• 导出与量化：ONNX 导出是 OpenUtau/DiffSinger voicebank 分发标准；bf16→int8 在 DiT/LM 上通常损失可控；CoreML/NPU 移动端部署以 Vocos+小型 SVC 为可行组合。
• 流式架构：因果化 encoder、限制 lookahead、chunked crossfade；延迟预算 = lookahead(16–480 样本) + chunk(512–1024) + 计算，实测 80–300ms 区间；StreamVC 目标端侧 <70ms。
• 服务工程：批量请求合并、KV cache 复用（LM 系）、结果缓存（相同 prompt 命中）、水印注入放在导出钩子（合规第 11.5 节）。

11 · 产品与公司版图

11.1 专业歌声制作工具（SVS 引擎）

11.2 消费级整曲生成（Text-to-Song）

11.3 音色克隆 / AI 翻唱 / 实时变声

• Jammable（原 Voicify.AI）：最大的 AI 翻唱 UGC 平台（社区模型市场），版权灰色地带的代表。
• Kits.AI：面向音乐人的合规克隆/官方音色分成平台；官方 API 曾被 ACE 博文列为 RVC 类代表。
• Musicfy / Covers.ai / weights.com等：轻量翻唱与 voice model 分享。
• voice-swap.ai（DJ Fresh）：艺术家官方授权的 stem swap 平台——「授权翻唱」合规样板。
• 实时变声：Voicemod、Supertone SHIFT（HYBE 系）、w-okada voice-changer（开源，承载四大 SVC 模型）、MMVC。K 歌修音场景（全民 K 歌 AI 歌声/戏腔）是中国特有的大规模落地。
• 反制侧：CtrSVDD 检测基准、各家 Content ID 与水印溯源（ElevenLabs/Suno 均内置生成检测与过滤）。

11.4 中国市场版图

11.5 版权与合规格局（产品设计硬约束）

11.6 专题对比：「精细可控研究系统」vs DiffSinger / Synthesizer V 等 DAW 类工具

本报告 §5 与实验设计提出的「16 维精细可控歌声系统」（大规模挖掘数据 + 受控技巧标注 + 连续参数轴 + 可验证奖励后训练）经常被拿来和 DiffSinger、Synthesizer V 这类工具比较。二者其实不在同一个产品层：DAW 类工具卖的是「编辑器 + 音库」，人用 GUI 逐音符调教；精细可控系统做的是「控制平面本身」——一套人和 AI Agent 都能程序化驱动的机器可读控制空间。下表先把主流工具放到同一坐标系里。

三个本质区别

一个耐人寻味的印证：控制轴向的同构性

把 SynthV 脚本 API 暴露的 8 条标准 Automation 曲线和本方案 L0 层并排放：

Dreamtonics 用四年时间把编辑器参数收敛到这 8 条轴，ACE Studio 的六推子与之高度重叠——商业产品已经独立验证了「少数正交连续轴可以承载大部分演唱表达」这一假设。本方案的不同只在于：把这些轴从「编辑器的后处理语义」前移为「声学模型的训练条件」，并补上商业产品没有的三块——跨音库统一的技巧标签（L1）、乐句级表演风格（L2）、混音美学（L3），以及用 RL 让模型学会「轴拨到位、声音就到位」而不是靠人工调轴。

场景矩阵：什么任务用什么工具

12 · 趋势判断与机会点

13 · 参考文献与链接

论文与基准

• DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism (AAAI 2022) — arXiv:2105.02446 · code · openvpi 维护版
• GTSinger (NeurIPS 2024 Spotlight) — arXiv:2409.13832 · data/code
• Singing Voice Data Scaling-up: ACE-Opencpop & ACE-KiSing (Interspeech 2024) — arXiv:2401.17619
• M4Singer (NeurIPS 2022) — site · Opencpop — GitHub
• VocalSet (ISMIR 2018) — Zenodo · paper
• TCSinger (EMNLP 2024) — ACL Anthology · StyleSinger (AAAI 2024) · AlignSTS
• The Singing Voice Conversion Challenge 2023 — arXiv:2306.14422；SVCC 2025 Extensive Analysis — arXiv:2509.15629；SingMOS-Pro — arXiv:2510.01812
• SpeechAlign (NeurIPS 2024) — arXiv:2404.05600
• Seed-Music (ByteDance, 2024) — arXiv:2409.09214 · 官网
• YuE — arXiv:2503.08638 · GitHub；SongGen (ICML 2025) — GitHub
• LeVo — arXiv:2506.07520 · GitHub
• ACE-Step — arXiv:2506.00045 · GitHub
• BS-RoFormer / Mel-RoFormer — arXiv:2309.02612 / 2310.01809；RMVPE — arXiv:2306.15412；FCPE — arXiv:2509.15140
• AutoLyrixAlign — GitHub；CtrSVDD — paper
• SoulX-Singer-Eval — GitHub（2026-02）

开源项目与工具链

• RVC — Retrieval-based-Voice-Conversion-WebUI；so-vits-svc — svc-develop-team；DDSP-SVC — yxlllc/DDSP-SVC；seed-vc；w-okada voice-changer；OpenUtau — stakira/OpenUtau
• UVR5 / audio-separator（默认 Mel-RoFormer）；Music-Source-Separation-Training（ZFTurbo）

产品与行业

• Dreamtonics Synthesizer V Studio 2 Pro — 官网 · Vocal Modes 手册
• ACE Studio 2.0 发布公告 — acestudio.ai；Sound on Sound 评测（2024 / 2026-02）— 链接；Pitch 编辑文档 — docs；SVS vs RVC 官方对比 — 博客
• Suno/Udio 诉讼状态追踪（2026）— AI Vortex · AlaTirok；Suno vs Udio 实测评测（2026-06）— Rinzara；Warner×Suno 授权 — The Verge
• Eleven Music 发布 — ElevenLabs · MBW（2026-05）
• Mureka O1/V6 发布 — 昆仑万维（36氪转载） · MusiCoT 主页 MusiCoT.github.io
• 中国合规：《人工智能生成合成内容标识办法》— 网信办原文 · 普华永道合规解码；ELVIS Act — Tennessee 州议会；殷某案等中国 AIGC 判例梳理见公开案例集
• 中国市场：天琴实验室 — 介绍；TME Studio；网易天音 — 官网
• §5.7 四层体系补充：颤音四参数建模 ExpressiveSing — arXiv:2211.00996 · Bonada & Blaauw Hybrid Neural-Parametric F0（ICASSP 2020）；VibratoScope — JOSS 2026；呼吸自训练检测 — arXiv:2402.00288 · BreathBase；HNR/CPPS 临床口径 — PhonaLab 指南；情绪数据集 — PMEmo · DEAM · MER 数据集汇总；swing/microtiming — Datseris et al. Sci Rep 2019 · Friberg & Sundström 2002 · Downbeat delays（Comm. Phys. 2022）；自动混音与效果链迁移 — FxNorm-AMIX（ISMIR 2022） · DeepAFx-ST · AiLive Mixer（arXiv:2603.15995）
• §11.6 补充：SynthV 脚本 API 与 Automation 参数定义 — 官方 Scripting Manual · 2 Pro 手册 · svstudio-scripts；LLM×SynthV 桥 — mcp-svstudio（MCP server）；DiffSinger/OpenUtau 参数面与音库打包 — opensynth wiki · diffsinger.com 导航；真人表情曲线迁移工具 — Expressive

附录 · 中英术语对照表

报告完 · 生成于 2026-08-24 · 由 opencode deep research 流程产出：16 轮定向检索 + 论文/官方文档交叉核验。事实性陈述均给出处；闭源系统内部架构（Suno/Udio 等）为业界推测，已明确标注。如需补充某一维度（例如某公司深度拆解、某数据集逐字段审计），可在 research/singing-voice-study/ 下继续扩展专题。