描述
AudioLM 代表了一种生成高质量、具有卓越长期一致性音频的新颖框架。其核心在于,AudioLM 将复杂的音频生成任务转化为语言建模问题。它通过将输入音频映射到一系列离散 token 来实现这一点,有效地将音频视为一种语言形式。
阅读更多
该模型利用混合 token 化方案来平衡重建质量与长期结构连贯性。它利用在音频上预训练的掩码语言模型(masked language model)的离散激活来捕捉长期依赖关系,同时采用神经音频编解码器(neural audio codec)的离散码来合成高保真音频。这种双重方法使 AudioLM 能够从大量的原始音频波形语料库中学习。
当在语音数据上进行训练时,AudioLM 可以生成在语法和语义上都合理的语音续写。至关重要的是,它能够保留初始提示的说话人身份、韵律、口音和录音条件,即使对于训练期间未遇到的说话人也是如此。这种能力不仅限于语音,它还能生成连贯的钢琴音乐续写,而无需依赖符号音乐表示。
AudioLM 的架构支持多种生成模式。语音续写涉及提供一个简短的音频提示,并接收一个自然连贯的扩展。声学生成(Acoustic generation)侧重于采样声学 token,以生成具有相同语义内容但说话人身份和录音条件不同的多样化音频样本。无条件生成(Unconditional generation)在没有任何提示的情况下生成全新的音频序列,展示了模型的生成广度。该框架还强调了语义 token 对于语言连贯性的重要性,表明仅使用声学 token 会导致内容一致性较差。
该模型的多功能性通过其在音乐生成方面的应用得到了进一步证明,特别是钢琴续写。通过在原始钢琴音频上进行训练,AudioLM 学会生成在音乐上连贯的序列,其表现优于仅在声学 token 上训练的模型。这表明它对音频结构和内容有深刻的理解,并且可以应用于不同领域。
- 类别AI 模型与大语言模型
- 部署云端
- 平台网页版
AudioLM亮点
高质量音频生成
长期音频一致性
将音频视为语言建模任务
混合 token 化方案
语音续写生成
保留说话人身份
保持韵律和口音
音乐续写生成(例如,钢琴)
无条件音频生成
具有不同条件的声学生成
从原始音频波形中学习
生成在语法和语义上合理的续写
AudioLM入门
访问模型:获取 AudioLM 模型或其实现的访问权限。
身份验证:如果需要,请验证您的访问凭据。
设置环境:准备您的开发环境,安装必要的库和依赖项。
通过 API 集成:利用提供的 API 端点发送音频提示并接收生成的音频。
配置参数:调整模型参数以获得所需的音频特性和生成模式。
优化输出:调整生成设置以达到特定的质量和一致性目标。
AudioLM的使用案例
- 语音合成
- 音乐创作
- 音频内容创作
- 声音设计
- 声音克隆
- 音频 AI 原型设计





