跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

芝麻 CSM — 语音生成模型

精选

芝麻 CSM 是一个对话式语音模型,能够从文本和音频输入生成音频代码。它利用 Llama 主干,旨在用于研究和教育目的,促进 AI 技术的负责任使用。

查看模型
分享
查看模型
分享

芝麻 CSM 托管在 Hugging Face 上,是一个对话式语音模型,能够从文本和音频输入生成 RVQ 音频代码。该模型基于 Llama 主干,配备一个较小的音频解码器,生成 Mimi 音频代码。CSM 模型旨在通过开源和开放科学推动和普及人工智能,使其公开可用,同时要求用户同意特定条件以访问其文件和内容。

阅读更多

CSM 模型在提供上下文时特别有效,能够生成连贯的句子。它支持批量推理,使用户能够同时处理多个输入。此外,CSM 兼容使用 CUDA 图的全图编译,提升其性能和效率。用户还可以使用 Transformers 的 Trainer 对模型进行微调,使其适应各种应用。

虽然 CSM 模型能够生成多种声音,但需要注意的是,它是一个基础生成模型,并未针对任何特定声音进行微调。这意味着虽然它可以生成语音,但并不适用于通用的多模态语言任务,无法生成文本。用户被鼓励使用单独的语言模型进行文本生成任务。

由于训练数据中的数据污染,该模型对非英语语言有一定的能力,但在这些语言中的表现可能并不理想。CSM 的创建者强调伦理使用的重要性,明确禁止冒充、虚假信息以及任何非法或有害活动。通过使用该模型,用户同意遵守适用法律和伦理指南,确保技术的负责任使用和教育目的。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 模型类型:语音生成

  • API 可用:是

  • 支持微调:是

  • 批量推理:是

  • 支持 CUDA 图:是

  • 开源:是

  1. 访问模型:访问芝麻 CSM 的 Hugging Face 页面。

  2. 身份验证:同意条款以访问模型的内容。

  3. 设置环境:确保安装必要的库。

  4. 通过 API 集成:使用提供的 API 连接到模型。

  5. 优化:根据需要对模型进行微调以适应您的特定用例。

  • 音频生成
  • 语音合成
  • 教育工具
  • 语音演示
  • 微调模型

Sesame 旗下产品

芝麻 CSM 评价

加载中...

与 芝麻 CSM 类似的热门AI工具

芝麻 CSM

AI GitHub 仓库

芝麻 CSM 是一个对话式语音生成模型,旨在增强语音合成能力。它允许开发者在 GitHub 上参与其开发,促进 AI 驱动的语音技术的协作与创新。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

对话式语音生成模型,旨在增强语音合成能力。它允许开发者在 GitHub 上参与其开发,促进 AI 驱动的语音技术的协作与创新。芝麻 CSM 是一个对话式语音生成模型,旨在增强语音合成能力。它允许开发者在 GitHub 上参与其开发,促进 AI 驱动的语音技术的协作与创新。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

Bark AI Model

AI 模型

Bark是Suno开发的基于变换器的文本到音频模型,能够生成真实的多语言语音和其他音频形式。它支持通过预训练模型检查点进行推理的研究。

AI 模型与大语言模型
查看工具

AI 模型

Suno开发的基于变换器的文本到音频模型,能够生成真实的多语言语音和其他音频形式。它支持通过预训练模型检查点进行推理的研究。Bark是Suno开发的基于变换器的文本到音频模型,能够生成真实的多语言语音和其他音频形式。它支持通过预训练模型检查点进行推理的研究。

AI 模型与大语言模型
查看 AI 模型 Top 5

ESPnet

AI GitHub 仓库

ESPnet 是一个用于端到端语音处理的开源工具包。它提供了用于自动语音识别 (ASR)、文本到语音合成 (TTS) 和语音增强等任务的全面脚本和工具。用户可以使用其灵活的框架轻松运行推理、微调现有模型或实现自定义解决方案。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

用于端到端语音处理的开源工具包。它提供了用于自动语音识别 (ASR)、文本到语音合成 (TTS) 和语音增强等任务的全面脚本和工具。用户可以使用其灵活的框架轻松运行推理、微调现有模型或实现自定义解决方案。ESPnet 是一个用于端到端语音处理的开源工具包。它提供了用于自动语音识别 (ASR)、文本到语音合成 (TTS) 和语音增强等任务的全面脚本和工具。用户可以使用其灵活的框架轻松运行推理、微调现有模型或实现自定义解决方案。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

Inkling 是一个拥有 9750 亿参数的多模态 AI 模型,专为开发者设计。它接受文本、图像和音频输入,生成文本输出,适用于各种应用,包括聊天机器人和编码助手。以开放权重发布,支持研究和集成到第三方产品中。

AI 模型与大语言模型
查看工具

拥有 9750 亿参数的多模态 AI 模型,专为开发者设计。它接受文本、图像和音频输入,生成文本输出,适用于各种应用,包括聊天机器人和编码助手。以开放权重发布,支持研究和集成到第三方产品中。Inkling 是一个拥有 9750 亿参数的多模态 AI 模型,专为开发者设计。它接受文本、图像和音频输入,生成文本输出,适用于各种应用,包括聊天机器人和编码助手。以开放权重发布,支持研究和集成到第三方产品中。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

OpenLLaMA

AI GitHub 仓库

OpenLLaMA 是 Meta AI 的 LLaMA 7B 模型的一个允许自由许可的开源复现版本。它在 RedPajama 数据集上进行训练,提供 3B、7B 和 13B 参数版本,并提供 PyTorch 和 JAX 权重,可无缝集成到现有的 LLaMA 实现中。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

Meta AI 的 LLaMA 7B 模型的一个允许自由许可的开源复现版本。它在 RedPajama 数据集上进行训练,提供 3B、7B 和 13B 参数版本,并提供 PyTorch 和 JAX 权重,可无缝集成到现有的 LLaMA 实现中。OpenLLaMA 是 Meta AI 的 LLaMA 7B 模型的一个允许自由许可的开源复现版本。它在 RedPajama 数据集上进行训练,提供 3B、7B 和 13B 参数版本,并提供 PyTorch 和 JAX 权重,可无缝集成到现有的 LLaMA 实现中。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

Chatterbox Turbo 是 Resemble AI 开发的开源文本转语音模型,具有超快的性能,参数量为 3.5 亿,延迟为 75 毫秒。它支持从 5 秒的音频中进行声音克隆,并提供用于表现性输出的副语言标签。

AI 模型与大语言模型
查看工具

Resemble AI 开发的开源文本转语音模型,具有超快的性能,参数量为 3.5 亿,延迟为 75 毫秒。它支持从 5 秒的音频中进行声音克隆,并提供用于表现性输出的副语言标签。Chatterbox Turbo 是 Resemble AI 开发的开源文本转语音模型,具有超快的性能,参数量为 3.5 亿,延迟为 75 毫秒。它支持从 5 秒的音频中进行声音克隆,并提供用于表现性输出的副语言标签。

AI 模型与大语言模型
查看 AI 模型 Top 5

Quasar 438B 是一个与 OpenAI 兼容的 LLM 推理 API,提供工具调用、结构化输出、多模态和语音转文本功能。由 Multiverse Computing 开发,支持高级推理和多样化应用的结构化输出。

AI 模型与大语言模型
查看工具

与 OpenAI 兼容的 LLM 推理 API,提供工具调用、结构化输出、多模态和语音转文本功能。由 Multiverse Computing 开发,支持高级推理和多样化应用的结构化输出。Quasar 438B 是一个与 OpenAI 兼容的 LLM 推理 API,提供工具调用、结构化输出、多模态和语音转文本功能。由 Multiverse Computing 开发,支持高级推理和多样化应用的结构化输出。

AI 模型与大语言模型
查看 AI 模型 Top 5

LaMDA

AI 模型

LaMDA是谷歌突破性的对话式AI模型,旨在就广泛的主题进行自由流畅的对话。它基于Transformer架构,专门针对对话数据进行训练,以理解诸如合理性和特异性等细微差别,从而实现更自然的人机交互和新的应用类别。

AI 模型与大语言模型
查看工具

AI 模型

谷歌突破性的对话式AI模型,旨在就广泛的主题进行自由流畅的对话。它基于Transformer架构,专门针对对话数据进行训练,以理解诸如合理性和特异性等细微差别,从而实现更自然的人机交互和新的应用类别。LaMDA是谷歌突破性的对话式AI模型,旨在就广泛的主题进行自由流畅的对话。它基于Transformer架构,专门针对对话数据进行训练,以理解诸如合理性和特异性等细微差别,从而实现更自然的人机交互和新的应用类别。

AI 模型与大语言模型
查看 AI 模型 Top 5
1/8