Beschreibung
Stable Audio 3 Small SFX ist Teil einer Familie von latenten Diffusionsmodellen, die von Stability AI entwickelt wurden und auf die Audioerzeugung und -bearbeitung zugeschnitten sind. Dieses Modell eignet sich besonders gut zur Erstellung kurzer Soundeffekte und nutzt seine Fähigkeit, Audio effizient in variabler Länge zu generieren. Das Modell basiert auf einem neuartigen semantisch-akustischen Autoencoder, der Audio in einen kompakten latenten Raum projiziert. Dieser Ansatz gewährleistet eine effiziente, diffusionsbasierte Generierung, während die Audioqualität erhalten bleibt und eine semantische Struktur gefördert wird.
Weiterlesen
Das Modell wurde auf einem vielfältigen Datensatz mit 1.278.902 Audioaufnahmen trainiert, die aus lizenzierten und Creative Commons-Daten stammen. Dazu gehören 806.284 Aufnahmen, die von AudioSparx lizenziert sind, und 472.618 von Freesound, wobei sorgfältig gefiltert wurde, um sicherzustellen, dass keine urheberrechtlich geschützten Inhalte enthalten sind. Die Freesound-Daten sind unter den Lizenzen CC-0, CC-BY oder CC-Sampling+ lizenziert.
Stable Audio 3 Small SFX unterstützt Inpainting, was gezielte Audio-Bearbeitung und die Fortsetzung kurzer Aufnahmen ermöglicht. Diese Funktion ist besonders nützlich für Benutzer, die spezifische Teile einer Audiodatei bearbeiten möchten, ohne die gesamte Spur zu beeinflussen. Die Architektur des Modells basiert auf einem Transformer und nutzt ein vortrainiertes T5Gemma-Modell zur Textkonditionierung, das unter den Gemma-Nutzungsbedingungen redistribuiert wird.
Das Modell ist so konzipiert, dass es effizient auf handelsüblicher Hardware läuft, wobei die kleinen und mittleren Gewichte zur öffentlichen Nutzung freigegeben wurden. Es kann Audio in weniger als zwei Sekunden auf einer H200-GPU und in nur wenigen Sekunden auf einem MacBook Pro M4 generieren. Dies macht es sowohl für professionelle als auch für amateurhafte Audioerzeuger zugänglich, die schnell hochwertige Soundeffekte produzieren möchten.
- KategorieKI-Audio-Editoren
- PreismodellKostenlos
- BereitstellungCloud
- PlattformenWeb
Stable Audio 3 Small SFX im Überblick
Latentes Diffusionsmodell
Generierung von Audio variabler Länge
Unterstützung von Audio-Inpainting
Semantisch-akustischer Autoencoder
Adversariales Nachtraining
Effizient auf handelsüblicher Hardware
Trainiert auf lizenzierten und Creative Commons-Daten
Transformer-Architektur
Erste Schritte mit Stable Audio 3 Small SFX
Modell zugreifen: Besuchen Sie die Hugging Face-Seite
Authentifizieren: Lizenzbedingungen zustimmen
Umgebung einrichten: Hardware vorbereiten
Integration über API: Verwenden Sie die stable-audio-3-Bibliothek
Optimieren: Feinabstimmung für spezifische Bedürfnisse
Stable Audio 3 Small SFX's Anwendungsfälle
- Audioerzeugung
- Audio-Bearbeitung
- Musikproduktion
- Sounddesign
- Kreative Projekte
