Description
Sand.ai est une entreprise d'IA spécialisée dans la technologie et les produits de génération vidéo. Elle a développé de manière indépendante Magi-1, un modèle vidéo autoregressif, et GAGA-1 pour la génération audio-visuelle simultanée, et a lancé MAGI-2 Preview, décrit comme un modèle de génération vidéo Mixture-of-Experts à grande échelle et open-source.
Lire la suite
MAGI-2 Preview est un modèle de génération audio-vidéo unifié de 114 milliards de paramètres qui active seulement 6 milliards de paramètres par jeton. Construit sur MagiMoE et co-conçu à travers l'architecture, les systèmes et les données, il génère des dialogues, du chant et des changements émotionnels avec une coordination naturelle du synchronisme labial, des expressions faciales, des mouvements oculaires et du langage corporel. Étant donné que les visuels et l'audio sont générés conjointement par un seul modèle, les dialogues et les mouvements des lèvres, les actions et les effets sonores, ainsi que les changements environnementaux et les retours audio restent précisément alignés. Le modèle comprend également l'échelle des plans, la composition, la perspective et l'intention de mouvement de caméra, produisant des mouvements tels que le zoom, le suivi et l'orbite pour un rythme visuel semblable à celui d'un tournage.
Les développeurs peuvent accéder aux capacités de Sand.ai via sa plateforme API. Après s'être connectés avec un compte Magi, les utilisateurs peuvent acheter des crédits, créer des clés API et authentifier les appels via un en-tête d'autorisation. La facturation de la plateforme et de Magi est maintenue séparée, de sorte que l'utilisation de l'API ne consomme pas les crédits du compte Magi.
- CatégorieGénérateurs de vidéos IA
- Modèle tarifaireÀ l'usage
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de Sand.ai
MAGI-2 Preview, un modèle de génération audio-vidéo unifié de 114 milliards de paramètres
Génération audio et vidéo conjointe avec un alignement précis du synchronisme labial
Performance des personnages : dialogues, chants et changements émotionnels
Contrôle de la cinématographie sur l'échelle des plans, la composition et le mouvement de la caméra
Modèle vidéo autoregressif Magi-1 et modèle audio-visuel GAGA-1
Plateforme API pour développeurs avec gestion des crédits et des clés API
Comment utiliser Sand.ai ?
Créer un compte : Connectez-vous à la plateforme en utilisant votre compte Magi.
Acheter des crédits : Achetez un package de crédits pour l'utilisation de l'API.
Créer une clé API : Générez une clé sur la page de gestion des clés API et conservez-la en sécurité.
Appeler l'API : Authentifiez-vous avec la clé via l'en-tête d'autorisation pour générer du contenu audio-vidéo.
Cas d'utilisation de Sand.ai
- Vidéo de personnage parlant
- Génération de vidéos cinématographiques
- Création de contenu audio-visuel
- Intégration pour développeurs
