Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

Linum P-JiT

Linum P-JiT est un modèle expérimental de génération d'images à partir de texte avec 2 milliards de paramètres, développé par Linum, un laboratoire de recherche de deux personnes axé sur les modèles vidéo génératifs. Ce modèle de preuve de concept démontre une nouvelle architecture Pyramid-JiT, atteignant une génération d'images de haute qualité à un coût d'entraînement considérablement réduit d'environ 21 000 $. Il représente une avancée vers des outils créatifs plus efficaces et accessibles pour l'animation.

Visiter l'URL
Partager
Capture d’écran de Linum P-JiT
Capture d’écran de Linum P-JiT

Linum P-JiT est un modèle expérimental de génération d'images à partir de texte développé par Linum, un laboratoire de recherche de deux personnes dédié à la formation de modèles vidéo génératifs à partir de zéro. Ce modèle particulier, un Pyramid-JiT (P-JiT) de 2 milliards de paramètres, sert de preuve de concept pour leurs recherches en cours visant à démocratiser l'accès à l'animation grâce à des outils génératifs rentables et contrôlables. Le coût d'entraînement de ce modèle était d'environ 21 038 $, démontrant le potentiel de résultats de haute qualité à un coût computationnel relativement bas.

Lire la suite

L'innovation centrale derrière P-JiT est sa capacité à réaliser une compression plus agressive et un apprentissage plus rapide en éliminant l'Autoencodeur Variationnel (VAE) traditionnel de l'architecture du modèle de diffusion. Au lieu de cela, le modèle de diffusion apprend un espace latent spécialement conçu pour son cas d'utilisation, permettant une plus grande compression et une génération améliorée. Ce modèle dans l'espace pixel converge avec 11 fois moins d'échantillons que Linum v2 et offre une réduction de tokens quatre fois plus agressive, représentant une image de 512x512 avec le même nombre de tokens précédemment utilisés pour une image de 256x256. Cela se traduit par une réduction quadruple de la fenêtre de contexte d'attention, réduisant considérablement les coûts d'entraînement et d'inférence.

L'architecture P-JiT intègre un pipeline de traitement de texte et d'image, où chaque modalité passe par des blocs DiT « raffineurs » à modalité unique avant de fusionner en un flux de 22 blocs DiT identiques. La représentation textuelle est dérivée d'un modèle Qwen3.5-4B gelé, tandis que les images sont divisées en patchs de 32x32 et compressées dans un espace de 1024 dimensions. Le modèle dispose également de lectures PixelREPA alignées sur DINOv3-L et de têtes de lecture linéaires supplémentaires le long du tronc pour accélérer la convergence en prédisant des versions basse résolution de l'image finale.

L'entraînement a été réalisé en plusieurs étapes, commençant par une résolution de 512x512 pour 610 millions d'échantillons, puis passant à une résolution de 1024x1024 pour 50 millions d'échantillons. Un curriculum sur le programme de bruit a été employé, se concentrant initialement sur un bruit élevé pour apprendre la structure de base, puis élargissant la distribution pour des détails fins. Après l'entraînement, une variante de l'Optimisation par Différences Finies (FDFO) avec JEV-Image et des juges humains a été utilisée. Bien que le modèle montre des résultats prometteurs, il présente des limitations, notamment en matière de génération de corps entier, d'entités multiples, d'interactions entre plusieurs personnes et de connaissances générales, qui sont courantes pour des modèles de sa taille. Il n'a pas été entraîné avec des images de texte rendu, ne pouvant donc pas générer de texte ou d'affiches.

  • CatégorieModèles d'IA et LLM
  • Modèle tarifaireOpen source
  • DéploiementCloud
  • PlateformesWeb

  • Architecture Pyramid-JiT (P-JiT) : Modèle pixel-space novateur pour une génération efficace

  • DiT à 2 milliards de paramètres : Taille du modèle de transformateur de diffusion central

  • Encodeur de texte à 4 milliards : Utilise un modèle Qwen3.5-4B gelé pour la représentation textuelle

  • Conception sans VAE : Élimine le VAE pour une compression plus agressive et un apprentissage plus rapide

  • Réduction de tokens 4x : Représente des images de 512x512 avec 4x moins de tokens que Linum v2

  • Convergence 11x plus rapide : Obtient des résultats avec significativement moins d'échantillons d'entraînement

  • Entraînement en plusieurs étapes : Progresse de la résolution 512x512 à 1024x1024

  • Programme de bruit de curriculum : Adapte la distribution du bruit pour l'apprentissage de la structure et des détails

  • Lectures PixelREPA : Aligne l'espace latent sur DINOv3-L pour un apprentissage des détails amélioré

  • Têtes de lecture linéaires : Prédit des images nettes à un quart et à une demi-résolution pour une convergence accélérée

  • Optimisation par Différences Finies (FDFO) : Utilisée pour le raffinement post-entraînement

  • Licence Apache 2.0 : Les poids sont publiés sous une licence open-source

  • Entraînement rentable : A obtenu des résultats de haute qualité pour environ 21 000 $

  • Focus sur la recherche vidéo générative : Une étape vers les futurs modèles vidéo

  1. Comprendre l'architecture : Examinez les détails de l'architecture P-JiT, y compris les flux de traitement de texte et d'image.

  2. Examiner le régime d'entraînement : Apprenez-en davantage sur le processus d'entraînement en plusieurs étapes, les programmes de bruit et les transitions de résolution.

  3. Explorer les limitations du modèle : Comprenez les limitations actuelles concernant la génération de corps entier, les entités multiples et la génération de texte.

  4. Accéder aux paramètres d'entraînement : Consultez l'Annexe A pour les paramètres et configurations d'entraînement détaillés.

  5. Revoir la répartition des coûts : Consultez la répartition des coûts de calcul avant et après l'entraînement.

  6. Analyser les échecs d'exemple : Étudiez les exemples fournis d'échecs du modèle pour saisir les capacités actuelles et les domaines à améliorer.

  • Recherche sur la génération d'images à partir de texte
  • Entraînement de modèles rentable
  • Développement de modèles vidéo génératifs
  • Test d'innovation architecturale
  • Expérimentation en IA open-source

Avis sur Linum P-JiT

Chargement...

Outils IA populaires comme Linum P-JiT

Wan 2.2

Applications IA

Un modèle de génération vidéo Mixture-of-Experts open-source du laboratoire Tongyi d'Alibaba pour la création de vidéos à partir de texte et d'images jusqu'à 720p, avec un…

Générateurs de vidéos IAMédias et divertissement

N°194 en Générateurs de vidéos IA

Voir l'outil

Applications IA

Un modèle de génération vidéo Mixture-of-Experts open-source du laboratoire Tongyi d'Alibaba pour la création de vidéos à partir de texte et d'images jusqu'à 720p, avec un…

Générateurs de vidéos IAMédias et divertissement
N°194 en Générateurs de vidéos IA

Le Cloud d'IA Générative offre un accès à plus de 500 modèles pour la création d'images, de vidéos et d'audios. Il fournit des API unifiées, des coûts réduits et un accès aux…

Plateformes de machine learningMédias et divertissement
Voir l'outil

Le Cloud d'IA Générative offre un accès à plus de 500 modèles pour la création d'images, de vidéos et d'audios. Il fournit des API unifiées, des coûts réduits et un accès aux…

Plateformes de machine learningMédias et divertissement
Voir le Top 250 Applications IA

Puissant modèle multimodal natif conçu pour la génération d'images. Il excelle dans les tâches de génération d'images à partir de texte et d'images à…HunyuanImage 3.0 est un puissant modèle multimodal natif conçu pour la génération d'images. Il excelle dans les tâches de génération d'images à partir de texte et d'images à…

En vedetteModèles d'IA et LLM
Voir le Top 5 Modèles IA

FluxPicture propose un générateur d'images et de vidéos IA gratuit, doté de FLUX AI pour des styles d'images variés et des résultats photoréalistes. Il intègre également Krea pour…

Générateurs d'images IA
Voir l'outil

Propose un générateur d'images et de vidéos IA gratuit, doté de FLUX AI pour des styles d'images variés et des résultats photoréalistes. Il intègre également Krea pour…FluxPicture propose un générateur d'images et de vidéos IA gratuit, doté de FLUX AI pour des styles d'images variés et des résultats photoréalistes. Il intègre également Krea pour…

Générateurs d'images IA
Voir le Top 250 Applications IA

Imgex.ai

Applications IA

Imgex.ai est un studio d'images et de vidéos alimenté par l'IA où vous générez, éditez et animez des visuels à travers de nombreux modèles — de la génération de texte à l'image et…

Générateurs d'images IAMédias et divertissement
Voir l'outil

Applications IA

Studio d'images et de vidéos alimenté par l'IA où vous générez, éditez et animez des visuels à travers de nombreux modèles — de la génération de texte à l'image et…Imgex.ai est un studio d'images et de vidéos alimenté par l'IA où vous générez, éditez et animez des visuels à travers de nombreux modèles — de la génération de texte à l'image et…

Générateurs d'images IAMédias et divertissement
Voir le Top 250 Applications IA

Yolly AI

Applications IA

Yolly AI est un générateur vidéo et image AI tout-en-un qui regroupe des modèles de pointe pour créer des vidéos 4K de qualité cinématographique avec son et des images haute…

Générateurs de vidéos IAMédias et divertissement

N°225 en Générateurs de vidéos IA

Voir l'outil

Applications IA

Générateur vidéo et image AI tout-en-un qui regroupe des modèles de pointe pour créer des vidéos 4K de qualité cinématographique avec son et des images haute…Yolly AI est un générateur vidéo et image AI tout-en-un qui regroupe des modèles de pointe pour créer des vidéos 4K de qualité cinématographique avec son et des images haute…

Générateurs de vidéos IAMédias et divertissement
N°225 en Générateurs de vidéos IA

Vidofy

Applications IA

Un studio AI tout-en-un qui génère des vidéos, des images et de la voix à partir d'un prompt en utilisant plus de 500 modèles AI tels que Veo, Runway, Kling et Seedance, le tout…

Générateurs de vidéos IAMédias et divertissement

N°129 pour Création d'animations

Voir l'outil

Applications IA

Un studio AI tout-en-un qui génère des vidéos, des images et de la voix à partir d'un prompt en utilisant plus de 500 modèles AI tels que Veo, Runway, Kling et Seedance, le tout…

Générateurs de vidéos IAMédias et divertissement
N°129 pour Création d'animations

Flux Lora

Applications IA

Flux Lora est une plateforme indépendante axée sur la génération d'images, la comparaison de modèles et l'entraînement LoRA géré. Elle propose un studio d'IA polyvalent pour les…

Générateurs d'images IA
Voir l'outil

Applications IA

Plateforme indépendante axée sur la génération d'images, la comparaison de modèles et l'entraînement LoRA géré. Elle propose un studio d'IA polyvalent pour les…Flux Lora est une plateforme indépendante axée sur la génération d'images, la comparaison de modèles et l'entraînement LoRA géré. Elle propose un studio d'IA polyvalent pour les…

Générateurs d'images IA
Voir le Top 250 Applications IA
1 sur 8