Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

Linum P-JiT

KI-AppsKI-Modelle & LLMsOpen Source · Web

Linum P-JiT ist ein experimentelles 2B-Parameter Text-zu-Bild-Modell, das von Linum, einem zweiköpfigen Forschungslabor, das sich auf generative Videomodelle konzentriert, entwickelt wurde. Dieses Proof-of-Concept-Modell demonstriert eine neuartige Pyramid-JiT-Architektur und erreicht eine qualitativ hochwertige Bildgenerierung zu erheblich reduzierten Trainingskosten von etwa 21.000 USD. Es stellt einen Schritt in Richtung effizienterer und zugänglicherer kreativer Werkzeuge für Animation dar.

URL besuchen
Teilen
Screenshot von Linum P-JiT
Screenshot von Linum P-JiT

Linum P-JiT ist ein experimentelles Text-zu-Bild-Modell, das von Linum, einem zweiköpfigen Forschungslabor, das sich der Ausbildung generativer Videomodelle von Grund auf widmet, entwickelt wurde. Dieses spezielle Modell, ein 2B-Parameter Pyramid-JiT (P-JiT), dient als Proof-of-Concept für ihre laufende Forschung zur Demokratisierung des Zugangs zu Animation durch kostengünstige und kontrollierbare generative Werkzeuge. Der Trainingslauf für dieses Modell kostete etwa 21.038 USD und zeigt das Potenzial für qualitativ hochwertige Ergebnisse bei relativ geringen Rechenkosten.

Weiterlesen

Die zentrale Innovation hinter P-JiT ist die Fähigkeit, aggressivere Kompression und schnelleres Lernen zu erreichen, indem der traditionelle Variational Autoencoder (VAE) aus der Architektur des Diffusionsmodells entfernt wird. Stattdessen lernt das Diffusionsmodell einen latent space, der speziell für seinen Anwendungsfall entwickelt wurde, was eine größere Kompression und verbesserte Generierung ermöglicht. Dieses Pixelraum-Modell konvergiert in 11-mal weniger Proben als Linum v2 und bietet eine viermal aggressivere Token-Reduktion, was ein 512x512-Bild mit der gleichen Anzahl von Tokens darstellt, die zuvor für ein 256x256-Bild verwendet wurden. Dies führt zu einer vierfachen Reduzierung des Attention-Kontextfensters, was die Trainings- und Inferenzkosten erheblich senkt.

Die P-JiT-Architektur umfasst eine Text- und Bildverarbeitungspipeline, in der jede Modalität durch einzelne „Refiner“-DiT-Blöcke für die Einzelmodalität geht, bevor sie in einen Strom von 22 identischen DiT-Blöcken zusammengeführt wird. Die Textdarstellung stammt von einem eingefrorenen Qwen3.5-4B-Modell, während Bilder in 32x32-Patches unterteilt und in einen 1024-dimensionalen Raum komprimiert werden. Das Modell verfügt auch über PixelREPA-Ausgaben, die auf DINOv3-L ausgerichtet sind, sowie zusätzliche lineare Ausgabeköpfe entlang des Stammes, um die Konvergenz zu beschleunigen, indem niedrigauflösende Versionen des endgültigen Bildes vorhergesagt werden.

Das Training wurde in mehreren Phasen durchgeführt, beginnend mit einer Auflösung von 512x512 für 610 Millionen Proben und dann übergehend zu einer Auflösung von 1024x1024 für 50 Millionen Proben. Ein Curriculum über den Geräuschzeitplan wurde eingesetzt, das zunächst auf hohes Geräusch konzentrierte, um die grundlegende Struktur zu lernen, und dann die Verteilung für feinkörnige Details erweiterte. Nach dem Training wurde eine Variante der Finite Difference Flow Optimization (FDFO) mit JEV-Image und menschlichen Richtern in der Schleife verwendet. Während das Modell vielversprechende Ergebnisse zeigt, hat es Einschränkungen, insbesondere bei der Generierung von Ganzkörperbildern, mehreren Entitäten, Interaktionen zwischen mehreren Personen und Weltwissen, die für Modelle seiner Größe typisch sind. Es wurde nicht mit Bildern von gerendertem Text trainiert und kann daher keinen Text oder Poster generieren.

  • KategorieKI-Modelle & LLMs
  • PreismodellOpen Source
  • BereitstellungCloud
  • PlattformenWeb

  • Pyramid-JiT (P-JiT) Architektur: Neuartiges Pixelraum-Modell für effiziente Generierung

  • 2B-Parameter DiT: Kern-Diffusions-Transformator-Modellgröße

  • 4B Text-Encoder: Nutzt ein eingefrorenes Qwen3.5-4B-Modell für die Textdarstellung

  • VAE-freies Design: Beseitigt VAE für aggressivere Kompression und schnelleres Lernen

  • 4x Token-Reduktion: Stellt 512x512-Bilder mit 4x weniger Tokens als Linum v2 dar

  • 11x schnellere Konvergenz: Erreicht Ergebnisse mit deutlich weniger Trainingsproben

  • Multi-Stage-Training: Fortschritt von 512x512 zu 1024x1024 Auflösung

  • Curriculum-Geräuschzeitplan: Passt die Geräuschverteilung für Struktur- und Detaillernen an

  • PixelREPA-Ausgaben: Richtet den latenten Raum auf DINOv3-L aus, um das Detaillernen zu verbessern

  • Lineare Ausgabeköpfe: Vorhersage sauberer Bilder in Viertel- und Halbe-Auflösung zur beschleunigten Konvergenz

  • Finite Difference Flow Optimization (FDFO): Wird zur Nachbearbeitung verwendet

  • Apache 2.0 Lizenz: Gewichte werden unter einer Open-Source-Lizenz veröffentlicht

  • Kosteneffizientes Training: Erzielte qualitativ hochwertige Ergebnisse für etwa 21.000 USD

  • Fokus auf generative Video-Forschung: Ein Schritt in Richtung zukünftiger Videomodelle

  1. Architektur verstehen: Überprüfen Sie die Details der P-JiT-Architektur, einschließlich der Text- und Bildverarbeitungsflüsse.

  2. Trainingsregime untersuchen: Erfahren Sie mehr über den mehrstufigen Trainingsprozess, Geräuschzeitpläne und Auflösungsübergänge.

  3. Modellbeschränkungen erkunden: Verstehen Sie die aktuellen Einschränkungen hinsichtlich der Ganzkörpergenerierung, mehrerer Entitäten und der Textgenerierung.

  4. Zugriff auf Trainingseinstellungen: Verweisen Sie auf Anhang A für detaillierte Trainingsparameter und Konfigurationen.

  5. Kostenaufstellung überprüfen: Sehen Sie sich die Aufschlüsselung der Vor- und Nachtraining-Rechenkosten an.

  6. Beispielhafte Fehler analysieren: Studieren Sie die bereitgestellten Beispiele für Modellfehler, um die aktuellen Fähigkeiten und Verbesserungsbereiche zu verstehen.

  • Forschung zur Text-zu-Bild-Generierung
  • Kosteneffizientes Modelltraining
  • Entwicklung generativer Videomodelle
  • Testen architektonischer Innovationen
  • Open-Source KI-Experimentierung

Linum P-JiT Bewertungen

Wird geladen...

Beliebte KI-Tools wie Linum P-JiT

Wan 2.2

KI-Apps

Ein Open-Source-Modell zur Videoerzeugung mit Mixture-of-Experts von Alibaba's Tongyi Lab für die Erstellung von Text-zu-Video und Bild-zu-Video bis zu 720p, mit filmischer…

KI-VideogeneratorenMedien und Unterhaltung

Platz 194 in KI-Videogeneratoren

Tool ansehen

KI-Apps

Ein Open-Source-Modell zur Videoerzeugung mit Mixture-of-Experts von Alibaba's Tongyi Lab für die Erstellung von Text-zu-Video und Bild-zu-Video bis zu 720p, mit filmischer…

KI-VideogeneratorenMedien und Unterhaltung
Platz 194 in KI-Videogeneratoren

Generative AI Cloud bietet Zugang zu über 500 Modellen für die Erstellung von Bildern, Videos und Audios. Es stellt einheitliche APIs, niedrigere Kosten und sofortigen…

Machine-Learning-PlattformenMedien und Unterhaltung
Tool ansehen

Bietet Zugang zu über 500 Modellen für die Erstellung von Bildern, Videos und Audios. Es stellt einheitliche APIs, niedrigere Kosten und sofortigen…Generative AI Cloud bietet Zugang zu über 500 Modellen für die Erstellung von Bildern, Videos und Audios. Es stellt einheitliche APIs, niedrigere Kosten und sofortigen…

Machine-Learning-PlattformenMedien und Unterhaltung
Top 250 KI-Apps ansehen

Leistungsstarkes natives multimodales Modell, das für die Bildgenerierung entwickelt wurde. Es glänzt sowohl bei Text-zu-Bild- als auch bei…HunyuanImage 3.0 ist ein leistungsstarkes natives multimodales Modell, das für die Bildgenerierung entwickelt wurde. Es glänzt sowohl bei Text-zu-Bild- als auch bei…

EmpfohlenKI-Modelle & LLMs
Top 5 KI-Modelle ansehen

FluxPicture bietet einen kostenlosen KI-Bild- und Video-Generator mit FLUX AI für diverse Bildstile und fotorealistische Ergebnisse. Er beinhaltet auch Krea für hochwertige Bilder…

KI-Bildgeneratoren
Tool ansehen

Bietet einen kostenlosen KI-Bild- und Video-Generator mit FLUX AI für diverse Bildstile und fotorealistische Ergebnisse. Er beinhaltet auch Krea für hochwertige Bilder…FluxPicture bietet einen kostenlosen KI-Bild- und Video-Generator mit FLUX AI für diverse Bildstile und fotorealistische Ergebnisse. Er beinhaltet auch Krea für hochwertige Bilder…

KI-Bildgeneratoren
Top 250 KI-Apps ansehen

Imgex.ai

KI-Apps

Imgex.ai ist ein KI-Bild- und Videostudio, in dem Sie visuelle Inhalte über viele Modelle hinweg generieren, bearbeiten und animieren können – von Text-zu-Bild und…

KI-BildgeneratorenMedien und Unterhaltung
Tool ansehen

KI-Apps

KI-Bild- und Videostudio, in dem Sie visuelle Inhalte über viele Modelle hinweg generieren, bearbeiten und animieren können – von Text-zu-Bild und…Imgex.ai ist ein KI-Bild- und Videostudio, in dem Sie visuelle Inhalte über viele Modelle hinweg generieren, bearbeiten und animieren können – von Text-zu-Bild und…

KI-BildgeneratorenMedien und Unterhaltung
Top 250 KI-Apps ansehen

Yolly AI

KI-Apps

Yolly AI ist ein All-in-One KI-Video- und Bildgenerator, der führende Modelle zusammenbringt, um kinoreife 4K-Videos mit Ton und hochauflösenden Bildern aus Text, Bildern oder…

KI-VideogeneratorenMedien und Unterhaltung

Platz 225 in KI-Videogeneratoren

Tool ansehen

KI-Apps

All-in-One KI-Video- und Bildgenerator, der führende Modelle zusammenbringt, um kinoreife 4K-Videos mit Ton und hochauflösenden Bildern aus Text, Bildern oder…Yolly AI ist ein All-in-One KI-Video- und Bildgenerator, der führende Modelle zusammenbringt, um kinoreife 4K-Videos mit Ton und hochauflösenden Bildern aus Text, Bildern oder…

KI-VideogeneratorenMedien und Unterhaltung
Platz 225 in KI-Videogeneratoren

Vidofy

KI-Apps

Ein All-in-One-AI-Studio, das Video, Bilder und Sprache aus einem Prompt generiert, unter Verwendung von über 500 AI-Modellen wie Veo, Runway, Kling und Seedance, alles in einem…

KI-VideogeneratorenMedien und Unterhaltung

Platz 129 für Erstellung von Animationen

Tool ansehen

KI-Apps

Ein All-in-One-AI-Studio, das Video, Bilder und Sprache aus einem Prompt generiert, unter Verwendung von über 500 AI-Modellen wie Veo, Runway, Kling und Seedance, alles in einem…

KI-VideogeneratorenMedien und Unterhaltung
Platz 129 für Erstellung von Animationen

Flux Lora

KI-Apps

Flux Lora ist eine unabhängige Plattform, die sich auf die Bildgenerierung, den Modellvergleich und das verwaltete LoRA-Training konzentriert. Sie bietet ein allgemeines KI-Studio…

KI-Bildgeneratoren
Tool ansehen

KI-Apps

Unabhängige Plattform, die sich auf die Bildgenerierung, den Modellvergleich und das verwaltete LoRA-Training konzentriert. Sie bietet ein allgemeines KI-Studio…Flux Lora ist eine unabhängige Plattform, die sich auf die Bildgenerierung, den Modellvergleich und das verwaltete LoRA-Training konzentriert. Sie bietet ein allgemeines KI-Studio…

KI-Bildgeneratoren
Top 250 KI-Apps ansehen
1 von 8