Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

Linum P-JiT

Apps de IAModelos de IA y LLMCódigo abierto · Web

Linum P-JiT es un modelo experimental de texto a imagen con 2B de parámetros desarrollado por Linum, un laboratorio de investigación de dos personas enfocado en modelos de video generativos. Este modelo de prueba de concepto demuestra una novedosa arquitectura Pyramid-JiT, logrando generación de imágenes de alta calidad a un costo de entrenamiento significativamente reducido de aproximadamente $21K. Representa un paso hacia herramientas creativas más eficientes y accesibles para la animación.

Visitar URL
Compartir
Captura de pantalla de Linum P-JiT
Captura de pantalla de Linum P-JiT

Linum P-JiT es un modelo experimental de texto a imagen desarrollado por Linum, un laboratorio de investigación de dos personas dedicado a entrenar modelos de video generativos desde cero. Este modelo en particular, un Pyramid-JiT (P-JiT) de 2B de parámetros, sirve como prueba de concepto para su investigación en curso sobre la democratización del acceso a la animación a través de herramientas generativas rentables y controlables. La ejecución de entrenamiento para este modelo costó aproximadamente $21,038, demostrando el potencial de obtener resultados de alta calidad a un costo computacional relativamente bajo.

Leer más

La innovación central detrás de P-JiT es su capacidad para lograr una compresión más agresiva y un aprendizaje más rápido al eliminar el tradicional Autoencoder Variacional (VAE) de la arquitectura del modelo de difusión. En su lugar, el modelo de difusión aprende un espacio latente diseñado específicamente para su caso de uso, permitiendo una mayor compresión y una generación mejorada. Este modelo en el espacio de píxeles converge en 11 veces menos muestras que Linum v2 y ofrece una reducción de tokens cuatro veces más agresiva, representando una imagen de 512x512 con el mismo número de tokens utilizados anteriormente para una imagen de 256x256. Esto se traduce en una reducción de cuatro veces en la ventana de contexto de atención, lo que reduce significativamente los costos de entrenamiento e inferencia.

La arquitectura P-JiT incorpora una tubería de procesamiento de texto e imagen, donde cada modalidad pasa a través de bloques DiT "refinadores" de modalidad única antes de fusionarse en un flujo de 22 bloques DiT idénticos. La representación de texto se deriva de un modelo Qwen3.5-4B congelado, mientras que las imágenes se dividen en parches de 32x32 y se comprimen en un espacio de 1024 dimensiones. El modelo también presenta lecturas PixelREPA alineadas a DINOv3-L y cabezales de lectura lineales adicionales a lo largo del tronco para acelerar la convergencia al predecir versiones de baja resolución de la imagen final.

El entrenamiento se llevó a cabo en varias etapas, comenzando con una resolución de 512x512 para 610 millones de muestras y luego transicionando a una resolución de 1024x1024 para 50 millones de muestras. Se empleó un currículo sobre el programa de ruido, concentrándose inicialmente en un alto ruido para aprender la estructura básica, y luego ampliando la distribución para detalles finos. El post-entrenamiento involucró una variante de Optimización de Flujo de Diferencias Finitas (FDFO) con JEV-Image y jueces humanos en el bucle. Si bien el modelo muestra resultados prometedores, tiene limitaciones, particularmente con la generación de cuerpos completos, múltiples entidades, interacciones entre varias personas y conocimiento del mundo, que son comunes en modelos de su tamaño. No fue entrenado con imágenes de texto renderizado, por lo que no puede generar texto ni carteles.

  • CategoríaModelos de IA y LLM
  • Modelo de preciosCódigo abierto
  • ImplementaciónNube
  • PlataformasWeb

  • Arquitectura Pyramid-JiT (P-JiT): Modelo novedoso en el espacio de píxeles para generación eficiente

  • DiT de 2B Parámetros: Tamaño del modelo central de transformador de difusión

  • Codificador de Texto de 4B: Utiliza un modelo Qwen3.5-4B congelado para la representación de texto

  • Diseño Libre de VAE: Elimina el VAE para una compresión más agresiva y un aprendizaje más rápido

  • Reducción de Tokens de 4x: Representa imágenes de 512x512 con 4x menos tokens que Linum v2

  • Convergencia 11x Más Rápida: Logra resultados con significativamente menos muestras de entrenamiento

  • Entrenamiento en Múltiples Etapas: Progresión de 512x512 a 1024x1024 de resolución

  • Programa de Ruido Curricular: Adapta la distribución de ruido para el aprendizaje de estructura y detalle

  • Lecturas PixelREPA: Alinea el espacio latente a DINOv3-L para un mejor aprendizaje de detalles

  • Cabezas de Lectura Lineales: Predice imágenes limpias a un cuarto y medio de resolución para una convergencia acelerada

  • Optimización de Flujo de Diferencias Finitas (FDFO): Utilizada para el refinamiento post-entrenamiento

  • Licencia Apache 2.0: Los pesos se publican bajo una licencia de código abierto

  • Entrenamiento Rentable: Logró resultados de alta calidad por aproximadamente $21K

  • Enfoque en Investigación de Video Generativo: Un paso hacia futuros modelos de video

  1. Entender la Arquitectura: Revisar los detalles de la arquitectura P-JiT, incluidos los flujos de procesamiento de texto e imagen.

  2. Examinar el Régimen de Entrenamiento: Aprender sobre el proceso de entrenamiento en múltiples etapas, programas de ruido y transiciones de resolución.

  3. Explorar las Limitaciones del Modelo: Comprender las limitaciones actuales respecto a la generación de cuerpos completos, múltiples entidades y generación de texto.

  4. Acceder a la Configuración de Entrenamiento: Consultar el Apéndice A para parámetros y configuraciones de entrenamiento detallados.

  5. Revisar el Desglose de Costos: Ver el desglose de costos computacionales antes y después del entrenamiento.

  6. Analizar Ejemplos de Fallos: Estudiar ejemplos proporcionados de fallos del modelo para comprender las capacidades actuales y áreas de mejora.

  • Investigación en Generación de Texto a Imagen
  • Entrenamiento de Modelos Rentables
  • Desarrollo de Modelos de Video Generativo
  • Pruebas de Innovación Arquitectónica
  • Experimentación con IA de Código Abierto

Reseñas de Linum P-JiT

Cargando...

Herramientas de IA populares como Linum P-JiT

Wan 2.2

Apps de IA

Un modelo de generación de video de código abierto Mixture-of-Experts del laboratorio Tongyi de Alibaba para la creación de texto a video e imagen a video de hasta 720p, con…

Generadores de video con IAMedios y entretenimiento

N.º 194 en Generadores de video con IA

Ver herramienta

Apps de IA

Un modelo de generación de video de código abierto Mixture-of-Experts del laboratorio Tongyi de Alibaba para la creación de texto a video e imagen a video de hasta 720p, con…

Generadores de video con IAMedios y entretenimiento
N.º 194 en Generadores de video con IA

Generative AI Cloud ofrece acceso a más de 500 modelos para la creación de imágenes, videos y audio. Proporciona APIs unificadas, costos reducidos y acceso a modelos desde el día…

Plataformas de aprendizaje automáticoMedios y entretenimiento
Ver herramienta

Ofrece acceso a más de 500 modelos para la creación de imágenes, videos y audio. Proporciona APIs unificadas, costos reducidos y acceso a modelos desde el día…Generative AI Cloud ofrece acceso a más de 500 modelos para la creación de imágenes, videos y audio. Proporciona APIs unificadas, costos reducidos y acceso a modelos desde el día…

Plataformas de aprendizaje automáticoMedios y entretenimiento
Ver el Top 250 de Apps de IA

Potente modelo multimodal nativo diseñado para la generación de imágenes. Destaca en tareas de texto a imagen e imagen a imagen, ofreciendo capacidades…HunyuanImage 3.0 es un potente modelo multimodal nativo diseñado para la generación de imágenes. Destaca en tareas de texto a imagen e imagen a imagen, ofreciendo capacidades…

DestacadaModelos de IA y LLM
Ver el Top 5 de Modelos de IA

FluxPicture ofrece un generador gratuito de imágenes y videos con IA, que incluye FLUX AI para diversos estilos de imagen y resultados fotorrealistas. También incorpora Krea para…

Generadores de imágenes con IA
Ver herramienta

Ofrece un generador gratuito de imágenes y videos con IA, que incluye FLUX AI para diversos estilos de imagen y resultados fotorrealistas. También incorpora Krea para…FluxPicture ofrece un generador gratuito de imágenes y videos con IA, que incluye FLUX AI para diversos estilos de imagen y resultados fotorrealistas. También incorpora Krea para…

Generadores de imágenes con IA
Ver el Top 250 de Apps de IA

Imgex.ai

Apps de IA

Imgex.ai es un estudio de imágenes y videos basado en IA donde puedes generar, editar y animar visuales a través de muchos modelos — desde texto a imagen y edición de referencia…

Generadores de imágenes con IAMedios y entretenimiento
Ver herramienta

Apps de IA

Estudio de imágenes y videos basado en IA donde puedes generar, editar y animar visuales a través de muchos modelos — desde texto a imagen y edición de referencia…Imgex.ai es un estudio de imágenes y videos basado en IA donde puedes generar, editar y animar visuales a través de muchos modelos — desde texto a imagen y edición de referencia…

Generadores de imágenes con IAMedios y entretenimiento
Ver el Top 250 de Apps de IA

Yolly AI

Apps de IA

Yolly AI es un generador de videos e imágenes AI todo en uno que reúne modelos líderes para crear videos en 4K de calidad cinematográfica con sonido e imágenes de alta resolución…

Generadores de video con IAMedios y entretenimiento

N.º 225 en Generadores de video con IA

Ver herramienta

Apps de IA

Generador de videos e imágenes AI todo en uno que reúne modelos líderes para crear videos en 4K de calidad cinematográfica con sonido e imágenes de alta resolución…Yolly AI es un generador de videos e imágenes AI todo en uno que reúne modelos líderes para crear videos en 4K de calidad cinematográfica con sonido e imágenes de alta resolución…

Generadores de video con IAMedios y entretenimiento
N.º 225 en Generadores de video con IA

Vidofy

Apps de IA

Un estudio de IA todo en uno que genera video, imágenes y voz a partir de un aviso utilizando más de 500 modelos de IA como Veo, Runway, Kling y Seedance, todo en una cuenta con…

Generadores de video con IAMedios y entretenimiento

N.º 129 para Creación de animaciones

Ver herramienta

Apps de IA

Un estudio de IA todo en uno que genera video, imágenes y voz a partir de un aviso utilizando más de 500 modelos de IA como Veo, Runway, Kling y Seedance, todo en una cuenta con…

Generadores de video con IAMedios y entretenimiento
N.º 129 para Creación de animaciones

Flux Lora

Apps de IA

Flux Lora es una plataforma independiente centrada en la generación de imágenes, comparación de modelos y entrenamiento LoRA gestionado. Ofrece un estudio de IA de propósito…

Generadores de imágenes con IA
Ver herramienta

Apps de IA

Plataforma independiente centrada en la generación de imágenes, comparación de modelos y entrenamiento LoRA gestionado. Ofrece un estudio de IA de propósito…Flux Lora es una plataforma independiente centrada en la generación de imágenes, comparación de modelos y entrenamiento LoRA gestionado. Ofrece un estudio de IA de propósito…

Generadores de imágenes con IA
Ver el Top 250 de Apps de IA
1 de 8