Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

Linum P-JiT

Apps de IAModelos de IA e LLMsCódigo aberto · Web

Linum P-JiT é um modelo experimental de texto para imagem com 2 bilhões de parâmetros, desenvolvido pela Linum, um laboratório de pesquisa de duas pessoas focado em modelos de vídeo generativos. Este modelo de prova de conceito demonstra uma nova arquitetura Pyramid-JiT, alcançando geração de imagens de alta qualidade a um custo de treinamento significativamente reduzido de aproximadamente $21K. Representa um passo em direção a ferramentas criativas mais eficientes e acessíveis para animação.

Visitar URL
Compartilhar
Captura de tela do Linum P-JiT
Captura de tela do Linum P-JiT

Linum P-JiT é um modelo experimental de texto para imagem desenvolvido pela Linum, um laboratório de pesquisa de duas pessoas dedicado ao treinamento de modelos de vídeo generativos do zero. Este modelo específico, um Pyramid-JiT (P-JiT) com 2 bilhões de parâmetros, serve como uma prova de conceito para sua pesquisa contínua em democratizar o acesso à animação por meio de ferramentas generativas econômicas e controláveis. A execução de treinamento para este modelo custou aproximadamente $21.038, demonstrando o potencial para resultados de alta qualidade a um custo computacional relativamente baixo.

Ler mais

A inovação central por trás do P-JiT é sua capacidade de alcançar uma compressão mais agressiva e um aprendizado mais rápido ao eliminar o tradicional Variational Autoencoder (VAE) da arquitetura do modelo de difusão. Em vez disso, o modelo de difusão aprende um espaço latente projetado especificamente para seu caso de uso, permitindo uma maior compressão e uma geração aprimorada. Este modelo em espaço de pixels converge em 11 vezes menos amostras do que o Linum v2 e oferece uma redução de tokens quatro vezes mais agressiva, representando uma imagem de 512x512 com o mesmo número de tokens anteriormente usados para uma imagem de 256x256. Isso se traduz em uma redução de quatro vezes na janela de contexto de atenção, reduzindo significativamente os custos de treinamento e inferência.

A arquitetura P-JiT incorpora um pipeline de processamento de texto e imagem, onde cada modalidade passa por blocos DiT "refinadores" de modalidade única antes de se fundir em um fluxo de 22 blocos DiT idênticos. A representação de texto é derivada de um modelo Qwen3.5-4B congelado, enquanto as imagens são divididas em patches de 32x32 e comprimidas em um espaço de 1024 dimensões. O modelo também apresenta leituras PixelREPA alinhadas ao DINOv3-L e cabeçotes de leitura linear adicionais ao longo do tronco para acelerar a convergência, prevendo versões de baixa resolução da imagem final.

O treinamento foi conduzido em várias etapas, começando com resolução de 512x512 para 610 milhões de amostras e, em seguida, transicionando para resolução de 1024x1024 para 50 milhões de amostras. Um currículo sobre o cronograma de ruído foi empregado, inicialmente concentrando-se em alto ruído para aprender a estrutura básica, e depois ampliando a distribuição para detalhes mais finos. O pós-treinamento envolveu uma variante da Otimização de Fluxo de Diferença Finita (FDFO) com JEV-Image e juízes humanos. Embora o modelo mostre resultados promissores, ele tem limitações, particularmente com geração de corpo inteiro, múltiplas entidades, interações entre várias pessoas e conhecimento de mundo, que são comuns para modelos de seu tamanho. Não foi treinado com imagens de texto renderizado, portanto, não pode gerar texto ou pôsteres.

  • CategoriaModelos de IA e LLMs
  • Modelo de preçosCódigo aberto
  • ImplantaçãoNuvem
  • PlataformasWeb

  • Arquitetura Pyramid-JiT (P-JiT): Modelo em espaço de pixels inovador para geração eficiente

  • DiT com 2 bilhões de parâmetros: Tamanho do modelo central de difusão

  • Codificador de Texto com 4 bilhões: Utiliza um modelo Qwen3.5-4B congelado para representação de texto

  • Design sem VAE: Elimina o VAE para compressão mais agressiva e aprendizado mais rápido

  • Redução de Tokens 4x: Representa imagens de 512x512 com 4x menos tokens do que o Linum v2

  • Convergência 11x mais rápida: Alcança resultados com significativamente menos amostras de treinamento

  • Treinamento em Múltiplas Etapas: Progride de 512x512 para 1024x1024 de resolução

  • Cronograma de Ruído Curricular: Adapta a distribuição de ruído para aprendizado de estrutura e detalhes

  • Leituras PixelREPA: Alinha o espaço latente ao DINOv3-L para aprendizado de detalhes aprimorado

  • Cabeçotes de Leitura Linear: Prevê imagens limpas em resolução de um quarto e metade para convergência acelerada

  • Otimização de Fluxo de Diferença Finita (FDFO): Utilizada para refinamento pós-treinamento

  • Licença Apache 2.0: Pesos são liberados sob uma licença de código aberto

  • Treinamento Econômico: Alcançou resultados de alta qualidade por aproximadamente $21K

  • Foco em Pesquisa de Vídeo Generativo: Um passo em direção a futuros modelos de vídeo

  1. Entender a Arquitetura: Revise os detalhes da arquitetura P-JiT, incluindo fluxos de processamento de texto e imagem.

  2. Examinar o Regime de Treinamento: Aprenda sobre o processo de treinamento em múltiplas etapas, cronogramas de ruído e transições de resolução.

  3. Explorar as Limitações do Modelo: Entenda as limitações atuais em relação à geração de corpo inteiro, múltiplas entidades e geração de texto.

  4. Acessar Configurações de Treinamento: Consulte o Apêndice A para parâmetros e configurações de treinamento detalhados.

  5. Revisar a Quebra de Custos: Veja a divisão dos custos de computação pré e pós-treinamento.

  6. Analisar Exemplos de Falhas: Estude exemplos fornecidos de falhas do modelo para compreender as capacidades atuais e áreas de melhoria.

  • Pesquisa de Geração de Texto para Imagem
  • Treinamento de Modelo Econômico
  • Desenvolvimento de Modelos de Vídeo Generativo
  • Teste de Inovação Arquitetônica
  • Experimentação em IA de Código Aberto

Avaliações de Linum P-JiT

Carregando...

Ferramentas de IA populares como Linum P-JiT

Wan 2.2

Apps de IA

Um modelo de geração de vídeo Mixture-of-Experts de código aberto do Tongyi Lab da Alibaba para criação de texto para vídeo e imagem para vídeo em até 720p, com controle…

Geradores de vídeo com IAMídia e entretenimento

Nº 194 em Geradores de vídeo com IA

Ver ferramenta

Apps de IA

Um modelo de geração de vídeo Mixture-of-Experts de código aberto do Tongyi Lab da Alibaba para criação de texto para vídeo e imagem para vídeo em até 720p, com controle…

Geradores de vídeo com IAMídia e entretenimento
Nº 194 em Geradores de vídeo com IA

A Nuvem de IA Generativa oferece acesso a mais de 500 modelos para criação de imagens, vídeos e áudios. Proporciona APIs unificadas, custos reduzidos e acesso a modelos desde o…

Plataformas de machine learningMídia e entretenimento
Ver ferramenta

A Nuvem de IA Generativa oferece acesso a mais de 500 modelos para criação de imagens, vídeos e áudios. Proporciona APIs unificadas, custos reduzidos e acesso a modelos desde o…

Plataformas de machine learningMídia e entretenimento
Ver o Top 250 de Apps de IA

Poderoso modelo multimodal nativo projetado para geração de imagens. Ele se destaca tanto em tarefas de texto para imagem quanto de imagem para imagem,…HunyuanImage 3.0 é um poderoso modelo multimodal nativo projetado para geração de imagens. Ele se destaca tanto em tarefas de texto para imagem quanto de imagem para imagem,…

DestaqueModelos de IA e LLMs
Ver o Top 5 de Modelos de IA

FluxPicture oferece um gerador gratuito de imagens e vídeos com IA, apresentando FLUX AI para diversos estilos de imagem e resultados fotorrealistas. Inclui também Krea para…

Geradores de imagens com IA
Ver ferramenta

Oferece um gerador gratuito de imagens e vídeos com IA, apresentando FLUX AI para diversos estilos de imagem e resultados fotorrealistas. Inclui também Krea para…FluxPicture oferece um gerador gratuito de imagens e vídeos com IA, apresentando FLUX AI para diversos estilos de imagem e resultados fotorrealistas. Inclui também Krea para…

Geradores de imagens com IA
Ver o Top 250 de Apps de IA

Imgex.ai

Apps de IA

Imgex.ai é um estúdio de imagem e vídeo com IA onde você gera, edita e anima visuais em diversos modelos — desde texto-para-imagem e edição de referência até imagem-para-vídeo —…

Geradores de imagens com IAMídia e entretenimento
Ver ferramenta

Apps de IA

Estúdio de imagem e vídeo com IA onde você gera, edita e anima visuais em diversos modelos — desde texto-para-imagem e edição de referência até imagem-para-vídeo —…Imgex.ai é um estúdio de imagem e vídeo com IA onde você gera, edita e anima visuais em diversos modelos — desde texto-para-imagem e edição de referência até imagem-para-vídeo —…

Geradores de imagens com IAMídia e entretenimento
Ver o Top 250 de Apps de IA

Yolly AI

Apps de IA

Yolly AI é um gerador de vídeo e imagem com inteligência artificial tudo-em-um que reúne modelos líderes para criar vídeos em 4K de qualidade cinematográfica com som e imagens de…

Geradores de vídeo com IAMídia e entretenimento

Nº 225 em Geradores de vídeo com IA

Ver ferramenta

Apps de IA

Gerador de vídeo e imagem com inteligência artificial tudo-em-um que reúne modelos líderes para criar vídeos em 4K de qualidade cinematográfica com som e imagens de…Yolly AI é um gerador de vídeo e imagem com inteligência artificial tudo-em-um que reúne modelos líderes para criar vídeos em 4K de qualidade cinematográfica com som e imagens de…

Geradores de vídeo com IAMídia e entretenimento
Nº 225 em Geradores de vídeo com IA

Vidofy

Apps de IA

Um estúdio de IA tudo-em-um que gera vídeo, imagens e voz a partir de um prompt usando mais de 500 modelos de IA, como Veo, Runway, Kling e Seedance, tudo em uma conta com…

Geradores de vídeo com IAMídia e entretenimento

Nº 129 para Criação de animações

Ver ferramenta

Apps de IA

Um estúdio de IA tudo-em-um que gera vídeo, imagens e voz a partir de um prompt usando mais de 500 modelos de IA, como Veo, Runway, Kling e Seedance, tudo em uma conta com…

Geradores de vídeo com IAMídia e entretenimento
Nº 129 para Criação de animações

Flux Lora

Apps de IA

Flux Lora é uma plataforma independente focada na geração de imagens, comparação de modelos e treinamento gerenciado de LoRA. Oferece um estúdio de IA de uso geral para modelos de…

Geradores de imagens com IA
Ver ferramenta

Apps de IA

Plataforma independente focada na geração de imagens, comparação de modelos e treinamento gerenciado de LoRA. Oferece um estúdio de IA de uso geral para modelos de…Flux Lora é uma plataforma independente focada na geração de imagens, comparação de modelos e treinamento gerenciado de LoRA. Oferece um estúdio de IA de uso geral para modelos de…

Geradores de imagens com IA
Ver o Top 250 de Apps de IA
1 de 8