Langsung ke konten utama
ToolPotion
Penasihat AI
Kirim (Gratis)

Linum P-JiT

Aplikasi AIModel AI & LLMOpen source · Web

Linum P-JiT adalah model teks-ke-gambar eksperimental dengan 2B parameter yang dikembangkan oleh Linum, sebuah laboratorium penelitian yang terdiri dari dua orang yang fokus pada model video generatif. Model bukti konsep ini menunjukkan arsitektur Pyramid-JiT yang baru, mencapai generasi gambar berkualitas tinggi dengan biaya pelatihan yang secara signifikan lebih rendah sekitar $21K. Ini merupakan langkah menuju alat kreatif yang lebih efisien dan dapat diakses untuk animasi.

Kunjungi URL
Bagikan
Tangkapan layar Linum P-JiT
Tangkapan layar Linum P-JiT

Linum P-JiT adalah model teks-ke-gambar eksperimental yang dikembangkan oleh Linum, sebuah laboratorium penelitian yang terdiri dari dua orang yang didedikasikan untuk melatih model video generatif dari awal. Model khusus ini, Pyramid-JiT (P-JiT) dengan 2B parameter, berfungsi sebagai bukti konsep untuk penelitian mereka yang sedang berlangsung dalam mendemokratisasi akses ke animasi melalui alat generatif yang hemat biaya dan dapat dikendalikan. Biaya pelatihan untuk model ini sekitar $21,038, menunjukkan potensi untuk hasil berkualitas tinggi dengan biaya komputasi yang relatif rendah.

Baca Selengkapnya

Inovasi inti di balik P-JiT adalah kemampuannya untuk mencapai kompresi yang lebih agresif dan pembelajaran yang lebih cepat dengan menghilangkan Variational Autoencoder (VAE) tradisional dari arsitektur model difusi. Sebagai gantinya, model difusi mempelajari ruang laten yang dirancang khusus untuk kasus penggunaannya, memungkinkan kompresi yang lebih besar dan generasi yang lebih baik. Model ruang piksel ini berkonvergensi dalam 11 kali lebih sedikit sampel dibandingkan Linum v2 dan menawarkan pengurangan token yang empat kali lebih agresif, mewakili gambar 512x512 dengan jumlah token yang sama yang sebelumnya digunakan untuk gambar 256x256. Ini berarti pengurangan empat kali lipat dalam jendela konteks perhatian, secara signifikan mengurangi biaya pelatihan dan inferensi.

Arsitektur P-JiT menggabungkan jalur pemrosesan teks dan gambar, di mana setiap modalitas melewati blok "refiner" DiT satu modalitas sebelum bergabung menjadi aliran 22 blok DiT identik. Representasi teks diambil dari model Qwen3.5-4B yang dibekukan, sementara gambar dibagi menjadi patch 32x32 dan dikompresi ke dalam ruang berdimensi 1024. Model ini juga dilengkapi dengan pembacaan PixelREPA yang diselaraskan dengan DINOv3-L dan kepala pembacaan linier tambahan di sepanjang batang untuk mempercepat konvergensi dengan memprediksi versi resolusi rendah dari gambar akhir.

Pelatihan dilakukan dalam beberapa tahap, dimulai pada resolusi 512x512 untuk 610 juta sampel dan kemudian beralih ke resolusi 1024x1024 untuk 50 juta sampel. Kurikulum di atas jadwal kebisingan digunakan, awalnya berkonsentrasi pada kebisingan tinggi untuk mempelajari struktur dasar, kemudian memperlebar distribusi untuk detail halus. Setelah pelatihan, melibatkan varian dari Finite Difference Flow Optimization (FDFO) dengan JEV-Image dan juri manusia dalam loop. Meskipun model menunjukkan hasil yang menjanjikan, ia memiliki keterbatasan, terutama dalam generasi tubuh penuh, banyak entitas, interaksi multi-orang, dan pengetahuan dunia, yang umum untuk model seukuran ini. Model ini tidak dilatih dengan gambar teks yang dirender, sehingga tidak dapat menghasilkan teks atau poster.

  • KategoriModel AI & LLM
  • Model HargaOpen source
  • PenerapanCloud
  • PlatformWeb

  • Arsitektur Pyramid-JiT (P-JiT): Model ruang piksel baru untuk generasi yang efisien

  • DiT 2B-Parameter: Ukuran model transformator difusi inti

  • Pengkode Teks 4B: Menggunakan model Qwen3.5-4B yang dibekukan untuk representasi teks

  • Desain Tanpa VAE: Menghilangkan VAE untuk kompresi yang lebih agresif dan pembelajaran yang lebih cepat

  • Pengurangan Token 4x: Mewakili gambar 512x512 dengan 4x lebih sedikit token dibandingkan Linum v2

  • Konvergensi 11x Lebih Cepat: Mencapai hasil dengan sampel pelatihan yang jauh lebih sedikit

  • Pelatihan Multi-Tahap: Berproses dari resolusi 512x512 ke 1024x1024

  • Jadwal Kebisingan Kurikulum: Mengadaptasi distribusi kebisingan untuk pembelajaran struktur dan detail

  • Pembacaan PixelREPA: Menyelaraskan ruang laten ke DINOv3-L untuk pembelajaran detail yang lebih baik

  • Kepala Pembacaan Linier: Memprediksi gambar bersih pada seperempat dan setengah resolusi untuk mempercepat konvergensi

  • Optimisasi Aliran Perbedaan Hingga (FDFO): Digunakan untuk penyempurnaan pasca-pelatihan

  • Lisensi Apache 2.0: Bobot dirilis di bawah lisensi sumber terbuka

  • Pelatihan Hemat Biaya: Mencapai hasil berkualitas tinggi dengan biaya sekitar $21K

  • Fokus pada Penelitian Video Generatif: Langkah menuju model video masa depan

  1. Pahami Arsitektur: Tinjau detail arsitektur P-JiT, termasuk alur pemrosesan teks dan gambar.

  2. Periksa Regime Pelatihan: Pelajari tentang proses pelatihan multi-tahap, jadwal kebisingan, dan transisi resolusi.

  3. Jelajahi Keterbatasan Model: Pahami keterbatasan saat ini terkait generasi tubuh penuh, banyak entitas, dan generasi teks.

  4. Akses Pengaturan Pelatihan: Rujuk ke Lampiran A untuk parameter dan konfigurasi pelatihan yang terperinci.

  5. Tinjau Rincian Biaya: Lihat rincian biaya komputasi sebelum dan sesudah pelatihan.

  6. Analisis Contoh Kegagalan: Pelajari contoh kegagalan model yang disediakan untuk memahami kemampuan saat ini dan area untuk perbaikan.

  • Penelitian Generasi Teks-ke-Gambar
  • Pelatihan Model Hemat Biaya
  • Pengembangan Model Video Generatif
  • Pengujian Inovasi Arsitektur
  • Eksperimen AI Sumber Terbuka

Ulasan Linum P-JiT

Memuat...

Alat AI Populer Seperti Linum P-JiT

Wan 2.2

Aplikasi AI

Model generasi video Mixture-of-Experts sumber terbuka dari Tongyi Lab Alibaba untuk pembuatan video dari teks dan gambar hingga 720p, dengan kontrol sinematik dan bobot model…

Generator Video AIMedia & Hiburan

Peringkat 194 di Generator Video AI

Lihat Alat

Aplikasi AI

Model generasi video Mixture-of-Experts sumber terbuka dari Tongyi Lab Alibaba untuk pembuatan video dari teks dan gambar hingga 720p, dengan kontrol sinematik dan bobot model…

Generator Video AIMedia & Hiburan
Peringkat 194 di Generator Video AI

Generative AI Cloud menawarkan akses ke lebih dari 500 model untuk pembuatan gambar, video, dan audio. Ini menyediakan API terpadu, biaya yang lebih rendah, dan akses model hari…

Platform Machine LearningMedia & Hiburan
Lihat Alat

Menawarkan akses ke lebih dari 500 model untuk pembuatan gambar, video, dan audio. Ini menyediakan API terpadu, biaya yang lebih rendah, dan akses model hari…Generative AI Cloud menawarkan akses ke lebih dari 500 model untuk pembuatan gambar, video, dan audio. Ini menyediakan API terpadu, biaya yang lebih rendah, dan akses model hari…

Platform Machine LearningMedia & Hiburan
Lihat Top 250 Aplikasi AI

Model multimodal native yang kuat dirancang untuk generasi gambar. Model ini unggul dalam tugas text-to-image dan image-to-image, menawarkan kemampuan…HunyuanImage 3.0 adalah model multimodal native yang kuat dirancang untuk generasi gambar. Model ini unggul dalam tugas text-to-image dan image-to-image, menawarkan kemampuan…

UnggulanModel AI & LLM
Lihat Top 5 Model AI

FluxPicture menawarkan generator gambar dan video AI gratis, menampilkan FLUX AI untuk berbagai gaya gambar dan hasil fotorealistik. Ini juga mencakup Krea untuk gambar…

Generator Gambar AI
Lihat Alat

Menawarkan generator gambar dan video AI gratis, menampilkan FLUX AI untuk berbagai gaya gambar dan hasil fotorealistik. Ini juga mencakup Krea untuk gambar…FluxPicture menawarkan generator gambar dan video AI gratis, menampilkan FLUX AI untuk berbagai gaya gambar dan hasil fotorealistik. Ini juga mencakup Krea untuk gambar…

Generator Gambar AI
Lihat Top 250 Aplikasi AI

Imgex.ai

Aplikasi AI

Imgex.ai adalah studio gambar dan video AI di mana Anda dapat menghasilkan, mengedit, dan menganimasi visual di berbagai model — dari teks-ke-gambar dan pengeditan referensi…

Generator Gambar AIMedia & Hiburan
Lihat Alat

Aplikasi AI

Studio gambar dan video AI di mana Anda dapat menghasilkan, mengedit, dan menganimasi visual di berbagai model — dari teks-ke-gambar dan pengeditan referensi…Imgex.ai adalah studio gambar dan video AI di mana Anda dapat menghasilkan, mengedit, dan menganimasi visual di berbagai model — dari teks-ke-gambar dan pengeditan referensi…

Generator Gambar AIMedia & Hiburan
Lihat Top 250 Aplikasi AI

Yolly AI

Aplikasi AI

Yolly AI adalah generator video dan gambar AI serba ada yang menggabungkan model-model terkemuka untuk menciptakan video 4K berkualitas sinema dengan suara dan gambar resolusi…

Generator Video AIMedia & Hiburan

Peringkat 225 di Generator Video AI

Lihat Alat

Aplikasi AI

Generator video dan gambar AI serba ada yang menggabungkan model-model terkemuka untuk menciptakan video 4K berkualitas sinema dengan suara dan gambar resolusi…Yolly AI adalah generator video dan gambar AI serba ada yang menggabungkan model-model terkemuka untuk menciptakan video 4K berkualitas sinema dengan suara dan gambar resolusi…

Generator Video AIMedia & Hiburan
Peringkat 225 di Generator Video AI

Vidofy

Aplikasi AI

Sebuah studio AI serba ada yang menghasilkan video, gambar, dan suara dari sebuah prompt menggunakan lebih dari 500 model AI seperti Veo, Runway, Kling, dan Seedance, semuanya…

Generator Video AIMedia & Hiburan

Peringkat 129 untuk Membuat animasi

Lihat Alat

Aplikasi AI

Sebuah studio AI serba ada yang menghasilkan video, gambar, dan suara dari sebuah prompt menggunakan lebih dari 500 model AI seperti Veo, Runway, Kling, dan Seedance, semuanya…

Generator Video AIMedia & Hiburan
Peringkat 129 untuk Membuat animasi

Flux Lora

Aplikasi AI

Flux Lora adalah platform independen yang fokus pada generasi gambar, perbandingan model, dan pelatihan LoRA yang dikelola. Ini menawarkan AI Studio serbaguna untuk model gambar…

Generator Gambar AI
Lihat Alat

Aplikasi AI

Platform independen yang fokus pada generasi gambar, perbandingan model, dan pelatihan LoRA yang dikelola. Ini menawarkan AI Studio serbaguna untuk model gambar…Flux Lora adalah platform independen yang fokus pada generasi gambar, perbandingan model, dan pelatihan LoRA yang dikelola. Ini menawarkan AI Studio serbaguna untuk model gambar…

Generator Gambar AI
Lihat Top 250 Aplikasi AI
1 dari 8