Deskripsi
WeMM-Video-35B-A3B adalah model campuran-para ahli yang canggih, bagian dari keluarga WeMM-Video yang lebih luas, dikembangkan untuk pemahaman dan penalaran audio-visual yang komprehensif. Dengan total 35 miliar parameter dan 3 miliar parameter aktif, model ini dirancang khusus untuk memproses dan menginterpretasikan input multimodal, termasuk teks, gambar, audio, dan video, menghasilkan respons teks yang koheren dalam bahasa Cina atau Inggris.
Baca Selengkapnya
Kemampuan inti model ini mencakup kemampuan untuk menggabungkan bingkai video dengan trek suara aslinya untuk mendeskripsikan peristiwa, mentranskripsi ucapan dengan akurat, dan melakukan tugas penalaran berdasarkan informasi visual dan auditori. Model ini juga cukup fleksibel untuk menangani video tanpa suara, audio mandiri, gambar, dan input teks secara independen. Ini menjadikannya cocok untuk berbagai aplikasi yang memerlukan pemahaman kontekstual yang mendalam di berbagai jenis media.
Secara arsitektural, WeMM-Video-35B-A3B menggunakan pengkode visi dan audio untuk mengubah input media menjadi token, yang kemudian diproses oleh model bahasa bersama dengan teks. Bingkai video diperkaya dengan cap waktu untuk mempertahankan konteks temporal. Keluarga model ini menjalani pelatihan awal yang ekstensif pada sekitar 1,2 triliun token multimodal, diikuti oleh teknik pasca-pelatihan lanjutan seperti multi-teacher OPD, anti-repetition MrDPO, dan pembelajaran penguatan spesialis untuk meningkatkan kinerja dan ketahanannya.
Penerapan dan integrasi difasilitasi melalui berbagai opsi penyajian. Pengguna dapat mengatur lingkungan Transformers dan menjalankan contoh langsung dari repositori WeMM-Video. Model ini mendukung varian terkuantisasi seperti FP8 Block128, AWQ W4A16, GGUF Q4_K_M, dan NVFP4 W4A16. Untuk penyajian, model ini kompatibel dengan versi yang diperbaiki dari vLLM (0.18.0 dan 0.31.0) dan SGLang (0.5.16 atau 0.5.19), memungkinkan inferensi yang efisien, termasuk paralelisme tensor di beberapa GPU. Model ini juga menawarkan berbagai mode obrolan, termasuk mode instruksi default dan mode 'Berpikir' untuk respons penalaran.
WeMM-Video-35B-A3B telah menunjukkan kinerja yang kuat, menetapkan standar baru dalam sumber terbuka. Model ini terbukti mengungguli model proprietary seperti Qwen3.5-Omni-Flash dan Seed2.0-Mini-0428, secara signifikan mempersempit kesenjangan kinerja dengan model canggih seperti Gemini-3.0-Flash. Model ini dirilis di bawah Lisensi Apache 2.0, mempromosikan akses terbuka dan kolaborasi dalam komunitas AI.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan WeMM-Video-35B-A3B
Pemrosesan bilingual Cina-Inggris
Pemahaman dan penalaran audio-visual bersama
Menerima input teks, gambar, audio, dan video
Menghasilkan respons teks
Mendeskripsikan peristiwa dari bingkai video dan trek suara
Mentranskripsi ucapan dari audio
Melakukan penalaran tentang informasi visual dan auditori
Mendukung pemrosesan video tanpa suara dan audio mandiri
Arsitektur campuran-para ahli (35B total, 3B parameter aktif)
Dilatih sebelumnya pada 1,2 triliun token multimodal
Dilatih pasca dengan multi-teacher OPD dan MrDPO
Pembelajaran penguatan spesialis untuk meningkatkan kinerja
Mendukung berbagai varian terkuantisasi (FP8, AWQ, GGUF, NVFP4)
Kompatibel dengan vLLM dan SGLang yang diperbaiki untuk penyajian
Menawarkan mode obrolan Instruct dan Thinking
Memulai dengan WeMM-Video-35B-A3B
Siapkan Lingkungan: Instal lingkungan Transformers dan ketergantungan yang diperlukan.
Muat Model: Muat model WeMM-Video-35B-A3B dan pemroses dari Hugging Face Hub.
Siapkan Input: Berikan input media seperti file video MP4, audio mandiri, gambar, atau teks.
Proses Media: Gunakan skrip untuk memproses bingkai video sendiri atau dengan trek audio asli.
Hasilkan Respons: Kirim permintaan ke model, menentukan mode obrolan (Instruct atau Thinking) untuk menghasilkan teks.
Sajikan Model (Opsional): Instal patch runtime WeMM dan gunakan vLLM atau SGLang yang diperbaiki untuk penyajian API.
Kirim Permintaan API: Gunakan klien permintaan yang disertakan untuk mengirim media secara inline ke endpoint obrolan yang kompatibel dengan OpenAI.
Kasus Penggunaan WeMM-Video-35B-A3B
- Analisis Konten Video
- Transkripsi Ucapan
- Penalaran Multimodal
- Pemrosesan Konten Bilingual
- Deskripsi Peristiwa Audio-Visual
- Pengembangan Model AI
- Penelitian dan Eksperimen












