Deskripsi
Kimi-K2-Instruct adalah model bahasa campuran ahli (MoE) yang canggih yang dikembangkan oleh moonshotai, dengan 32 miliar parameter yang diaktifkan dan total 1 triliun parameter. Model ini dioptimalkan untuk tugas AI tingkat tinggi, termasuk penalaran, pengkodean, dan pemecahan masalah secara mandiri. Model ini dilatih menggunakan pengoptimal Muon, yang memastikan stabilitas dan efisiensi selama pelatihan skala besar pada 15,5 triliun token. Model ini sangat cocok untuk pengalaman obrolan umum dan agen, menjadikannya alat yang serbaguna bagi pengembang dan peneliti.
Baca Selengkapnya
Arsitektur Kimi-K2-Instruct mencakup 61 lapisan, dengan lapisan padat dan dimensi tersembunyi perhatian sebesar 7168. Model ini menggunakan 64 kepala perhatian dan 384 ahli, dengan 8 ahli yang dipilih per token. Ukuran kosakata adalah 160K, dan mendukung panjang konteks 128K. Model ini menggunakan fungsi aktivasi SwiGLU dan mekanisme perhatian MLA.
Kimi-K2-Instruct telah menunjukkan kinerja yang mengesankan di berbagai tolok ukur. Misalnya, model ini mencapai skor Pass@1 sebesar 53,7 pada LiveCodeBench v6 dan 27,1 pada OJBench. Model ini juga unggul dalam tugas pengkodean agen multibahasa, dengan skor 47,3 pada tolok ukur Multilingual SWE-bench. Hasil ini menyoroti kemampuannya dalam menangani tugas pengkodean dan penalaran yang kompleks.
Penerapan Kimi-K2-Instruct difasilitasi melalui API yang tersedia di platform moonshot.ai, yang kompatibel dengan standar OpenAI dan Anthropic. Model ini mendukung berbagai mesin inferensi, termasuk vLLM, SGLang, KTransformers, dan TensorRT-LLM. Bobot model dirilis di bawah Lisensi MIT yang Dimodifikasi, memastikan aksesibilitas untuk pengembangan dan kustomisasi lebih lanjut.
Secara keseluruhan, Kimi-K2-Instruct adalah model AI yang kuat yang dirancang untuk aplikasi tingkat lanjut, menawarkan fleksibilitas dan kinerja tinggi untuk berbagai tugas yang didorong oleh AI.
- KategoriModel AI & LLM
- PenerapanCloud
- PlatformWeb
Sorotan Model Kimi-K2-Instruct
32 miliar parameter yang diaktifkan
1 triliun total parameter
Pengoptimal Muon untuk stabilitas
Arsitektur Campuran Ahli
Ukuran kosakata 160K
Panjang konteks 128K
Fungsi aktivasi SwiGLU
Mekanisme perhatian MLA
Mendukung kemampuan pemanggilan alat
API kompatibel dengan OpenAI/Anthropic
Lisensi MIT yang Dimodifikasi
Kinerja yang kuat dalam tugas pengkodean
Dukungan pengkodean agen multibahasa
Mendukung vLLM, SGLang, KTransformers, TensorRT-LLM
Template obrolan mandiri
Memulai dengan Model Kimi-K2-Instruct
Akses halaman: Kunjungi halaman model Hugging Face
Muat model: Unduh dan integrasikan Kimi-K2-Instruct
Konfigurasi lingkungan: Siapkan mesin inferensi yang kompatibel
Integrasi: Gunakan API untuk penerapan
Fine-tune: Kustomisasi model untuk tugas tertentu
Kasus Penggunaan Model Kimi-K2-Instruct
- Pengkodean Tingkat Lanjut
- Dukungan Multibahasa
- Integrasi Alat
- Penelitian AI
- Aplikasi Obrolan
