Deskripsi
Pabrik Token Nebius adalah bagian dari Nebius AI Cloud, cabang yang berfokus pada pengembang dari Nebius, sebuah perusahaan infrastruktur AI yang terdaftar (NBIS). Ini melayani model bahasa sumber terbuka melalui API yang kompatibel dengan OpenAI, sehingga kode yang ada yang ditulis terhadap pustaka klien OpenAI dapat diarahkan ke Pabrik Token dengan perubahan minimal. Nebius menggambarkan produk ini mencakup inferensi waktu nyata dan batch, titik akhir khusus, dan SLA produksi, memposisikannya untuk beban kerja yang melampaui eksperimen awal.
Baca Selengkapnya
Layanan ini mencakup baik awal cepat maupun beban kerja produksi. Pengembang dapat memanggil API secara langsung, menguji prompt di playground, atau menghubungkannya ke alat yang ada melalui integrasi yang didukung seperti LiteLLM dan Aisuite, kerangka kerja seperti LlamaIndex dan LangChain, serta pustaka agen termasuk Agno dan CrewAI. Untuk tim yang telah melewati tahap prototipe, Pabrik Token menambahkan titik akhir khusus, penskalaan otomatis dengan routing yang sadar cache, dan inferensi batch untuk memproses volume permintaan besar di luar batas waktu nyata.
Selain menyajikan model yang telah dilatih sebelumnya apa adanya, Pabrik Token mendukung pasca-pelatihan dan kustomisasi: tim dapat melakukan fine-tuning model terbuka pada data mereka sendiri dan menerapkan model kustom yang dihasilkan melalui infrastruktur yang sama. Nebius mendukung ini dengan dokumentasi teknis dan posting blog yang mencakup topik arsitektur seperti mengapa model campuran besar dari para ahli membebani anggaran latensi, bagaimana decoding spekulatif mengubah penyajian produksi, dan bagaimana desain routing mempengaruhi perbedaan antara penskalaan dan terhenti di bawah beban.
Pabrik Token ditujukan untuk pengembang dan tim AI yang membangun di atas model terbuka daripada API tertutup dan kepemilikan. Ini cocok dengan Nebius's AI Cloud yang lebih luas, yang menawarkan mesin virtual GPU dan kluster untuk tim yang ingin melatih atau menjalankan tumpukan kustom mereka sendiri daripada menggunakan inferensi yang dikelola. Nebius juga menjalankan Program Builder yang menawarkan kredit dan dukungan, buku masak dengan contoh yang dapat dijalankan, jam kantor komunitas, dan Discord untuk orang-orang yang membangun di platform, ditambah daftar putar YouTube yang menjelaskan arsitektur Pabrik Token dan proyek komunitas yang dibangun di atasnya.
Harga spesifik untuk inferensi Pabrik Token tidak dipublikasikan di halaman itu sendiri; harga AI Cloud yang lebih luas dari Nebius berbasis penggunaan dan mencakup instansi GPU yang digunakan untuk pelatihan dan hosting terpisah dari inferensi yang dikelola oleh Pabrik Token.
- KategoriMLOps & Penerapan Model
- Model HargaFreemium
- PenerapanCloud
- PlatformWeb
Fitur Inti Pabrik Token Nebius
API yang kompatibel dengan OpenAI untuk menyajikan model sumber terbuka
Inferensi waktu nyata untuk aplikasi interaktif
Inferensi batch untuk beban kerja non-interaktif dengan volume tinggi
Titik akhir khusus dengan penskalaan otomatis dan routing yang sadar cache
Dukungan pasca-pelatihan dan fine-tuning untuk menyesuaikan model terbuka
Integrasi dengan LiteLLM, Aisuite, LlamaIndex, dan LangChain
Dukungan kerangka agen melalui Agno, CrewAI, dan Pydantic
Playground interaktif untuk menguji model sebelum integrasi
Cara menggunakan Pabrik Token Nebius?
Daftar: buat akun Pabrik Token untuk mendapatkan akses API
Dapatkan kunci API: buat kredensial dari dasbor Pabrik Token
Uji di playground: coba prompt dan bandingkan model terbuka sebelum menulis kode
Panggil API: arahkan kode klien yang kompatibel dengan OpenAI yang ada ke titik akhir Pabrik Token
Skala: pindah ke titik akhir khusus atau inferensi batch saat volume permintaan meningkat
Kustomisasi: lakukan fine-tuning model pada data Anda sendiri menggunakan alat pasca-pelatihan
Kasus Penggunaan Pabrik Token Nebius
- Prototyping dengan model terbuka
- Inferensi produksi pada skala
- Pemrosesan data batch
- Penerapan model kustom
