Deskripsi
LiteRT mewakili generasi berikutnya dari penerapan machine learning di perangkat Google, berkembang dari TensorFlow Lite yang diadopsi secara luas. Kerangka kerja ini direkayasa untuk penerapan ML dan Generative AI berkinerja tinggi pada berbagai macam platform edge. Kerangka kerja ini menyediakan pipeline yang efisien untuk konversi model, eksekusi runtime, dan optimasi, yang secara khusus disesuaikan untuk batasan dan tuntutan lingkungan di perangkat.
Baca Selengkapnya
Dibangun di atas fondasi TensorFlow Lite yang telah teruji, LiteRT bertujuan untuk memberikan latensi rendah dan privasi yang ditingkatkan untuk aplikasi yang berjalan langsung di miliaran perangkat. Kesiapannya lintas platform menyederhanakan penerapan kemampuan AI yang canggih, termasuk Generative AI, dengan menawarkan akselerasi perangkat keras yang disederhanakan dan dukungan multi-kerangka kerja. Pengembang dapat memanfaatkan model .tflite yang ada atau mengonversi model dari kerangka kerja seperti PyTorch, JAX, dan TensorFlow. Toolkit optimasi LiteRT memungkinkan kuantisasi pasca-pelatihan, yang semakin menyempurnakan efisiensi model.
LiteRT mendukung berbagai skenario penerapan, mulai dari mengintegrasikan model yang telah dilatih sebelumnya ke dalam aplikasi hingga penulisan model kustom tingkat lanjut dengan optimasi mendalam yang spesifik untuk perangkat keras. Kerangka kerja ini dirancang untuk memberdayakan pengembang agar membawa AI mutakhir, termasuk keterampilan agentik canggih dan kemampuan perencanaan multi-langkah dengan model seperti Gemma, langsung ke edge. Kerangka kerja ini juga berfokus pada perluasan dukungan akselerasi perangkat keras, terutama untuk NPU MediaTek dan Qualcomm, membuka kinerja puncak untuk tugas-tugas generative AI pada chipset ini.
Bagi pengguna TensorFlow Lite yang sudah ada, transisi ke LiteRT menawarkan kinerja yang ditingkatkan dan API terpadu di berbagai platform seperti Android, Desktop, dan Web. Pengenalan API CompiledModel semakin menyederhanakan penerapan dengan mengotomatiskan pemilihan perangkat keras dan memungkinkan eksekusi asinkron. LiteRT-LM secara khusus memungkinkan penerapan model bahasa pada perangkat wearable dan platform berbasis browser, menunjukkan keserbagunaannya untuk berbagai aplikasi AI edge. Kontribusi komunitas didorong melalui repositori GitHub-nya, dan model open-weight yang dioptimalkan dapat diakses melalui Hugging Face Hub.
- KategoriMLOps & Penerapan Model
- Model HargaOpen source
- PenerapanDi Perangkat
- PlatformAndroid, Web
Fitur Inti LiteRT
Penerapan ML dan GenAI di perangkat berkinerja tinggi
Konversi model yang efisien dari PyTorch, JAX, TensorFlow
Runtime yang dioptimalkan untuk platform edge
Toolkit kuantisasi pasca-pelatihan
Kompatibilitas lintas platform (Android, Desktop, Web)
Akselerasi perangkat keras yang disederhanakan
Dukungan multi-kerangka kerja
API CompiledModel untuk pemilihan perangkat keras otomatis
LiteRT-LM untuk model bahasa di perangkat
Privasi yang ditingkatkan dan latensi rendah
Berkembang dari fondasi TensorFlow Lite
Mendukung akselerasi NPU pada chipset MediaTek dan Qualcomm
Memulai dengan LiteRT
Dapatkan Model: Gunakan model .tflite yang ada atau konversi model PyTorch, JAX, atau TensorFlow.
Optimalkan Model: Manfaatkan toolkit optimasi LiteRT untuk kuantisasi pasca-pelatihan.
Terapkan Model: Integrasikan model Anda yang dioptimalkan dengan LiteRT, pilih akselerator yang optimal.
Jalankan Model: Terapkan aplikasi Anda ke perangkat edge target.
Jelajahi Sampel: Lihat GitHub untuk aplikasi sampel end-to-end yang lengkap.
Akses Model: Temukan model GenAI open-weight yang dioptimalkan di Hugging Face.
Kasus Penggunaan LiteRT
- Chatbot di Perangkat
- Aplikasi AI Edge
- AI Wearable
- AI Berbasis Browser
- Pengalaman Visi dan Audio
- Keterampilan Agentik
- Optimasi Model Kustom
- Penerapan Lintas Platform
