Deskripsi
OpenVINO adalah toolkit open-source komprehensif yang dirancang untuk menyederhanakan penerapan solusi AI berkinerja tinggi. Ini memberdayakan pengembang untuk membangun aplikasi yang memanfaatkan model AI generatif dan konvensional, yang bersumber dari framework model paling populer. Toolkit ini memfasilitasi konversi, optimasi, dan eksekusi inferensi yang efisien, memaksimalkan potensi perangkat keras Intel®.
Baca Selengkapnya
Pada intinya, OpenVINO menawarkan empat alat utama untuk mengatasi berbagai kebutuhan penerapan. OpenVINO Base Package adalah untuk menjalankan dan menerapkan model AI konvensional. Untuk AI generatif, alat OpenVINO GenAI menyederhanakan penerapan. Komponen OpenVINO Physical AI memungkinkan penerapan model VLA pada robot. Selain itu, OpenVINO Model Server menyediakan solusi terukur untuk menerapkan inferensi AI generatif dan konvensional di server, mendukung penerapan cloud-native dalam lingkungan Kubernetes.
Kemampuan utama meliputi teknik kompresi model, seperti kompresi pasca-pelatihan dan saat pelatihan dengan NNCF, untuk mencapai kinerja optimal. OpenVINO mendukung penautan langsung dengan OpenVINO Runtime untuk inferensi lokal atau integrasi dengan OpenVINO Model Server untuk inferensi sisi server yang terukur. Toolkit ini menekankan penerapan yang cepat dan terukur, memungkinkan aplikasi ditulis sekali dan diterapkan di mana saja, mendapat manfaat dari penemuan perangkat otomatis untuk fleksibilitas yang ditingkatkan.
OpenVINO Runtime tersedia untuk Linux, Windows, dan macOS, dengan API Python, C++, dan C, memastikan kompatibilitas bahasa dan sistem operasi yang luas. Desain penerapan yang lebih ringan meminimalkan dependensi eksternal, menyederhanakan instalasi dan manajemen. Kompilasi kustom lebih lanjut mengurangi ukuran biner akhir. Untuk aplikasi yang membutuhkan start-up cepat, OpenVINO meningkatkan latensi inferensi pertama dengan memanfaatkan CPU secara cerdas untuk inferensi awal sebelum beralih ke perangkat lain, dengan model terkompilasi yang di-cache semakin meningkatkan waktu start-up.
Target audiens untuk OpenVINO meliputi pengembang AI, insinyur machine learning, dan peneliti yang berfokus pada penerapan model AI secara efisien di berbagai perangkat keras. Proposisi nilainya terletak pada kemampuannya untuk mempercepat inferensi AI, mengurangi kompleksitas penerapan, dan memungkinkan kompatibilitas lintas platform, menjadikannya alat yang ampuh untuk membawa AI ke edge dan seterusnya.
- KategoriAlat Computer Vision
- Model HargaOpen source
- PenerapanCloud
- PlatformLinux, Windows, macOS
Fitur Inti OpenVINO Toolkit
Mendukung penerapan model AI generatif dan konvensional
Mengoptimalkan model AI untuk inferensi berkinerja tinggi
Kompatibel dengan framework model populer (TensorFlow, ONNX, PaddlePaddle)
Memungkinkan inferensi pada cloud, AI PC, dan perangkat edge
Menyediakan OpenVINO Runtime untuk inferensi lokal
Menawarkan OpenVINO Model Server untuk inferensi terukur
Mencakup teknik kompresi model (NNCF)
Mendukung API Python, C++, dan C
Kompatibilitas lintas platform (Linux, Windows, macOS)
Dirancang untuk penerapan yang lebih ringan dengan dependensi minimal
Meningkatkan waktu start-up aplikasi dengan pemanfaatan perangkat cerdas
Penemuan perangkat otomatis untuk fleksibilitas penerapan
Memulai dengan OpenVINO Toolkit
Instalasi: Instal toolkit OpenVINO.
Konversi Model: Konversi model AI Anda ke format OpenVINO.
Optimasi: Terapkan teknik optimasi untuk kinerja.
Inferensi: Jalankan inferensi secara lokal menggunakan OpenVINO Runtime.
Penerapan: Terapkan model pada perangkat target (edge, PC, cloud).
Penyajian: Gunakan OpenVINO Model Server untuk inferensi terukur.
Kasus Penggunaan OpenVINO Toolkit
- Penerapan AI Edge
- Aplikasi AI PC
- Layanan AI Cloud
- AI Robotika
- Penerapan AI Generatif
- Inferensi AI Konvensional
