Langsung ke konten utama
ToolPotion
Penasihat AI
Kirim (Gratis)

Perangkat Lunak Sumber Terbuka Dynamo-Triton

Framework AIMLOps & Penerapan ModelSumber Terbuka · NVIDIA GPU, x86, ARM

NVIDIA Dynamo-Triton memungkinkan penerapan model AI di berbagai kerangka kerja seperti TensorRT, PyTorch, dan ONNX. Ini mendukung beban kerja waktu nyata, terbatch, dan streaming, menjadikannya cocok untuk berbagai aplikasi AI.

Kunjungi URL
Bagikan
Kunjungi URL
Bagikan

NVIDIA Dynamo-Triton, sebelumnya dikenal sebagai NVIDIA Triton Inference Server, adalah perangkat lunak sumber terbuka yang dirancang untuk memfasilitasi penerapan model AI di berbagai kerangka kerja utama seperti TensorRT, PyTorch, ONNX, OpenVINO, Python, dan RAPIDS FIL. Alat yang kuat ini memberikan kinerja tinggi melalui fitur-fitur seperti pengelompokan dinamis, eksekusi bersamaan, dan konfigurasi yang dioptimalkan. Dynamo-Triton mampu mendukung berbagai beban kerja, termasuk waktu nyata, terbatch, ensemble, dan streaming audio/video, dan beroperasi dengan lancar di GPU NVIDIA, akselerator non-NVIDIA, CPU x86, dan ARM.

Baca Selengkapnya

Sebagai solusi sumber terbuka, Dynamo-Triton kompatibel dengan alur kerja DevOps dan MLOps, terintegrasi secara efektif dengan Kubernetes untuk penskalaan dan Prometheus untuk pemantauan. Ini dirancang untuk bekerja di platform AI cloud dan on-premises, menyediakan lingkungan yang aman dan siap produksi sebagai bagian dari NVIDIA AI Enterprise. Lingkungan ini mencakup API yang stabil dan dukungan luas untuk penerapan AI, memastikan bahwa pengembang dapat mengelola model AI mereka dengan efisien.

Untuk aplikasi model bahasa besar (LLM), NVIDIA menawarkan alat tambahan seperti NVIDIA Dynamo, yang dirancang khusus untuk inferensi LLM dan penerapan multi-mode. Alat ini melengkapi Dynamo-Triton dengan memberikan optimasi khusus LLM, termasuk penyajian terpisah, caching prefiks, dan caching nilai kunci ke penyimpanan. Pengembang dapat mengakses banyak sumber daya, termasuk dokumentasi, tutorial, dan paket awal, untuk membantu mereka memulai dengan Dynamo-Triton dan memaksimalkan kemampuannya dalam proyek AI mereka.

  • KategoriMLOps & Penerapan Model
  • Model HargaSumber Terbuka
  • PenerapanCloud dan On-Premise
  • PlatformNVIDIA GPU, x86, ARM

  • Sumber Terbuka

  • Mendukung TensorRT, PyTorch, ONNX, OpenVINO

  • Beban kerja waktu nyata dan terbatch

  • Pengelompokan dinamis

  • Eksekusi bersamaan

  • Terintegrasi dengan Kubernetes

  • Kompatibel dengan Prometheus

  • Bekerja di perangkat keras NVIDIA dan non-NVIDIA

  • Mendukung penerapan cloud dan on-premises

  • Optimasi khusus LLM tersedia

  1. Konfigurasi: Siapkan lingkungan Anda untuk menerapkan model AI.

  2. Integrasi: Hubungkan Dynamo-Triton dengan kerangka kerja AI pilihan Anda.

  3. Penerapan: Luncurkan model AI Anda menggunakan Triton Inference Server.

  4. Pemantauan: Gunakan Prometheus untuk melacak kinerja dan penggunaan sumber daya.

  5. Penskalaan: Manfaatkan Kubernetes untuk penskalaan penerapan Anda sesuai kebutuhan.

  • Inferensi AI Waktu Nyata
  • Pemrosesan Batch
  • Streaming Audio/Video
  • Model Bahasa Besar
  • Penerapan Cloud

Dari NVIDIA

Ulasan Perangkat Lunak Sumber Terbuka Dynamo-Triton

Memuat...

Alat AI Populer Seperti Perangkat Lunak Sumber Terbuka Dynamo-Triton

LiteRT

Framework AI

LiteRT adalah kerangka kerja machine learning di perangkat berkinerja tinggi dari Google untuk menerapkan model GenAI dan ML pada platform edge. Kerangka kerja ini menawarkan…

MLOps & Penerapan Model
Lihat Alat

Framework AI

Kerangka kerja machine learning di perangkat berkinerja tinggi dari Google untuk menerapkan model GenAI dan ML pada platform edge. Kerangka kerja ini menawarkan…LiteRT adalah kerangka kerja machine learning di perangkat berkinerja tinggi dari Google untuk menerapkan model GenAI dan ML pada platform edge. Kerangka kerja ini menawarkan…

MLOps & Penerapan Model
Lihat Top 50 Framework AI

TensorFlow Extended (TFX) adalah platform machine learning skala produksi Google. Platform ini menyediakan kerangka kerja konfigurasi dan pustaka bersama untuk mengintegrasikan…

MLOps & Penerapan Model
Lihat Alat

Platform machine learning skala produksi Google. Platform ini menyediakan kerangka kerja konfigurasi dan pustaka bersama untuk mengintegrasikan…TensorFlow Extended (TFX) adalah platform machine learning skala produksi Google. Platform ini menyediakan kerangka kerja konfigurasi dan pustaka bersama untuk mengintegrasikan…

MLOps & Penerapan Model
Lihat Top 50 Framework AI

Together AI

Platform AI

Together AI menyediakan platform AI full-stack, AI Native Cloud, untuk inferensi, fine-tuning, dan klaster GPU. Didukung oleh penelitian mutakhir, menawarkan inferensi yang lebih…

Platform Machine Learning

Peringkat 14 di Platform AI

Lihat Alat

Platform AI

Menyediakan platform AI full-stack, AI Native Cloud, untuk inferensi, fine-tuning, dan klaster GPU. Didukung oleh penelitian mutakhir, menawarkan inferensi yang lebih…Together AI menyediakan platform AI full-stack, AI Native Cloud, untuk inferensi, fine-tuning, dan klaster GPU. Didukung oleh penelitian mutakhir, menawarkan inferensi yang lebih…

UnggulanPlatform Machine Learning
Peringkat 14 di Platform AI

SiliconFlow

Platform AI

Platform infrastruktur AI untuk pengembang untuk menerapkan, menyempurnakan, dan menjalankan 200+ LLM dan model multimodal yang dioptimalkan melalui satu API yang kompatibel…

MLOps & Penerapan Model
Lihat Alat

Platform AI

Platform infrastruktur AI untuk pengembang untuk menerapkan, menyempurnakan, dan menjalankan 200+ LLM dan model multimodal yang dioptimalkan melalui satu API yang kompatibel…

UnggulanMLOps & Penerapan Model
Lihat Top 150 Platform AI

Runware

Aplikasi AI

Runware adalah platform inferensi AI generatif yang menyediakan satu API terpadu untuk model gambar, video, audio, 3D, LLM, dan visi. Ini menawarkan lebih dari 400K model,…

MLOps & Penerapan Model
Lihat Alat

Aplikasi AI

Platform inferensi AI generatif yang menyediakan satu API terpadu untuk model gambar, video, audio, 3D, LLM, dan visi. Ini menawarkan lebih dari 400K model,…Runware adalah platform inferensi AI generatif yang menyediakan satu API terpadu untuk model gambar, video, audio, 3D, LLM, dan visi. Ini menawarkan lebih dari 400K model,…

MLOps & Penerapan Model
Lihat Top 250 Aplikasi AI

Cerebrium

Platform AI

Cerebrium menawarkan infrastruktur GPU serverless untuk AI real-time, memungkinkan cold start di bawah satu detik untuk agen suara, model video, dan LLM. Platform ini menyediakan…

MLOps & Penerapan Model
Lihat Alat

Platform AI

Menawarkan infrastruktur GPU serverless untuk AI real-time, memungkinkan cold start di bawah satu detik untuk agen suara, model video, dan LLM. Platform ini menyediakan…Cerebrium menawarkan infrastruktur GPU serverless untuk AI real-time, memungkinkan cold start di bawah satu detik untuk agen suara, model video, dan LLM. Platform ini menyediakan…

UnggulanMLOps & Penerapan Model
Lihat Top 150 Platform AI

KServe

Platform AI

KServe adalah platform open-source native Kubernetes untuk inferensi AI yang di-host sendiri. Platform ini menawarkan solusi terpadu untuk AI generatif dan prediktif,…

MLOps & Penerapan Model

Peringkat 88 di Platform AI

Lihat Alat

Platform AI

Platform open-source native Kubernetes untuk inferensi AI yang di-host sendiri. Platform ini menawarkan solusi terpadu untuk AI generatif dan prediktif,…KServe adalah platform open-source native Kubernetes untuk inferensi AI yang di-host sendiri. Platform ini menawarkan solusi terpadu untuk AI generatif dan prediktif,…

MLOps & Penerapan Model
Peringkat 88 di Platform AI

OpenVINO Toolkit

Framework AI

OpenVINO adalah toolkit open-source untuk menerapkan solusi AI berkinerja tinggi di berbagai perangkat keras. Ini memungkinkan pengembang untuk mengonversi, mengoptimalkan, dan…

Alat Computer Vision
Lihat Alat

Framework AI

Toolkit open-source untuk menerapkan solusi AI berkinerja tinggi di berbagai perangkat keras. Ini memungkinkan pengembang untuk mengonversi, mengoptimalkan, dan…OpenVINO adalah toolkit open-source untuk menerapkan solusi AI berkinerja tinggi di berbagai perangkat keras. Ini memungkinkan pengembang untuk mengonversi, mengoptimalkan, dan…

Alat Computer Vision
Lihat Top 50 Framework AI
1 dari 8