説明
NVIDIA Dynamo-Triton（以前はNVIDIA Triton Inference Serverとして知られていました）は、TensorRT、PyTorch、ONNX、OpenVINO、Python、RAPIDS FILなどの主要なフレームワークでAIモデルのデプロイを容易にするために設計されたオープンソースソフトウェアです。この強力なツールは、動的バッチ処理、同時実行、最適化された構成などの機能を通じて高いパフォーマンスを提供します。Dynamo-Tritonは、リアルタイム、バッチ処理、アンサンブル、音声/ビデオストリーミングなど、さまざまなワークロードをサポートし、NVIDIA GPU、非NVIDIAアクセラレーター、x86、ARM CPU上でシームレスに動作します。
オープンソースソリューションとして、Dynamo-TritonはDevOpsおよびMLOpsワークフローと互換性があり、Kubernetesとの効果的な統合によりスケーリングを実現し、Prometheusによる監視を可能にします。これは、クラウドおよびオンプレミスのAIプラットフォーム全体で機能するように設計されており、NVIDIA AI Enterpriseの一部として、安全で生産準備が整った環境を提供します。この環境には、安定したAPIとAIデプロイメントのための広範なサポートが含まれており、開発者がAIモデルを効率的に管理できるようにします。
大規模言語モデル（LLM）アプリケーション向けに、NVIDIAはLLM推論およびマルチモードデプロイメントに特化したNVIDIA Dynamoなどの追加ツールを提供しています。このツールは、Dynamo-Tritonを補完し、分散サービング、プレフィックスキャッシング、ストレージへのキー・バリューキャッシングなど、LLM特有の最適化を提供します。開発者は、Dynamo-Tritonを使用してAIプロジェクトでその機能を最大限に活用するためのドキュメント、チュートリアル、スターターキットなどの豊富なリソースにアクセスできます。
Dynamo-Triton オープンソースソフトウェアの主要機能
オープンソース
TensorRT、PyTorch、ONNX、OpenVINOをサポート
リアルタイムおよびバッチ処理ワークロード
動的バッチ処理
同時実行
Kubernetesとの統合
Prometheusとの互換性
NVIDIAおよび非NVIDIAハードウェアで動作
クラウドおよびオンプレミスのデプロイをサポート
LLM特有の最適化が利用可能
Dynamo-Triton オープンソースソフトウェアをはじめる
設定: AIモデルをデプロイするための環境を設定します。
統合: Dynamo-Tritonを選択したAIフレームワークと接続します。
デプロイ: Triton Inference Serverを使用してAIモデルを起動します。
監視: Prometheusを使用してパフォーマンスとリソース使用状況を追跡します。
スケール: 必要に応じてKubernetesを利用してデプロイをスケーリングします。
Dynamo-Triton オープンソースソフトウェアの使用例
- リアルタイムAI推論
- バッチ処理
- 音声/ビデオストリーミング
- 大規模言語モデル
- クラウドデプロイメント
