NVIDIA TensorRT

LiteRT

AI フレームワーク

エッジプラットフォーム上でGenAIおよびMLモデルを展開するためのGoogleの高性能オンデバイス機械学習フレームワークです。TensorFlow Liteの基盤を活かし、効率的な変換、ランタイム、最適化を提供し、数十億台のデバイスで低遅延と高いプライバシーを実現します。LiteRTは、エッジプラットフォーム上でGenAIおよびMLモデルを展開するためのGoogleの高性能オンデバイス機械学習フレームワークです。TensorFlow Liteの基盤を活かし、効率的な変換、ランタイム、最適化を提供し、数十億台のデバイスで低遅延と高いプライバシーを実現します。

Dynamo-Triton オープンソースソフトウェア

AI フレームワーク

NVIDIA Dynamo-Tritonは、TensorRT、PyTorch、ONNXなどのさまざまなフレームワークでAIモデルのデプロイを可能にします。リアルタイム、バッチ処理、ストリーミングワークロードをサポートし、多様なAIアプリケーションに適しています。

TensorRT-LLM

AI GitHub リポジトリ

#63

大規模言語モデルを定義し、NVIDIA GPU上での推論を最適化するためのPython APIを提供します。効率的な推論実行を調整するためのPythonおよびC++ランタイムを作成するためのコンポーネントが含まれています。TensorRT-LLMは、大規模言語モデルを定義し、NVIDIA GPU上での推論を最適化するためのPython APIを提供します。効率的な推論実行を調整するためのPythonおよびC++ランタイムを作成するためのコンポーネントが含まれています。

fastai

AI フレームワーク

#19

実務家および研究者向けに設計されたディープラーニングライブラリです。最先端の結果を迅速に開発するための高レベルコンポーネントと、新しいアプローチのための低レベルコンポーネントを提供します。レイヤードアーキテクチャとPythonのダイナミズムを通じて、使いやすさ、柔軟性、パフォーマンスを目指しています。fastaiは、実務家および研究者向けに設計されたディープラーニングライブラリです。最先端の結果を迅速に開発するための高レベルコンポーネントと、新しいアプローチのための低レベルコンポーネントを提供します。レイヤードアーキテクチャとPythonのダイナミズムを通じて、使いやすさ、柔軟性、パフォーマンスを目指しています。

TensorFlow

AI フレームワーク

誰でも利用できるエンドツーエンドのオープンソース機械学習プラットフォームです。機械学習モデルを簡単に作成し、展開するための柔軟なツール、ライブラリ、コミュニティリソースのエコシステムを提供します。TensorFlowは、誰でも利用できるエンドツーエンドのオープンソース機械学習プラットフォームです。機械学習モデルを簡単に作成し、展開するための柔軟なツール、ライブラリ、コミュニティリソースのエコシステムを提供します。

BigDL LLM

AI フレームワーク

BigDL-LLMは、ラップトップからクラウドGPUまで、Intel XPUハードウェア上で大規模言語モデル（LLM）を実行するためのオープンソースライブラリです。低遅延推論のためのINT4/FP4/INT8/FP8量子化をサポートし、PyTorchモデル向けの包括的なファインチューニング機能を提供します。

分散トレーニングを簡素化するために設計された深層学習最適化ライブラリです。効率と効果を向上させ、ZeROや3D-Parallelismなどの高度な技術を用いて大規模モデルのトレーニングを可能にします。DeepSpeedは、分散トレーニングを簡素化するために設計された深層学習最適化ライブラリです。効率と効果を向上させ、ZeROや3D-Parallelismなどの高度な技術を用いて大規模モデルのトレーニングを可能にします。

深層学習のために設計されたシンプルなニューラルネットワークフレームワークです。複雑なネットワークを3つの操作タイプに簡素化し、効率的に機械学習ソリューションを実装しようとする開発者にとってアクセスしやすくしています。tinygradは、深層学習のために設計されたシンプルなニューラルネットワークフレームワークです。複雑なネットワークを3つの操作タイプに簡素化し、効率的に機械学習ソリューションを実装しようとする開発者にとってアクセスしやすくしています。