説明
Intel® Gaudi® AI アクセラレータの公式ドキュメントへようこそ。v1.24 までのバージョンを網羅しています。このリソースは、開発者や研究者が Intel® Gaudi® 2 および Intel® Gaudi® 3 AI アクセラレータの潜在能力を最大限に引き出すことを支援するために設計されています。
続きを読む
このドキュメントは、Gaudi ハードウェアでの作業を円滑に進めるための詳細情報を提供します。既存の AI モデルを Gaudi プラットフォームに移行するための詳細なガイドを見つけることができます。これにより、スムーズな移行が保証されます。さまざまな機能を示すための実践的なコードサンプルも含まれており、開発プロセスを加速します。
さらに、ドキュメントでは Gaudi 上での AI ワークロードのデバッグと最適化に関するベストプラクティスについて詳しく説明します。これには、パフォーマンスチューニングのヒント、アーキテクチャの洞察、および最大の効率を達成するための戦略が含まれます。Gaudi の全機能の理解と活用を支援するために、包括的な API リファレンスが用意されています。
主要なセクションでは、ソフトウェアのインストールとプラットフォームへのアクセスについて説明しており、環境を正しくセットアップできます。トレーニングとスケーリングの機能について説明しており、PyTorch モデルのトレーニング、DeepSpeed を使用した大規模モデルの実行、および分散トレーニング技術を用いたマルチノードトレーニングのスケーリングに関する具体的なガイダンスが含まれています。推論については、PyTorch 推論の実行方法、vLLM および SGLang を使用した効率的なモデルサービング、FP8 または INT4 データ型を用いた量子化モデルの操作方法について詳しく説明しています。
このドキュメントは、Intel Gaudi に関連するすべての情報の中央ハブとして機能し、ユーザーが最先端の AI アプリケーションを構築およびデプロイするために必要なツールと知識を持っていることを保証します。古いドキュメントバージョンへのアクセスは、「バージョン」ボタンから可能です。今後の改善のために、皆様のフィードバックをお待ちしております。
- カテゴリー機械学習プラットフォーム
- デプロイクラウド
- プラットフォームWeb
Intel Gaudiの主要機能
Intel Gaudi 2 および Gaudi 3 AI アクセラレータのドキュメント
Gaudi への AI モデル移行に関するガイダンス
様々な機能のためのコードサンプル
デバッグと最適化のベストプラクティス
Gaudi ハードウェアおよびソフトウェアの API リファレンス
ソフトウェアインストールとプラットフォームアクセスガイド
PyTorch モデルトレーニングの手順
DeepSpeed による大規模モデルトレーニングのサポート
マルチノード分散トレーニング機能
PyTorch 推論に関するガイダンス
vLLM および SGLang を使用した推論
FP8 および INT4 量子化モデルのサポート
モデルサービング機能
Intel Gaudiをはじめる
ソフトウェアのインストール: インストールガイドに従って、必要なソフトウェアとシステム構成をセットアップします。
プラットフォームへのアクセス: 選択したプラットフォームで Intel Gaudi Docker イメージを実行する方法を学びます。
トレーニングの開始: PyTorch モデルのトレーニングを開始し、DeepSpeed を使用した大規模モデルの実行オプションを探索します。
トレーニングのスケーリング: 分散トレーニング技術を使用してマルチノードトレーニングを実装します。
推論の実行: PyTorch 推論の実行を開始し、vLLM や SGLang のような高度な推論エンジンを探索します。
モデルの最適化: 量子化モデルを実行するために FP8 または INT4 データ型を利用します。
モデルのデプロイ: モデルサービングのオプションを探索します。
Intel Gaudiの使用例
- モデル移行
- AI モデルトレーニング
- 大規模モデルデプロイメント
- 最適化された推論
- パフォーマンスチューニング
- プラットフォームセットアップ
