説明
KServeはCNCFに参加し、セルフホスト型AI推論のオープンソース標準としての地位を確立しました。このKubernetesネイティブプラットフォームは、生成AIと予測AIの両方に対応する統合ソリューションを提供し、迅速なデプロイメントに十分なシンプルさと、エンタープライズグレードのワークロードに十分な強力さを兼ね備えています。
続きを読む
生成AI向けに、KServeはvLLMやllm-dのような最適化されたバックエンドを提供し、高性能なLLMサービングを実現します。シームレスな統合のためのOpenAI互換プロトコル、最適化されたメモリ管理によるGPUアクセラレーション、ロード時間を短縮するためのモデルキャッシングを備えています。高度な機能には、より長いシーケンス処理のためのKVキャッシュオフロード、生成ワークロードに合わせて調整されたリクエストベースのオートスケーリング、およびデプロイメントを合理化するためのネイティブHugging Faceモデルサポートが含まれます。
予測AIの領域では、KServeはTensorFlow、PyTorch、scikit-learn、XGBoost、ONNXなど、幅広いフレームワークをサポートしています。予測、トランスフォーマー、エクスポーザーコンポーネント間のインテリジェントルーティングを可能にし、InferenceGraphを使用したカナリアロールアウト、パイプライン、アンサンブルなどの高度なデプロイメントを促進します。予測ワークロード向けのスケールゼロを含むオートスケーリングは、主要な機能であり、予測の理由を理解するための組み込みモデル説明可能性と、ペイロードロギング、外れ値、敵対的攻撃、ドリフト検出のための高度な監視機能も備えています。使用されていない高価なリソースに対するスケールゼロ機能により、コスト効率が向上します。
KServeは、機械学習モデルをサービングするためのKubernetesカスタムリソース定義（CRD）を通じて、シンプルかつ強力なAPIを提供します。オートスケーリング、ネットワーキング、ヘルスチェック、サーバー構成の複雑さを抽象化し、MLデプロイメントに最先端のサービング機能をもたらします。このプラットフォームは、MLフレームワーク全体で標準化されたKubernetes APIを保証し、プリ/ポストプロセッシングと説明可能性をサポートし、LLM向けのOpenAI仕様サポート、および推論のためのカナリアロールアウトとA/Bテストを提供します。
アーキテクチャは、リビジョン追跡やA/Bテストを含むMLモデルのライフサイクルを管理するコントロールプレーンと、モデルサーバーにリクエスト/レスポンスAPIを備えた標準化された推論プロトコルを提供するデータプレーンで構成されます。コアとなるKubernetesリソースはInferenceServiceであり、自動スケーリング、ネットワーキング、ヘルスチェックによりMLモデルのデプロイメントを簡素化します。InferenceGraphは、パイプライン、アンサンブル、マルチモデルワークフローによる高度なデプロイメントを可能にします。KServeは、業界リーダーによって、大規模で信頼性の高いモデル推論のために信頼されています。
- カテゴリーMLOps・モデルデプロイ
- 料金モデルオープンソース
- デプロイKubernetesネイティブ
- プラットフォームWeb
KServeの主要機能
AI推論のためのKubernetesネイティブプラットフォーム
生成AIと予測AIのための統合サービング
LLM向けのOpenAI互換プロトコル
GPUアクセラレーションと最適化されたメモリ管理
モデルキャッシングとKVキャッシュオフロード
生成ワークロード向けのリクエストベースオートスケーリング
ネイティブHugging Faceモデルサポート
マルチフレームワークサポート（TensorFlow, PyTorch, scikit-learn, XGBoost, ONNX）
予測、トランスフォーマー、エクスポーザーのためのインテリジェントルーティング
InferenceGraphによる高度なデプロイメント（パイプライン、アンサンブル）
予測ワークロード向けのスケールゼロオートスケーリング
組み込みモデル説明可能性と特徴量アトリビューション
高度な監視（ペイロードロギング、外れ値、敵対的攻撃、ドリフト検出）
MLフレームワーク全体での標準Kubernetes API
推論のためのカナリアロールアウトとA/Bテスト
KServeの使い方は？
KServeのインストール: KubernetesクラスターにKServeとその依存関係をデプロイします。
InferenceServiceの作成: 事前学習済みモデルをデプロイするためのシンプルなYAML構成を定義します。
Predictorの設定: モデルフォーマット、リソース（CPU、メモリ、GPU）、ストレージURIを指定します。
推論リクエストの送信: API呼び出しを通じてデプロイされたモデルを使用して予測を行います。
KServeの使用例
- LLMサービング
- 予測モデルデプロイメント
- スケーラブルなAI推論
- モデル説明可能性
- 高度なデプロイメント戦略
- コスト効率の高いAI
- Hugging Faceモデル統合
