説明
Bentoは、速度と制御のために構築された包括的な推論プラットフォームであり、AIチームがテーラードされた最適化、効率的なスケーリング、および合理化された運用により、あらゆるモデルをあらゆる場所にデプロイできるようにします。推論インフラストラクチャを簡素化すると同時に、デプロイメントに対するきめ細かな制御を提供し、AIモデル推論の管理、監視、最適化を容易にします。
続きを読む
Bentoは、Open Model Catalogを通じて、Llama 4、DeepSeek、Ling/Ring、Flux、Qwen、GPT-OSSなどの一般的なオープンソースオプションを含む、幅広いモデルのデプロイメントをサポートしています。また、ファインチューニングされたオープンソースモデルや独自のカスタムモデルを含む、あらゆるアーキテクチャ、フレームワーク、またはモダリティのカスタムモデルのパッケージングとデプロイメントのための統一されたフレームワークを提供します。プラットフォームは、デプロイメントとCI/CDプロセスを自動化し、包括的なオブザーバビリティ、きめ細かなアクセス制御、およびリソース/クォータ追跡を提供します。
効率的なスケーリングのために、BentoはBento Compute Engineを特徴としており、最適なコンピューティング利用のためのインテリジェントなリソース管理を提供します。クロスリージョン スケーリング、エラスティック オートスケーリング、コールドスタート アクセラレーション、マルチクラウド コンピューティング オーケストレーション、およびスケーリング・トゥ・ゼロ機能をサポートしています。ユーザーは、独自のクラウド、オンプレミスのKubernetesにデプロイするオプション、または調達の手間なしに最先端のGPUハードウェア（Nvidia GPU、AMD GPU、B200、H100、MI300Xを含む）にアクセスするためにBento Cloudを活用するなど、インフラストラクチャとデプロイメント環境に対する完全な制御を得られます。
Bentoは、開発者にAI推論の構築、出荷、スケーリングに必要なすべてを提供することで、AIアプリケーションの本番環境への移行を加速します。これには、迅速なクラウドイテレーションのためのDev Codespace、すべてのLLMプロバイダーへの統一されたインターフェイスと集中管理されたコスト制御のためのLLM Gateway、および完全なデプロイメントライフサイクル管理、バージョン管理、ロールバック、A/Bテストによる合理化された運用が含まれます。完全なオブザーバビリティは、コンピューティング、パフォーマンス、およびLLM固有のメトリクスの包括的な監視を通じて実現されます。
プラットフォームは、エンタープライズグレードのセキュリティ、コンプライアンス、および運用機能のために構築されており、パフォーマンスSLA、24時間年中無休の監視、稼働時間保証、および自動フェイルオーバーによる信頼性を確保します。Bentoはまた、専用のテクニカルエキスパート、推論最適化リサーチ、および継続的なベンチマークによるForward Deployed Engineeringを提供します。データ主権は、ユーザーデータに対する完全な制御によって維持されます。BentoMLは現在Modularの一部です。
- カテゴリーMLOps・モデルデプロイ
- 料金モデル詳細はお問い合わせください
- デプロイクラウド、オンプレミス
- プラットフォームWeb
Bentoの主要機能
あらゆるモデルをあらゆる場所にデプロイ
テーラードされた推論最適化
効率的なスケーリング機能
合理化された運用
一般的なオープンソースモデルのためのOpen Model Catalog
カスタムモデルのパッケージングとデプロイメントのための統一されたフレームワーク
自動化されたデプロイメントとCI/CD
包括的なオブザーバビリティと監視
きめ細かなアクセス制御
リソースとクォータ追跡
コンピューティング利用のためのインテリジェントなリソース管理
クロスリージョンおよびエラスティック オートスケーリング
コールドスタート アクセラレーション
マルチクラウド コンピューティング オーケストレーション
スケーリング・トゥ・ゼロ
Bentoの使い方は？
構築: 統一されたフレームワークを使用してモデルをパッケージ化します。
デプロイ: CI/CDパイプラインでデプロイメントを自動化します。
スケーリング: インテリジェントなリソース管理を利用して効率的にスケーリングします。
監視: 包括的なオブザーバビリティでパフォーマンスとシステムヘルスを追跡します。
最適化: スピード、コスト、品質のためにデプロイメントのすべてのレイヤーを調整します。
Bentoの使用例
- モデルデプロイメント
- 推論スケーリング
- パフォーマンス最適化
- 合理化された運用
- クラウドネイティブ推論
- LLMサービング
- バッチ推論
- リアルタイムAI機能
