Description
Databricks Model Serving fournit une solution complète pour les entreprises cherchant à déployer des modèles d'apprentissage automatique classiques, des modèles d'IA générative et des agents d'IA. Cette plateforme prend en charge à la fois des modèles propriétaires, tels qu'Azure OpenAI et AWS Bedrock, ainsi que des modèles open-source comme Llama et Mistral. Les utilisateurs peuvent servir des modèles open-source finement ajustés ou des modèles ML classiques entraînés sur leurs propres données, permettant ainsi une flexibilité dans le déploiement des modèles. Les modèles servis peuvent être facilement utilisés comme points de terminaison dans divers flux de travail, y compris l'inférence par lots à grande échelle et les applications en temps réel.
Lire la suite
L'une des caractéristiques clés de Databricks Model Serving est sa gouvernance intégrée, son suivi de l'historique et ses capacités de surveillance, qui garantissent des résultats de haute qualité. Cela est particulièrement important pour les organisations qui nécessitent une conformité stricte et une supervision de leurs modèles d'IA. La plateforme simplifie le processus de déploiement pour tous les types de modèles et d'agents d'IA, permettant aux utilisateurs de déployer des modèles open-source pré-entraînés ou des modèles personnalisés construits sur leurs propres données, que ce soit sur des CPU ou des GPU. La construction automatisée de conteneurs et la gestion de l'infrastructure réduisent les coûts de maintenance et accélèrent le déploiement, permettant aux entreprises de se concentrer sur la création de valeur grâce à leurs systèmes d'IA.
Databricks Model Serving offre également une gestion unifiée pour tous les modèles, facilitant l'accès et la gestion de modèles ML personnalisés comme PyFunc et scikit-learn, ainsi que des modèles de base hébergés sur Databricks ou d'autres fournisseurs. Cette interface utilisateur unifiée et API rationalisent le processus de gestion, améliorant l'expérience utilisateur. De plus, la plateforme permet une inférence par lots sans effort, permettant une inférence d'IA efficace et sans serveur sur de grands ensembles de données à travers divers types de données et modèles. L'intégration avec Databricks SQL, Notebooks et Workflows facilite l'application de l'IA à grande échelle.
La plateforme est conçue pour être rentable, servant des modèles en tant qu'APIs à faible latence sur un service sans serveur hautement disponible avec un support à la fois pour CPU et GPU. Les utilisateurs peuvent évoluer de zéro pour répondre à des besoins critiques et redescendre au fur et à mesure que les exigences changent, avec des options de tarification flexibles disponibles. Databricks gère les coûts de gestion de l'infrastructure et de maintenance, permettant aux organisations de se concentrer sur la création de valeur commerciale.
- CatégorieMLOps et déploiement de modèles
- Modèle tarifairePaiement par jeton
- DéploiementSans serveur
- PlateformesCloud
Fonctionnalités principales de Mosaic AI Model Serving
Déploiement unifié pour les modèles d'IA
Prend en charge les modèles ML classiques et les modèles d'IA générative
Gouvernance et surveillance intégrées
Construction de conteneurs automatisée
Inférence par lots sans effort
Inférence d'IA sans serveur
API à faible latence rentable
Interface de gestion unifiée
Comment utiliser Mosaic AI Model Serving ?
Déployer : Choisissez votre type de modèle et déployez-le sur Databricks.
Intégrer : Utilisez les modèles servis comme points de terminaison dans vos flux de travail.
Surveiller : Utilisez les outils de gouvernance et de surveillance intégrés pour l'assurance qualité.
Évoluer : Ajustez les ressources en fonction de vos besoins de charge de travail.
Cas d'utilisation de Mosaic AI Model Serving
- Recommandations en temps réel
- Traitement par lots
- Gouvernance des modèles
- Déploiement de modèles personnalisés
- Applications d'IA évolutives
