Descripción
Databricks Model Serving proporciona una solución integral para las empresas que buscan desplegar modelos de aprendizaje automático clásicos, modelos de IA generativa y agentes de IA. Esta plataforma soporta tanto modelos propietarios, como Azure OpenAI y AWS Bedrock, así como modelos de código abierto como Llama y Mistral. Los usuarios pueden servir modelos de código abierto ajustados o modelos de ML clásicos entrenados con sus propios datos, lo que permite flexibilidad en el despliegue de modelos. Los modelos servidos pueden ser utilizados fácilmente como puntos finales en varios flujos de trabajo, incluyendo inferencia por lotes a gran escala y aplicaciones en tiempo real.
Leer más
Una de las características clave de Databricks Model Serving es su gobernanza, trazabilidad y capacidades de monitoreo integradas, que aseguran resultados de alta calidad. Esto es particularmente importante para las organizaciones que requieren un cumplimiento y supervisión estrictos de sus modelos de IA. La plataforma simplifica el proceso de despliegue para todos los tipos de modelos y agentes de IA, permitiendo a los usuarios desplegar modelos de código abierto preentrenados o modelos personalizados construidos con sus propios datos, ya sea en CPUs o GPUs. La construcción automatizada de contenedores y la gestión de infraestructura reducen los costos de mantenimiento y aceleran el despliegue, permitiendo a las empresas centrarse en ofrecer valor a través de sus sistemas de IA.
Databricks Model Serving también ofrece gestión unificada para todos los modelos, facilitando el acceso y la gestión de modelos de ML personalizados como PyFunc y scikit-learn, así como modelos base alojados en Databricks u otros proveedores. Esta interfaz de usuario y API unificadas agilizan el proceso de gestión, mejorando la experiencia del usuario. Además, la plataforma permite una inferencia por lotes sin esfuerzo, lo que permite una inferencia de IA eficiente y sin servidor en grandes conjuntos de datos a través de varios tipos de datos y modelos. La integración con Databricks SQL, Notebooks y Workflows facilita la aplicación de IA a gran escala.
La plataforma está diseñada para ser rentable, sirviendo modelos como APIs de baja latencia en un servicio sin servidor altamente disponible con soporte tanto para CPU como para GPU. Los usuarios pueden escalar desde cero para satisfacer necesidades críticas y reducir la escala a medida que cambian los requisitos, con opciones de precios flexibles disponibles. Databricks se encarga de la gestión de infraestructura y los costos de mantenimiento, permitiendo a las organizaciones concentrarse en ofrecer valor comercial.
- CategoríaMLOps y despliegue de modelos
- Modelo de preciosPago por token
- ImplementaciónSin servidor
- PlataformasNube
Características principales de Mosaic AI Model Serving
Despliegue unificado para modelos de IA
Soporta modelos de ML clásicos y modelos de IA generativa
Gobernanza y monitoreo integrados
Construcción automatizada de contenedores
Inferencia por lotes sin esfuerzo
Inferencia de IA sin servidor
API de baja latencia rentable
Interfaz de gestión unificada
¿Cómo usar Mosaic AI Model Serving?
Desplegar: Elija su tipo de modelo y despliegue en Databricks.
Integrar: Utilice los modelos servidos como puntos finales en sus flujos de trabajo.
Monitorear: Utilice herramientas de gobernanza y monitoreo integradas para asegurar la calidad.
Escalar: Ajuste los recursos según las necesidades de su carga de trabajo.
Casos de uso de Mosaic AI Model Serving
- Recomendaciones en tiempo real
- Procesamiento por lotes
- Gobernanza de modelos
- Despliegue de modelos personalizados
- Aplicaciones de IA escalables
