Descrição
O Databricks Model Serving fornece uma solução abrangente para empresas que desejam implantar modelos clássicos de aprendizado de máquina, modelos de IA generativa e agentes de IA. Esta plataforma suporta tanto modelos proprietários, como Azure OpenAI e AWS Bedrock, quanto modelos de código aberto como Llama e Mistral. Os usuários podem servir modelos de código aberto ajustados ou modelos clássicos de ML treinados em seus próprios dados, permitindo flexibilidade na implantação de modelos. Os modelos servidos podem ser facilmente utilizados como endpoints em vários fluxos de trabalho, incluindo inferência em lote em larga escala e aplicações em tempo real.
Ler mais
Uma das principais características do Databricks Model Serving é sua governança, rastreamento de linhagem e capacidades de monitoramento integradas, que garantem saídas de alta qualidade. Isso é particularmente importante para organizações que exigem conformidade rigorosa e supervisão de seus modelos de IA. A plataforma simplifica o processo de implantação para todos os tipos de modelos e agentes de IA, permitindo que os usuários implantem modelos de código aberto pré-treinados ou modelos personalizados construídos com seus próprios dados, seja em CPUs ou GPUs. A construção automatizada de contêineres e a gestão de infraestrutura reduzem os custos de manutenção e aceleram a implantação, permitindo que as empresas se concentrem em entregar valor por meio de seus sistemas de IA.
O Databricks Model Serving também oferece gestão unificada para todos os modelos, facilitando o acesso e a gestão de modelos de ML personalizados como PyFunc e scikit-learn, bem como modelos fundamentais hospedados no Databricks ou em outros provedores. Esta interface de usuário unificada e API simplificam o processo de gestão, melhorando a experiência do usuário. Além disso, a plataforma permite uma inferência em lote sem esforço, permitindo uma inferência de IA eficiente e sem servidor em grandes conjuntos de dados de vários tipos de dados e modelos. A integração com Databricks SQL, Notebooks e Workflows facilita a aplicação de IA em larga escala.
A plataforma foi projetada para ser econômica, servindo modelos como APIs de baixa latência em um serviço sem servidor altamente disponível com suporte tanto para CPU quanto para GPU. Os usuários podem escalar de zero para atender a necessidades críticas e reduzir conforme os requisitos mudam, com opções de preços flexíveis disponíveis. O Databricks cuida da gestão da infraestrutura e dos custos de manutenção, permitindo que as organizações se concentrem em entregar valor comercial.
- CategoriaMLOps e implantação de modelos
- Modelo de preçosPagamento por token
- ImplantaçãoSem servidor
- PlataformasNuvem
Recursos principais de Mosaic AI Model Serving
Implantação unificada para modelos de IA
Suporta modelos clássicos de ML e modelos de IA generativa
Governança e monitoramento integrados
Construção automatizada de contêineres
Inferência em lote sem esforço
Inferência de IA sem servidor
API de baixa latência econômica
Interface de gestão unificada
Como usar Mosaic AI Model Serving?
Implantar: Escolha seu tipo de modelo e implante-o no Databricks.
Integrar: Use modelos servidos como endpoints em seus fluxos de trabalho.
Monitorar: Utilize ferramentas de governança e monitoramento integradas para garantir a qualidade.
Escalar: Ajuste os recursos com base nas necessidades da sua carga de trabalho.
Casos de uso de Mosaic AI Model Serving
- Recomendações em tempo real
- Processamento em lote
- Governança de modelos
- Implantação de modelos personalizados
- Aplicações de IA escaláveis
