描述
Databricks 模型服务为希望部署经典机器学习模型、生成式 AI 模型和 AI 代理的企业提供全面解决方案。该平台支持专有模型，如 Azure OpenAI 和 AWS Bedrock，以及开源模型，如 Llama 和 Mistral。用户可以服务于经过微调的开源模型或在自己数据上训练的经典 ML 模型，从而在模型部署中实现灵活性。所服务的模型可以作为各种工作流中的端点轻松使用，包括大规模批量推理和实时应用。
阅读更多
Databricks 模型服务的一个关键特性是其内置的治理、血统和监控能力，确保高质量的输出。这对于需要严格合规和监督其 AI 模型的组织尤为重要。该平台简化了所有类型 AI 模型和代理的部署过程，使用户能够在 CPU 或 GPU 上部署预训练的开源模型或基于自己数据构建的自定义模型。自动化的容器构建和基础设施管理降低了维护成本，加快了部署速度，使企业能够专注于通过其 AI 系统提供价值。
Databricks 模型服务还提供所有模型的统一管理，使访问和管理自定义 ML 模型（如 PyFunc 和 scikit-learn）以及托管在 Databricks 或其他提供商上的基础模型变得简单。这个统一的用户界面和 API 简化了管理过程，提升了用户体验。此外，该平台支持轻松的批量推理，允许在各种数据类型和模型上高效、无服务器地进行 AI 推理。与 Databricks SQL、笔记本和工作流的集成促进了 AI 的大规模应用。
该平台旨在具有成本效益，以低延迟 API 的形式在高度可用的无服务器服务上提供模型，支持 CPU 和 GPU。用户可以从零开始扩展以满足关键需求，并在需求变化时缩减，提供灵活的定价选项。Databricks 处理基础设施管理和维护成本，使组织能够专注于提供商业价值。
- 类别MLOps 与模型部署
- 定价模式按令牌付费
- 部署无服务器
- 平台云端
Mosaic AI Model Serving的核心功能
AI 模型的统一部署
支持经典 ML 和生成式 AI 模型
内置治理和监控
自动化容器构建
轻松的批量推理
无服务器 AI 推理
具有成本效益的低延迟 API
统一管理界面
如何使用 Mosaic AI Model Serving？
部署：选择您的模型类型并在 Databricks 上部署。
集成：在您的工作流中使用服务模型作为端点。
监控：利用内置的治理和监控工具进行质量保证。
扩展：根据工作负载需求调整资源。
Mosaic AI Model Serving的使用案例
- 实时推荐
- 批处理
- 模型治理
- 自定义模型部署
- 可扩展的 AI 应用
