描述
Modal 是一个专为 AI 和数据团队打造的生产级云平台，提供开发者喜爱的、高性能的基础设施。它能够以惊人的速度运行推理、训练、批处理和沙箱，具有亚秒级冷启动和即时自动伸缩能力。该平台构建于 AI 原生运行时之上，从底层优化以应对繁重的 AI 工作负载，确保超快的自动伸缩和即时启动的容器。
阅读更多
开发者可以利用 Modal 的可组合原语，在 Python 代码中定义逻辑和硬件需求，直接部署到云端，无需离开他们偏好的语言。弹性云容量允许从零到超过 1000 个 GPU 的即时无缝伸缩，Modal 会实时智能地将工作负载路由到不同的云和区域。这消除了容量规划或长期承诺的需要，可在几秒钟内按需提供 GPU。
Modal 已为生产做好准备，提供开箱即用的可观测性，包括集成的日志记录和对每个函数、沙箱和容器的全面可见性。这使团队能够构建健壮、生产就绪的应用程序。该平台支持广泛的工作负载，包括部署和伸缩 LLM、音频、图像/视频生成、开源模型微调以及创建安全的、临时的沙箱来运行不受信任的代码。
对于推理，Modal 支持各种 GPU 上的任何模型或引擎，在请求之间伸缩到零，并在需要时爆发以处理需求。它处理多模态推理、批处理和异步处理，并提供具有全球范围内低于 10 毫秒开销延迟的在线推理。对于训练，它支持从单 GPU 微调到多节点运行的完整流程，包括 SFT、LoRA 和并行超参数搜索。Modal 沙箱旨在伸缩代理，为编码代理、后台代理和 RL 回放提供隔离的、灵活的执行层，能够在几秒钟内启动数十万个并发环境。
Modal 的全球 GPU 基础设施提供随时随地访问任何 GPU 的能力，分布在各个云端，并具有自动化的集群健康状况和与需求匹配的伸缩能力。安全和治理功能包括团队控制、经过实战检验的隔离、SOC2 和 HIPAA 合规性以及数据驻留控制，赋能各种规模的团队进行大规模部署。实际应用展示了 ML 驱动项目的延迟显著降低和更快的启动时间。
- 类别MLOps 与模型部署
- 定价模式每月$30的免费计算
- 部署云端
- 平台Python SDK
Modal: AI 基础设施的核心功能
无服务器 AI 基础设施
高性能计算（CPU、GPU）
亚秒级冷启动
即时自动伸缩（0 到 1000+ GPU）
原生 Python 开发体验
用于逻辑和硬件的可组合原语
用于繁重工作负载的 AI 原生运行时
跨多个云/区域的弹性云容量
开箱即用的可观测性（日志记录、可见性）
支持推理、训练和沙箱
针对 LLM 推理进行了优化
全栈训练能力
用于代理和不受信任代码的可伸缩沙箱
全球 GPU 基础设施
安全和治理功能（SOC2、HIPAA）
如何使用 Modal: AI 基础设施？
配置：使用 Modal 的 SDK，在 Python 代码中定义您的 AI 工作负载逻辑和硬件需求。
部署：将您的代码部署到 Modal 云端以进行即时执行。
伸缩：根据需求利用从零到数千个 GPU 的自动伸缩。
监控：利用集成的可观测性工具，实时了解您的应用程序。
优化：利用 Modal 的高性能训练和推理能力来优化您的模型和工作流程。
Modal: AI 基础设施的使用案例
- LLM 推理
- 模型训练
- 批处理
- AI 代理执行
- 多模态 AI
- 实时应用程序
- GPU 加速研究
