描述
欢迎阅读 Intel® Gaudi® AI 加速器的官方文档，涵盖版本 v1.24 及更早版本。本资源旨在帮助开发人员和研究人员充分发挥 Intel® Gaudi® 2 和 Intel® Gaudi® 3 AI 加速器的潜力。
阅读更多
本档提供了深入的信息，以帮助您使用 Gaudi 硬件。您将找到有关将现有 AI 模型迁移到 Gaudi 平台的详细指南，确保平稳过渡。其中包含实用的代码示例，用于说明各种功能并加速您的开发过程。
此外，本档还深入探讨了在 Gaudi 上调试和优化 AI 工作负载的最佳实践。这包括性能调优技巧、架构洞察以及实现最大效率的策略。提供了全面的 API 参考，以帮助您理解和利用 Gaudi 的全部功能。
关键部分涵盖软件安装和平台访问，使您能够正确设置环境。对训练和扩展功能进行了说明，并提供了有关训练 PyTorch 模型、使用 DeepSpeed 运行大型模型以及使用分布式训练技术进行多节点训练的特定指导。对于推理，本档详细介绍了如何运行 PyTorch 推理、利用 vLLM 和 SGLang 进行高效模型服务，以及使用 FP8 或 INT4 数据类型处理量化模型。
本档是与 Intel Gaudi 相关的所有信息的中心枢纽，确保用户拥有构建和部署尖端 AI 应用所需的工具和知识。可以通过“版本”按钮访问旧版文档。鼓励您提供关于您体验的反馈，以帮助改进未来的迭代。
- 类别机器学习平台
- 部署云端
- 平台网页版
Intel Gaudi的核心功能
Intel Gaudi 2 和 Gaudi 3 AI 加速器文档
关于将 AI 模型迁移到 Gaudi 的指南
各种功能的代码示例
调试和优化最佳实践
Gaudi 硬件和软件的 API 参考
软件安装和平台访问指南
训练 PyTorch 模型说明
支持使用 DeepSpeed 进行大型模型训练
多节点分布式训练功能
PyTorch 推理指南
使用 vLLM 和 SGLang 进行推理
支持 FP8 和 INT4 量化模型
模型服务功能
Intel Gaudi入门
安装软件：遵循安装指南设置必要的软件和系统配置。
访问平台：了解如何在您选择的平台上运行 Intel Gaudi Docker 镜像。
开始训练：开始训练 PyTorch 模型，并探索使用 DeepSpeed 运行大型模型的选项。
扩展训练：使用分布式训练技术实现多节点训练。
运行推理：开始运行 PyTorch 推理，并探索 vLLM 和 SGLang 等高级推理引擎。
优化模型：使用 FP8 或 INT4 数据类型运行量化模型。
部署模型：探索模型服务的选项。
Intel Gaudi的使用案例
- 模型迁移
- AI 模型训练
- 大型模型部署
- 优化推理
- 性能调优
- 平台设置
