跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Dynamo-Triton 开源软件

AI 框架MLOps 与模型部署开源 · NVIDIA GPU,x86,ARM

NVIDIA Dynamo-Triton 使得在 TensorRT、PyTorch 和 ONNX 等各种框架中部署 AI 模型成为可能。它支持实时、批处理和流式工作负载,适用于多种 AI 应用。

访问URL
分享
访问URL
分享

NVIDIA Dynamo-Triton,前身为 NVIDIA Triton 推理服务器,是一款开源软件,旨在促进在 TensorRT、PyTorch、ONNX、OpenVINO、Python 和 RAPIDS FIL 等主要框架中部署 AI 模型。该强大工具通过动态批处理、并发执行和优化配置等功能提供高性能。Dynamo-Triton 能够支持多种工作负载,包括实时、批处理、集成和音频/视频流式处理,并且能够在 NVIDIA GPU、非 NVIDIA 加速器、x86 和 ARM CPU 上无缝运行。

阅读更多

作为一款开源解决方案,Dynamo-Triton 兼容 DevOps 和 MLOps 工作流程,能够与 Kubernetes 有效集成以进行扩展,并与 Prometheus 集成以进行监控。它旨在在云和本地 AI 平台上工作,提供安全且适合生产的环境,作为 NVIDIA AI 企业的一部分。该环境包括稳定的 API 和广泛的 AI 部署支持,确保开发人员能够高效管理他们的 AI 模型。

对于大型语言模型(LLM)应用,NVIDIA 提供了额外的工具,如 NVIDIA Dynamo,专为 LLM 推理和多模式部署而设计。该工具通过提供 LLM 特定的优化,包括分散服务、前缀缓存和键值缓存到存储,来补充 Dynamo-Triton。开发人员可以访问丰富的资源,包括文档、教程和入门工具包,以帮助他们开始使用 Dynamo-Triton,并最大限度地发挥其在 AI 项目中的能力。

  • 类别MLOps 与模型部署
  • 定价模式开源
  • 部署云端与本地部署
  • 平台NVIDIA GPU,x86,ARM

  • 开源

  • 支持 TensorRT、PyTorch、ONNX、OpenVINO

  • 实时和批处理工作负载

  • 动态批处理

  • 并发执行

  • 与 Kubernetes 集成

  • 兼容 Prometheus

  • 支持 NVIDIA 和非 NVIDIA 硬件

  • 支持云和本地部署

  • 提供 LLM 特定优化

  1. 配置:设置您的环境以部署 AI 模型。

  2. 集成:将 Dynamo-Triton 与您选择的 AI 框架连接。

  3. 部署:使用 Triton 推理服务器启动您的 AI 模型。

  4. 监控:使用 Prometheus 跟踪性能和资源使用情况。

  5. 扩展:根据需要利用 Kubernetes 扩展您的部署。

  • 实时 AI 推理
  • 批处理
  • 音频/视频流式处理
  • 大型语言模型
  • 云部署

NVIDIA 旗下产品

Dynamo-Triton 开源软件 评价

加载中...

与 Dynamo-Triton 开源软件 类似的热门AI工具

LiteRT

AI 框架

LiteRT 是 Google 的高性能设备端机器学习框架,用于在边缘平台部署 GenAI 和 ML 模型。它在 TensorFlow Lite 的基础上,提供高效的模型转换、运行时和优化,以实现跨越数十亿设备的低延迟和高隐私性。

MLOps 与模型部署
查看工具

AI 框架

Google 的高性能设备端机器学习框架,用于在边缘平台部署 GenAI 和 ML 模型。它在 TensorFlow Lite 的基础上,提供高效的模型转换、运行时和优化,以实现跨越数十亿设备的低延迟和高隐私性。LiteRT 是 Google 的高性能设备端机器学习框架,用于在边缘平台部署 GenAI 和 ML 模型。它在 TensorFlow Lite 的基础上,提供高效的模型转换、运行时和优化,以实现跨越数十亿设备的低延迟和高隐私性。

MLOps 与模型部署
查看 AI 框架 Top 50

TensorFlow Extended (TFX) 是一个谷歌生产级规模的机器学习平台。它提供了一个配置框架和共享库,用于集成定义、启动和监控机器学习系统的通用组件。TFX 能够构建和管理生产环境中的机器学习工作流,并在各种平台之间编排管道。

MLOps 与模型部署
查看工具

谷歌生产级规模的机器学习平台。它提供了一个配置框架和共享库,用于集成定义、启动和监控机器学习系统的通用组件。TFX 能够构建和管理生产环境中的机器学习工作流,并在各种平台之间编排管道。TensorFlow Extended (TFX) 是一个谷歌生产级规模的机器学习平台。它提供了一个配置框架和共享库,用于集成定义、启动和监控机器学习系统的通用组件。TFX 能够构建和管理生产环境中的机器学习工作流,并在各种平台之间编排管道。

MLOps 与模型部署
查看 AI 框架 Top 50

Together AI

AI 平台

Together AI 提供全栈 AI 平台,即 AI 原生云,用于推理、微调和 GPU 集群。它由前沿研究提供支持,提供更快的推理、更低的成本和加速的预训练。该平台支持 AI 发展的每个阶段,从实验到大规模部署。

机器学习平台

AI 平台 排名第 14 位

查看工具

AI 平台

提供全栈 AI 平台,即 AI 原生云,用于推理、微调和 GPU 集群。它由前沿研究提供支持,提供更快的推理、更低的成本和加速的预训练。该平台支持 AI 发展的每个阶段,从实验到大规模部署。Together AI 提供全栈 AI 平台,即 AI 原生云,用于推理、微调和 GPU 集群。它由前沿研究提供支持,提供更快的推理、更低的成本和加速的预训练。该平台支持 AI 发展的每个阶段,从实验到大规模部署。

精选机器学习平台
AI 平台 排名第 14 位

SiliconFlow

AI 平台

一个为开发者提供的AI基础设施平台,通过一个与OpenAI兼容的API,以按需付费的方式部署、微调和运行200多个优化的LLM和多模态模型。

MLOps 与模型部署
查看工具

AI 平台

一个为开发者提供的AI基础设施平台,通过一个与OpenAI兼容的API,以按需付费的方式部署、微调和运行200多个优化的LLM和多模态模型。

精选MLOps 与模型部署
查看 AI 平台 Top 150

Runware

AI 应用

Runware 是一个生成性 AI 推理平台,提供统一的 API 用于图像、视频、音频、3D、LLM 和视觉模型。它提供超过 40 万个模型,管理基础设施,并基于使用量定价,构建在自定义推理引擎之上。

MLOps 与模型部署
查看工具

AI 应用

生成性 AI 推理平台,提供统一的 API 用于图像、视频、音频、3D、LLM 和视觉模型。它提供超过 40 万个模型,管理基础设施,并基于使用量定价,构建在自定义推理引擎之上。Runware 是一个生成性 AI 推理平台,提供统一的 API 用于图像、视频、音频、3D、LLM 和视觉模型。它提供超过 40 万个模型,管理基础设施,并基于使用量定价,构建在自定义推理引擎之上。

MLOps 与模型部署
查看 AI 应用 Top 250

Cerebrium

AI 平台

Cerebrium 提供用于实时 AI 的无服务器 GPU 基础设施,可实现语音代理、视频模型和 LLM 的亚秒级冷启动。它提供即时自动扩展、按秒计费,并消除了对 Kubernetes 的需求,从而无需复杂的基础设施管理即可实现生产级 AI。

MLOps 与模型部署
查看工具

AI 平台

提供用于实时 AI 的无服务器 GPU 基础设施,可实现语音代理、视频模型和 LLM 的亚秒级冷启动。它提供即时自动扩展、按秒计费,并消除了对 Kubernetes 的需求,从而无需复杂的基础设施管理即可实现生产级 AI。Cerebrium 提供用于实时 AI 的无服务器 GPU 基础设施,可实现语音代理、视频模型和 LLM 的亚秒级冷启动。它提供即时自动扩展、按秒计费,并消除了对 Kubernetes 的需求,从而无需复杂的基础设施管理即可实现生产级 AI。

精选MLOps 与模型部署
查看 AI 平台 Top 150

KServe

AI 平台

KServe 是一个开源的、Kubernetes 原生的自托管 AI 推理平台。它为生成式 AI 和预测式 AI 提供统一的解决方案,通过 GPU 加速和自动伸缩等功能,简化了从快速部署到高要求的企业级工作负载的部署。

MLOps 与模型部署

AI 平台 排名第 88 位

查看工具

AI 平台

开源的、Kubernetes 原生的自托管 AI 推理平台。它为生成式 AI 和预测式 AI 提供统一的解决方案,通过 GPU 加速和自动伸缩等功能,简化了从快速部署到高要求的企业级工作负载的部署。KServe 是一个开源的、Kubernetes 原生的自托管 AI 推理平台。它为生成式 AI 和预测式 AI 提供统一的解决方案,通过 GPU 加速和自动伸缩等功能,简化了从快速部署到高要求的企业级工作负载的部署。

MLOps 与模型部署
AI 平台 排名第 88 位

OpenVINO 是一个开源工具包,用于在各种硬件上部署高性能 AI 解决方案。它使开发人员能够转换、优化和运行来自流行框架的生成式和传统 AI 模型进行推理,支持云、AI PC 和边缘设备的高效部署。

计算机视觉工具
查看工具

开源工具包,用于在各种硬件上部署高性能 AI 解决方案。它使开发人员能够转换、优化和运行来自流行框架的生成式和传统 AI 模型进行推理,支持云、AI PC 和边缘设备的高效部署。OpenVINO 是一个开源工具包,用于在各种硬件上部署高性能 AI 解决方案。它使开发人员能够转换、优化和运行来自流行框架的生成式和传统 AI 模型进行推理,支持云、AI PC 和边缘设备的高效部署。

计算机视觉工具
查看 AI 框架 Top 50
1/8