AI 智能体
LangSmith 是一个 AI 智能体和 LLM 可观测性平台，提供对智能体行为的全面可见性。它有助于调试智能体、识别故障以及跟踪成本和延迟。使用 Python、Typescript、Go 或 Java SDK 跟踪您喜欢的框架或与任何智能体堆栈集成。获取实时洞察以优化性能。
最佳 MLOps 与模型部署 AI工具
113 个工具发现最佳的MLOps与模型部署工具——从AI代理可观测性工具和AI平台到AI框架、AI GitHub仓库和可扩展推理解决方案，这是数据科学家和工程师简化工作流程的地方：监控AI代理、部署机器学习模型、管理模型生命周期和通过API运行AI。 浏览 113 个最佳 MLOps 与模型部署 AI工具，涵盖 AI 应用, AI 平台, AI 框架, AI 智能体 和 AI GitHub 仓库 等——每个条目上线前都经过人工审核，并以11种语言发布。
113 tools
AI 智能体
Langfuse 是一个开源的 LLM 工程平台，旨在帮助开发人员构建、监控和改进 AI 应用程序。它在一个统一的工作流程中提供追踪、提示管理、评估和分析。Langfuse 支持各种模型、框架和集成，使团队能够高效地从原型到生产。
AI 框架
MLflow 提供全面的文档，涵盖传统机器学习工作流和现代 LLM/代理开发。它包括实验跟踪、模型注册表、部署、LLM 跟踪、代理评估、提示管理和 AI 治理，提供管理整个 AI 生命周期的工具。
AI 智能体
Braintrust 是一个 AI 可观测性平台，旨在构建高质量的 AI 产品。它帮助团队追踪生产、运行评估，并在影响用户之前发现回归。该平台提供实时追踪检查、质量衡量和自动化评分，以提高 AI 性能。
AI 框架
Kubeflow 文档提供了关于理解和使用 Kubeflow 平台的全面资源。它涵盖了入门指南、子项目详情、社区信息以及更广泛的 Kubeflow 生态系统。对于任何希望在 Kubernetes 上实现和管理机器学习工作流的人来说，这些文档都至关重要。
AI 平台
Bento 是一个为速度和控制而设计的推理平台，使您能够将任何 AI 模型部署到任何地方。它提供定制优化、高效扩展和简化的操作，以满足 AI 团队的需求。在保持对部署的完全控制的同时，简化推理基础设施。
AI 智能体
LM Studio 允许您直接在计算机上运行本地 AI 模型。它支持 gpt-oss、Llama、Gemma、Qwen 和 DeepSeek 等模型。无需互联网连接即可私下部署和使用 AI 模型。它提供 GUI 和用于服务器和 CI 的无头部署选项。
Replicate 提供了一个云 API，用于运行和微调开源机器学习模型。只需一行代码即可部署自定义模型。访问数千个面向生产的 AI 模型，用于图像生成、语音、音乐和视频创作。仅按使用的计算付费，并自动扩展。
AI 平台
DataRobot 提供一个统一的代理工作平台，旨在帮助企业有效构建、运营和管理 AI 应用，同时最小化风险并最大化影响。
AI 平台
红帽 OpenShift AI 是一个灵活的混合云平台，集成了 MLOps、GenAIOps 和 AgentOps 功能，使组织能够加速在各种环境中部署智能 AI 应用程序。
AI 平台
Clarifai 是一个领先的计算编排 AI 平台，专为规模和速度而设计。它通过动态管理计算资源来简化复杂的 AI 任务，从而在 GPU 上实现更快的推理和决策。该平台专注于模型优化、软件设计和超大规模 AI 云环境的高效执行。
AI 平台
Baseten的推理平台使用户能够高效地部署和扩展开源及自定义AI模型。它提供高性能推理，配备专用基础设施、优化的API和无缝的开发者工作流程，确保快速部署和可靠的性能。
AI 框架
Comet 的 ML 平台赋能数据科学和机器学习团队在整个 ML 生命周期中跟踪、比较、解释和优化模型。它简化了实验管理、模型监控和 LLM 应用评估，从而实现更快的迭代和更好的模型开发。
AI GitHub 仓库
vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。
AI 应用
一个开源的AI代理可观察性和监控平台，能够追踪生产中的代理，发现故障，并自动派遣编码代理进行修复。
AI 平台
DeepInfra 是一个 AI 推理云，通过开发者友好的 API 提供 100 多个机器学习模型，采用按需付费定价。它面向需要成本效益高、可扩展、生产就绪推理的开发者和企业。
AI 平台
一个为开发者提供的AI基础设施平台，通过一个与OpenAI兼容的API，以按需付费的方式部署、微调和运行200多个优化的LLM和多模态模型。
AI 框架
SGLang是一个为大型语言和多模态模型设计的高性能服务框架。它提供广泛的硬件支持和强大的生态系统，帮助开发者高效地实现先进的AI解决方案。
Kubeflow 简化了在 Kubernetes 上部署机器学习工作流的过程，使其变得简单和自动化。它是开源的，由社区构建，为人工智能平台团队提供了模块化和可扩展的解决方案。
Cloudflare Workers AI 是一个边缘 AI 推理平台，允许用户通过一次 API 调用在全球范围内运行 AI 推理。它提供超过 50 种模型和无服务器定价，使得扩展 AI 工作负载变得简单，无需管理基础设施。
AI 平台
Comet是Opik的创造者，Opik是为开发者设计的端到端AI可观察性平台。它提供先进的代理测试、优化和监控功能，以增强开发过程并改善AI模型性能。
TrueFoundry 是一个企业级 AI 平台，能够实现 LLM 和 AI 代理的部署、安全和扩展。它提供了跨 AI 应用的集中治理和可观察性，确保企业的合规性和成本控制。
AI 平台
ZenML 是一个统一的机器学习和人工智能层，能够实现可重复的 ML 流水线和代理评估。它与现有基础设施无缝集成，使团队能够高效地构建和管理工作流程，而无需担心供应商锁定。
AI GitHub 仓库
SGLang 是一个专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。
AI 平台
Cerebrium 提供用于实时 AI 的无服务器 GPU 基础设施，可实现语音代理、视频模型和 LLM 的亚秒级冷启动。它提供即时自动扩展、按秒计费，并消除了对 Kubernetes 的需求，从而无需复杂的基础设施管理即可实现生产级 AI。
AI 平台
Union.ai 是一个在您的云基础设施内运行的 AI 运行时，可确保数据隐私。它能够编排持久的 AI 工作流、实时应用程序并优化计算，为金融服务、地理空间、物流和生物技术行业带来显著的投资回报和成本节约。
Valohai是一个为集成LLM和专业模型的AI产品设计的MLOps平台。它使用户能够使用自己的云基础设施比较、评估和部署配置，同时保持从数据到部署的完整追溯。
Teammately 是一款专为 AI 工程师设计的 AI 助手，用于构建可靠的 AI 服务。它通过生成提示、优化 AI 模型和评估性能来自动化和加速 AI 开发。该平台提供诸如基于 Agent 的 RAG 构建、AI 生成的文档和多维 LLM 评估器等功能。
Phala Cloud 提供了一个机密的 AI 平台，用于私有 LLM 推理、密封代理和可验证计算。它运行在 TEE 保护的 GPU 上，包括 Intel TDX 和 NVIDIA H100/H200。用户可以部署现有的 Docker Compose 工作负载，验证运行时，并访问 GPU 市场。它提供企业级合规性和安全性。
AI 智能体
CRAB 是一个全面的基准测试框架，用于评估多模态语言模型代理。它提供跨环境支持、图评估器和自动化任务生成，能够对代理在各种场景和模型中的能力进行稳健评估。
AI 应用
UsageGuard 是一个企业级 AI 开发可观测性平台。它提供统一的 API 来访问多个 AI 模型，内置安全防护、审核、成本控制以及详细的最终用户和使用情况跟踪，以实现安全高效的 AI 应用开发。
AI 应用
Visnet 提供了一个全面的无头、多兼容且通用的神经网络接口，用于开发和部署 AI 模型。它提供模块化前端、无服务器架构和强大的安全功能，能够高效地集成 NLP 和深度视觉系统，以满足各种工业应用的需求。
AI 应用
APIPark 是一个开源的企业级 API 开发者门户和 LLM 网关。它提供统一的 API 签名以支持多个 LLM，并具备负载均衡、流量控制和提示管理功能。APIPark 增强了 LLM 调用的安全性、稳定性和成本优化能力，助力企业将 AI 集成到其运营中。
AI 应用
EnergeticAI 优化 TensorFlow.js 以用于无服务器 Node.js 应用程序，提供快速冷启动时间和更小的模块大小。它提供用于文本分类和嵌入等任务的预训练模型，使开发人员能够以对业务友好的许可高效地将开源 AI 集成到他们的项目中。
AI 应用
Meteron AI 提供一套完整的工具集，助力 AI 企业成长，处理 LLM 和生成式 AI 的计量、负载均衡和存储。它使开发者摆脱复杂流程的束缚，专注于构建 AI 产品。通过灵活的收费选项和弹性扩展来变现 AI 模型。
AI 应用
Coxwave Align 是一款面向生成式 AI 产品的分析引擎，使组织能够监控、分析和评估基于 LLM 的对话数据。它通过将原始交互数据转化为可操作的见解，帮助识别改进点、减少幻觉并提高聊天机器人的质量，从而提升产品投资回报率。
AI 应用
Hamming AI 提供一个全面的企业语音和聊天机器人质量保证 (QA) 及生产监控平台。它能自动化场景生成、回放生产通话，并提供超过 50 项指标。该平台通过了 SOC 2 认证并符合 HIPAA 要求，让团队能在 10 分钟内开始测试。
AI 应用
EvalsOne 是一个旨在轻松评估生成式 AI 应用程序的平台。它提供了工具和功能，帮助用户评估和理解其 AI 模型的性能。该服务现已停用，并已推出后续产品。
ClearML 的 GenAI App Engine 通过支持一键式 LLM 部署、计算成本优化和 AI 性能监控，在一个安全、可扩展的环境中加速 GenAI 的采用。它为开发人员和企业主简化了 GenAI 项目的启动。
AI 应用
EmbedAPI 提供了一个统一的平台，用于集成各种 AI 模型，包括 OpenAI、Anthropic 和 Gemini，到应用程序中。它简化了 AI 基础设施的管理，使开发人员能够以可预测的定价和企业级可靠性快速构建 AI 驱动的功能，如聊天机器人、内容生成和代码助手。
AI 应用
Orq.ai 是一个生成式AI协作平台，旨在帮助团队高效、安全地构建、发布和扩展AI应用程序。它提供了一个统一的环境，用于开发、测试、部署和监控GenAI应用程序，确保AI生命周期中的质量和持续改进。
AI 应用
Awan LLM 提供面向开发者和高级用户的无限制、经济高效的 LLM 推理 API 平台。它提供无限令牌，可实现广泛的数据处理、代码补全和 AI 代理开发，无需担心审查或令牌计数。免费开始体验经济高效、无限的 LLM 使用。
AI 应用
Mancer 为所有人提供无约束的大型语言模型 (LLM) 访问。它提供了一个平台，可以在没有过滤器或指导方针的情况下，针对强大的 LLM 运行任何提示。用户可以免费注册以访问功能强大的 LLM，或付费以获得增强的模型性能、速度和强度。
AI 应用
TextSynth 提供 API 访问，可用于高级文本和图像生成、语音处理等 AI 模型。它利用自定义推理，在标准硬件上实现更快、更低成本的操作。公司成立于 2020 年，是早期提供 GPT-2 访问的服务商之一，服务器位于法国。提供带有速率限制的免费套餐。
AI 应用
Langtrace 是一个开源的可观测性和评估平台，旨在帮助开发人员将 AI 原型转化为企业级产品。它提供对 AI 代理性能、安全性和成本的洞察，支持主流框架和 LLM 提供商，实现无缝集成和迭代。
AI 应用
OpenLIT 是一个开源的 AI 工程平台，为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管，确保数据隐私和生产工作负载无供应商锁定。
AI 应用
Klu.ai 赋能团队设计、部署和优化大型语言模型 (LLM) 应用。它提供协作式提示设计、评估工作流和可观测性工具，以确保可靠的 AI 体验。Klu 帮助协调团队、跟踪性能并管理生产 LLM 应用的成本。
Featherless 提供开源 LLM 的无服务器托管，提供一个 API 密钥即可即时访问超过 30,000 个模型。它简化了部署，为希望集成高级 AI 功能而无需处理基础设施难题的开发人员和企业确保了可靠性和可预测的成本。
AI 智能体
Coval 提供 AI 语音和聊天代理的模拟与评估平台。它帮助团队大规模测试、监控和优化其 AI 代理，在部署前后发现数百万个边缘案例。该平台旨在通过确保持续质量，使语音 AI 做好部署准备。
AI 应用
Cekura 为对话式AI代理提供自动化的端到端测试和可观测性。它通过多样化的人物角色模拟预生产场景，并监控实时对话，以确保指令遵循、工具使用和整体对话质量，从而实现更快、更可靠的代理部署。
AI 应用
VERN OS 是一个人工智能治理系统，通过实时检测情感信号和应用行为策略来增强对话式 AI。它确保 AI 回复更安全、更有效，并与业务目标保持一致，从而防止漂移并改善用户体验。该系统提供用于信任和性能监控的分析。
AI 应用
Cyara 提供 Agentic AI，用于 CX 保障和测试，使企业能够大规模地自信地部署 AI 代理。它可检测幻觉、验证决策并确保合规性，通过为 AI 驱动的交互提供关键的置信度层，在 AI 优先的世界中转变客户体验。
AI 应用
ManagePrompt 是一款开源的本地 LLM 调用调试器，可在开发过程中捕获所有 API 调用。它在本地 Web UI 中提供完整的请求/响应详情、Token 使用量、成本估算和延迟信息，从而简化了与各种 LLM 提供商合作的开发人员的调试流程。
AI 应用
Deployo 将 AI 模型转化为生产就绪型应用程序，提供直观、云无关且安全的基础设施。它简化了机器学习工作流，使用户能够在几分钟内从训练转变为可扩展的 API，从而降低部署复杂性和时间。
AI 应用
Backmesh 是一个开源后端，可保护您的 LLM API 密钥，防止泄露并控制成本。它提供 JWT 身份验证、每个用户的速率限制以及 API 资源访问控制，确保只有授权用户才能访问敏感的 LLM 功能。它还提供 LLM 用户分析。
AI 应用
Elixir Observability 是一个专为多模态、音频优先的对话式 AI 代理设计的 AI Ops & QA 平台。它提供自动化测试、通话审查、监控、分析和追踪功能，以确保语音代理在生产环境中可靠且如预期般运行。
AI 应用
mpathic AI 提供一个以人为本的 AI 安全平台，用于分析对话和上下文数据。它通过专家主导的红队测试和科学严谨的人类数据基准测试，帮助 AI 构建者评估、压力测试和改进面向人类的模型，以确保更安全、更具吸引力的 AI。
AI 应用
Remyx AI 为 AI 团队提供决策智能，帮助他们确定下一步要交付什么。它分析评估、实验和生产结果，以推荐最具影响力的更改，并能发现那些不会提高性能的更改。该平台与现有堆栈集成，以简化 AI 开发生命周期。
AI 应用
Eden AI 提供统一的 API，可访问 500 多个领先的 AI 模型，包括 LLM 以及用于语音、视觉和 OCR 的专业 AI。它支持基于成本、性能和区域的智能路由，并内置了故障转移机制以增强鲁棒性和控制力。
AI 应用
ModelsLab 提供统一的 API，让开发者可以访问超过 1000 个生成式 AI 模型。生成图像、视频、音频，并利用 LLM 构建快速、可扩展且经济高效的 AI 驱动型应用。通过单一、简单的界面，使用多样化、前沿的 AI 工具进行构建。
AI 平台
Wallaroo.ai 是一个 AI 平台，提供用于部署、管理和监控机器学习模型的工具。它旨在简化 MLOps 生命周期，使团队能够更快、更自信地将 AI 推向生产。该平台支持各种模型类型并与现有工作流集成。
AI 平台
Seldon Core 是一个 MLOps 和 LLMOps 框架，用于在 Kubernetes 上部署、管理和扩展 AI 系统。它支持跨云部署各种模型类型，并通过管道、自动伸缩和多模型服务等功能，促进模块化和以数据为中心的应用程序。
Cortex 提供可扩展的云基础设施，用于在生产环境中部署、管理和扩展机器学习模型。它提供无服务器和批量处理、自动化集群管理以及 CI/CD 集成，基于 AWS EKS 构建，可实现可靠且经济高效的 ML 运营。
AI 平台
KServe 是一个开源的、Kubernetes 原生的自托管 AI 推理平台。它为生成式 AI 和预测式 AI 提供统一的解决方案，通过 GPU 加速和自动伸缩等功能，简化了从快速部署到高要求的企业级工作负载的部署。
SUPERWISE AMP 是一个面向受监管行业的 Agentic 管理平台，提供完整的可见性、实时护栏和策略执行。它使企业能够安全合规地构建、管理和治理 AI 代理，通过 PII 检测和审计日志等功能确保可信赖的 AI 结果。
AI 平台
DKube 赋能企业部署安全、生产就绪的私有化 AI 系统。它支持在本地和混合环境中构建 AI 解决方案，确保完全的控制权、合规性和所有权。DKube 的综合平台可将 AI 部署速度从数周缩短至数月。
AI 平台
DVC 是一个开源的数据科学和机器学习项目版本控制系统。它提供类似 Git 的体验来管理数据、模型和实验，将软件工程最佳实践引入 AI/ML 工作流和数据基础设施。
AI 模型
Together AI 是一个AI模型平台。它提供对各种模型的访问，使开发人员能够将先进的AI功能集成到他们的应用程序中。该平台专注于提供一个强大的AI开发和部署环境，支持AI驱动项目的创新和效率。
AI 框架
OpenVINO 是一个开源工具包，用于在各种硬件上部署高性能 AI 解决方案。它使开发人员能够转换、优化和运行来自流行框架的生成式和传统 AI 模型进行推理，支持云、AI PC 和边缘设备的高效部署。
AI 框架
Weights & Biases 提供了一个用于开发 AI 模型和发布 LLM 应用程序的平台。它提供实验跟踪、评估和可观测性工具，以及用于无服务器推理、训练和沙箱的托管服务，以简化 AI 开发工作流程。
AI 框架
SHAP (SHapley Additive exPlanations) 是一种基于博弈论的方法，用于解释机器学习模型的输出。它利用 Shapley 值将最优信用分配与局部解释联系起来，从而深入了解特征如何影响各种模型类型和数据模态的预测。
AI 框架
LIME 是一个 Python 包，用于生成机器学习模型预测的本地、可解释且模型无关的解释。它通过突出对结果贡献最大的特征来帮助理解模型为何做出特定决策，从而使复杂模型对用户更加透明和值得信赖。
AI 框架
AI Fairness 360 (AIF360) 是一个开源工具包，旨在帮助研究人员和开发人员检测、理解和缓解机器学习模型中不希望存在的偏见。它提供了一套全面的公平性指标和缓解算法，以促进公平的 AI 系统。
AI 框架
Fairlearn 是一个开源工具包，旨在评估和改进 AI 系统的公平性。它提供了用于识别和缓解机器学习模型中不公平现象的工具，帮助开发人员构建更公平的 AI 应用。该框架支持各种公平性指标和缓解策略。
AI 框架
ONNX (Open Neural Network Exchange) 提供了其 1.23.0 版本的文档。内容涵盖核心概念、Python 集成、API 参考、版本控制、数据结构和算子。文档详细介绍了数据存储、安全性和后端实现指南以及实验性算子等技术方面。
LiteRT 是 Google 的高性能设备端机器学习框架，用于在边缘平台部署 GenAI 和 ML 模型。它在 TensorFlow Lite 的基础上，提供高效的模型转换、运行时和优化，以实现跨越数十亿设备的低延迟和高隐私性。
AI 框架
Core ML 是一个 Apple 框架，允许开发者将机器学习模型直接集成到他们的应用程序中。它为模型提供统一的表示，支持设备端预测和训练。Core ML 通过利用 CPU、GPU 和神经网络引擎等设备硬件来优化性能，确保隐私和响应速度。
TensorFlow Extended (TFX) 是一个谷歌生产级规模的机器学习平台。它提供了一个配置框架和共享库，用于集成定义、启动和监控机器学习系统的通用组件。TFX 能够构建和管理生产环境中的机器学习工作流，并在各种平台之间编排管道。
AI 框架
BigDL-LLM 是一个开源库，用于在 Intel XPU 硬件上运行大型语言模型 (LLM)，涵盖从笔记本电脑到云端 GPU 的各种设备。它支持 INT4/FP4/INT8/FP8 量化以实现低延迟推理，并为 PyTorch 模型提供全面的微调功能。
AI 框架
DeepDetect 是一个专为深度学习模型部署和管理设计的 AI 框架。它简化了服务机器学习模型的过程，使开发人员能够高效地将 AI 功能集成到他们的应用程序中。该平台专注于提供一个强大的后端，用于实时推理和模型监控。
AI 框架
Cortex 提供大规模机器学习的生产基础设施，支持 ML 模型的部署、管理和扩展。它支持无服务器、实时、异步和批量工作负载，具备自动集群管理、自动伸缩和 CI/CD 集成，构建于 AWS EKS 之上。
AI 框架
Seldon Core 2 是一个原生于 Kubernetes 的框架，用于大规模部署和管理机器学习 (ML) 和大型语言模型 (LLM) 系统。它提供了一个灵活的、模块化的架构，适用于本地、混合和多云环境，确保 MLOps 和 LLMOps 的标准化、增强的可观测性和成本效益。
AI 框架
BentoML 是一个统一的推理平台，专为部署和扩展 AI 系统而设计。它使开发人员能够以生产级的可靠性在任何云上部署任何模型，从而实现更快的 AI 系统开发和高效的扩展，而无需复杂的基础设施管理。它支持自定义模型并确保安全性。
AI 社区
Flyte 是一个开源工作流编排平台。此社区资源中心提供活动、案例研究、博客和文档的访问。与全球的 AI 和 ML 构建者联系，提出问题、分享想法并学习如何将 AI 系统从实验扩展到生产。
AI 智能体
AgentOps 提供了一个用于追踪、调试和部署可靠 AI 代理的平台。它提供会话回放、时间旅行调试以及完整的日志和错误数据追踪，使工程师能够自信地构建和扩展企业级代理，并进行成本控制。
Wayfound 提供面向业务用户的 AI Agent 监督，实现企业级性能监控和风险降低。它确保 AI Agent 符合目标和策略，提供记分卡、建议和警报，以改善结果并为任何 AI Agent 或工作流实现自动化自我改进。
AI 智能体
Chat Arena 是一个开源平台，用于评估和比较大型语言模型 (LLM)。它允许用户在对话式对决中让不同的 AI 模型相互竞争，为 AI 的研究和开发提供了一个独特的环境。
AI 应用
ZETIC Melange 自动化任何模型在任何设备上的设备端 AI 部署。由前高通工程师打造，它可优化 NPU 加速，在 200 多种设备上进行基准测试，并只需三行代码即可在数小时内完成部署，从而降低成本和延迟。
AI 应用
Cleanlab empowers teams to build safer AI agents by detecting and remediating incorrect responses before they reach users. It ensures AI outputs meet standards for safety,…
AI 应用
Zenbase 是一个面向开发者的平台，可简化 AI 应用程序的创建和部署。它提供工具和基础设施，帮助开发者高效地构建、测试和扩展其 AI 模型。该平台旨在简化 AI 开发生命周期，使其对团队而言更易于访问和管理。
AI 应用
GPUX 提供 AI 模型无服务器 GPU 推理，支持快速部署和执行机器学习工作负载。它提供快速冷启动，支持 Stable Diffusion XL 和 Whisper 等多种 AI 模型，并允许用户运行推理或在私有模型上出售请求，使 AI 更加易于访问和高效。
AI 移动应用
AI-Mask 是一款 Chrome 扩展程序，可在您的设备上直接执行浏览器内的 AI 模型。它充当需要本地 AI 处理的 Web 应用程序的网关，为 Llama2、Gemma 和 Mistral 等模型提供免费、私密的推理。体验 AI 的强大功能，而无需将数据发送到您的计算机之外。
AI 应用
Langdrive 是一个用于部署 AI 应用程序的平台。它提供托管文档，指导用户完成首次应用发布过程。该网站提示，如果应用尚未部署或自定义域名设置不完整，用户可能会看到“未找到站点”错误。
AI 应用
Raindrop 是一个用于 AI 代理的可观察性和监控平台，能够捕捉每次生产运行，自动检测诸如幻觉和循环等静默故障，并让团队追踪、分类和验证修复。
AI 应用
Runware 是一个生成性 AI 推理平台，提供统一的 API 用于图像、视频、音频、3D、LLM 和视觉模型。它提供超过 40 万个模型，管理基础设施，并基于使用量定价，构建在自定义推理引擎之上。
AI 应用
一个为编码代理构建的推理平台，提供快速的前沿模型以及用于代码搜索、应用编辑、上下文压缩和监控的专业模型，通过一个兼容OpenAI的API进行操作。
AI 应用
Currai 是用于聊天和语音代理的 AI 代理监控和产品分析工具，将真实对话转化为意图、用户故事、政策违规和错误，捕捉用户从未报告的静默故障，并向 Slack 发送有证据支持的警报。
AI 应用
Chirpz AI 是一个专注于代理工程的应用人工智能实验室。其产品 PandaProbe 是一个开源平台，用于追踪、评估和监控人工智能代理，以便团队能够在生产环境中调试和改进它们。
AI 应用
一个智能模型路由器，旨在为编码代理提供支持，帮助工程团队以更低的成本实现前沿质量的输出，通过将每个请求路由到最合适的模型。
AI 应用
一个专注于AI推理和集成的提供商，通过一个兼容OpenAI的API托管开放、专有和定制模型，提供按需付费定价、更高的速率限制和无代码仪表板。
AI 应用
一个高速AI推理提供商，通过专门构建的ASIC基础设施提供模型，采用与OpenAI兼容的API，针对编码代理和实时语音等对延迟敏感的工作负载，提供低的首次令牌时间和高吞吐量。
AI 应用
Aurikо 是一个用于 LLM 推理的 AI 控制平面，提供模型网关、智能路由、可观察性和 FinOps，集成于一个平台中。它使用户能够在无缝集成现有 AI 生态系统的同时优化成本和性能。
RunInfra 是一个聊天原生的 AI 模型优化平台，能够基准测试 GPU、优化内核并部署生产 API。它使团队能够高效地构建和部署 AI 应用程序，确保整个技术栈的所有权和透明度。
AI 应用
Routescope 是一个统一的 AI 模型聚合和分发网关，支持将各种大型语言模型转换为与 OpenAI、Claude 和 Gemini 兼容的接口，为个人和企业提供集中式模型管理和网关服务。
AI 应用
vLLM 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它使得 AI 模型的快速部署成为可能，提供先进的性能，使得 LLM 服务对各行业的用户而言变得简单、快速且具有成本效益。
AI 应用
Opik 是一个开源的 AI 可观察性平台，帮助开发者测试、发布并持续改进智能系统。它提供有效评估和监控大型语言模型 (LLM) 应用的工具。
AI 应用
W&B Weave 提升了生产代理的可观察性，使其能够从现实世界的经验中学习和改进。该工具通过持续监控和评估，帮助维护 AI 应用程序的可靠性和性能。
AI 应用
Adaline是一个专为自我改进的AI代理设计的可观察性和评估平台。它将生产跟踪转化为可操作的行为、评估、合成数据集和经过验证的改进，使团队能够高效、有效地增强他们的AI系统。
AI 应用
Mosaic AI 模型服务提供可扩展的实时模型推理，能够与数据工作流无缝集成。它支持多种 AI 模型，确保企业有效利用 AI 能力时的高效部署和治理。
AI 应用
Hugging Face 推出的推理端点允许用户在几分钟内从 Hugging Face Hub 部署 AI 模型。它提供了一个完全托管的平台，使开发人员能够专注于构建 AI 应用程序，而无需担心基础设施设置。
AI 应用
NVIDIA Dynamo-Triton 使得在 TensorRT、PyTorch 和 ONNX 等各种框架中部署 AI 模型成为可能。它支持实时、批处理和流式工作负载，适用于多种 AI 应用。
6 天前
丰田与谷歌云合作，在工厂车间实现人工智能的民主化。混合云架构提升了制造效率，使工人能够轻松开发机器学习模型，优化流程并减少手动任务。
AI GitHub 仓库
Agentic GenAI 维护副驾驶是一个部署在 Azure 上的工具，旨在对旋转设备进行调查。它利用 LangGraph、RAG 和 FastAPI，结合人机协作的审批流程，以确保分析和决策的可靠性。
常见问题
知道一个在MLOps 与模型部署中出类拔萃的工具吗？
ToolPotion是人们浏览以寻找最佳MLOps 与模型部署的AI工具目录。免费列出，每个提交都经过编辑审核——将您的工具放在搜索的起点。