最佳 MLOps 与模型部署 AI工具

Weights & Biases

AI 应用

#1

AI 开发平台，用于构建、训练和部署 AI 模型和应用程序。它提供实验跟踪、模型管理和智能体应用程序开发工具，使团队能够自信地工作并简化其 AI 工作流程。它与流行的 ML 框架集成。Weights & Biases 是一个 AI 开发平台，用于构建、训练和部署 AI 模型和应用程序。它提供实验跟踪、模型管理和智能体应用程序开发工具，使团队能够自信地工作并简化其 AI 工作流程。它与流行的 ML 框架集成。

Ollama

AI GitHub 仓库

#4

开源工具，可以在您的计算机上运行大型语言模型。它允许开发者通过单个命令安装 Llama、Gemma、Qwen 和 DeepSeek 等模型，然后通过 CLI、REST API 或官方的 Python 和 JavaScript 库在 macOS、Windows、Linux 或 Docker 上使用它们。Ollama 是一个开源工具，可以在您的计算机上运行大型语言模型。它允许开发者通过单个命令安装 Llama、Gemma、Qwen 和 DeepSeek 等模型，然后通过 CLI、REST API 或官方的 Python 和 JavaScript 库在 macOS、Windows、Linux 或 Docker 上使用它们。

BLACKBOX AI

AI 应用

#7

推理平台，通过一个加密的、兼容 OpenAI 的 API，将请求路由到 300 多个开放和封闭的语言模型，并为开放权重模型提供专用的单租户部署。它还提供了一个代理 API 和一个用于编码任务的命令行代理，专为需要快速且不保留数据的工程团队而构建。BLACKBOX AI 是一个推理平台，通过一个加密的、兼容 OpenAI 的 API，将请求路由到 300 多个开放和封闭的语言模型，并为开放权重模型提供专用的单租户部署。它还提供了一个代理 API 和一个用于编码任务的命令行代理，专为需要快速且不保留数据的工程团队而构建。

LangSmith：AI 智能体可观测性

AI 平台

#9

LangSmith 是一个 AI 智能体和 LLM 可观测性平台，提供对智能体行为的全面可见性。它有助于调试智能体、识别故障以及跟踪成本和延迟。使用 Python、Typescript、Go 或 Java SDK 跟踪您喜欢的框架或与任何智能体堆栈集成。获取实时洞察以优化性能。

Langfuse

AI GitHub 仓库

#10

开源的AI工程平台，提供LLM评估、可观察性、指标、提示管理等功能。它与OpenTelemetry、LangChain和OpenAI SDK集成，为AI开发提供全面的工具包。Langfuse是一个开源的AI工程平台，提供LLM评估、可观察性、指标、提示管理等功能。它与OpenTelemetry、LangChain和OpenAI SDK集成，为AI开发提供全面的工具包。

vLLM

AI GitHub 仓库

#11

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

NVIDIA Run:ai

AI 平台

#13

用于 AI 工作负载和 GPU 编排的企业平台。它动态地在公共云、私有云、混合和本地环境中汇集和分配 GPU 容量，应用政策驱动的治理，以便团队获得公平、优先的访问权限。它专为大规模运行 AI 训练和推理的企业而构建。NVIDIA Run:ai 是一个用于 AI 工作负载和 GPU 编排的企业平台。它动态地在公共云、私有云、混合和本地环境中汇集和分配 GPU 容量，应用政策驱动的治理，以便团队获得公平、优先的访问权限。它专为大规模运行 AI 训练和推理的企业而构建。

Unsloth

AI GitHub 仓库

#14

本地用户界面，旨在运行和训练大型语言模型（LLMs）和扩散模型。它支持多种模型，包括Qwen3.8、Kimi K3、MiniMax-H3等，为开发者和研究人员提供了一个可访问的平台。unslothai/unsloth是一个本地用户界面，旨在运行和训练大型语言模型（LLMs）和扩散模型。它支持多种模型，包括Qwen3.8、Kimi K3、MiniMax-H3等，为开发者和研究人员提供了一个可访问的平台。

SGLang

AI GitHub 仓库

#21

专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。SGLang 是一个专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。

Evidently AI - 开源AI评估

AI 应用

#24

提供开源工具，用于评估和监控AI应用程序。它通过测试大型语言模型（LLMs）和监控各种工作流程中的性能，帮助确保AI系统准备好投入生产。受到全球AI团队的信任。Evidently AI提供开源工具，用于评估和监控AI应用程序。它通过测试大型语言模型（LLMs）和监控各种工作流程中的性能，帮助确保AI系统准备好投入生产。受到全球AI团队的信任。

伽利略人工智能平台

AI 应用

#25

伽利略人工智能是一个用于生成性人工智能应用的可观察性和评估的平台，使团队能够在企业规模上监控、评估和保护人工智能系统。它提供构建数据集、创建准确评估和部署保护措施的工具，以确保可靠的人工智能操作。

Portkey

AI 应用

#26

Gen AI 构建者提供生产堆栈，提供 AI 网关、可观测性、安全防护和提示管理。它将 Gen AI 在组织内民主化并投入生产，使团队能够在一个统一的平台上监控 LLM 行为、管理使用情况并确保安全和合规性。Portkey 为 Gen AI 构建者提供生产堆栈，提供 AI 网关、可观测性、安全防护和提示管理。它将 Gen AI 在组织内民主化并投入生产，使团队能够在一个统一的平台上监控 LLM 行为、管理使用情况并确保安全和合规性。

MLflow - 开源AI平台，适用于代理、LLM和模型

AI 框架

#27

开源AI平台，专为代理、LLM和机器学习模型设计。它使团队能够高效地调试、评估、监控和优化AI应用，适合各种规模的组织。MLflow是一个开源AI平台，专为代理、LLM和机器学习模型设计。它使团队能够高效地调试、评估、监控和优化AI应用，适合各种规模的组织。

Helicone AI Gateway

AI 应用

#28

LLMOps 平台，专为构建可靠的 AI 应用而设计。它提供路由、调试和分析功能，使开发人员能够有效地监控和管理其 AI 模型。Helicone 受到快速发展的 AI 公司的信赖，并提供免费试用，帮助您构建强大的 AI 解决方案。Helicone 是一个 LLMOps 平台，专为构建可靠的 AI 应用而设计。它提供路由、调试和分析功能，使开发人员能够有效地监控和管理其 AI 模型。Helicone 受到快速发展的 AI 公司的信赖，并提供免费试用，帮助您构建强大的 AI 解决方案。

Netron 可视化工具

AI GitHub 仓库

#29

用于神经网络、深度学习和机器学习模型的可视化工具。它提供了一个直观的界面来探索模型架构和参数，使开发者和研究人员更容易理解和调试模型。Netron 是一个用于神经网络、深度学习和机器学习模型的可视化工具。它提供了一个直观的界面来探索模型架构和参数，使开发者和研究人员更容易理解和调试模型。

LMDeploy

AI GitHub 仓库

#31

用于压缩、部署和服务大型语言模型（LLMs）的工具包。它为开发者提供了必要的工具，以高效管理LLMs，确保最佳性能和可扩展性。LMDeploy是一个用于压缩、部署和服务大型语言模型（LLMs）的工具包。它为开发者提供了必要的工具，以高效管理LLMs，确保最佳性能和可扩展性。

Nebius

AI 平台

#34

提供了一种专为快速扩展和部署而设计的人工智能云。凭借定制硬件和内置的 MLOps 工具，它为各行业的人工智能开发者和企业提供了可靠的基础设施。Nebius 提供了一种专为快速扩展和部署而设计的人工智能云。凭借定制硬件和内置的 MLOps 工具，它为各行业的人工智能开发者和企业提供了可靠的基础设施。

土星云

AI 应用

#35

白标控制平面，专为GPU云设计，提供多租户隔离、第二天支持和集成计费。它运行在您的云基础设施上，使您能够在您的品牌下高效提供AI服务。土星云是一个白标控制平面，专为GPU云设计，提供多租户隔离、第二天支持和集成计费。它运行在您的云基础设施上，使您能够在您的品牌下高效提供AI服务。

Iguazio AI Platform

AI 应用

#36

Iguazio AI Platform 实现了机器学习和生成性 AI 应用的大规模运营和风险降低。它使组织能够在实时商业环境中有效实施 AI，提供自动化、编排和合规监控，以实现有影响力的 AI 部署。

Baseten

AI 平台

#37

Baseten的推理平台使用户能够高效地部署和扩展开源及自定义AI模型。它提供高性能推理，配备专用基础设施、优化的API和无缝的开发者工作流程，确保快速部署和可靠的性能。

lakeFS

AI 应用

#38

开源数据版本控制系统，将对象存储转变为类似 Git 的仓库。它实现了数据治理、可重现性，并减少了 AI 项目的访问摩擦。lakeFS 是一个开源数据版本控制系统，将对象存储转变为类似 Git 的仓库。它实现了数据治理、可重现性，并减少了 AI 项目的访问摩擦。

DeepEval

AI GitHub 仓库

#39

开源框架，旨在评估大型语言模型（LLMs）。它允许开发者参与并改善评估过程，从而提升LLMs的性能和可靠性。DeepEval是一个开源框架，旨在评估大型语言模型（LLMs）。它允许开发者参与并改善评估过程，从而提升LLMs的性能和可靠性。

LangWatch

AI 应用

#41

AI 代理测试、LLM 评估和可观测性平台。它允许开发人员模拟真实世界场景，防止回归，并通过将生产跟踪转化为评估来调试问题。通过在部署前测试提示、模型和代理来提高每次发布的 AI 质量。LangWatch 是一个 AI 代理测试、LLM 评估和可观测性平台。它允许开发人员模拟真实世界场景，防止回归，并通过将生产跟踪转化为评估来调试问题。通过在部署前测试提示、模型和代理来提高每次发布的 AI 质量。

Openlayer AI Governance

AI 应用

#42

AI 治理和可观测性平台，可加速代理式系统的评估和监控。它提供自动化测试、针对提示注入、PII 泄露和幻觉的实时防护栏，并确保符合欧盟 AI 法案和 NIST 等标准，以实现安全的企业创新。Openlayer 是一个 AI 治理和可观测性平台，可加速代理式系统的评估和监控。它提供自动化测试、针对提示注入、PII 泄露和幻觉的实时防护栏，并确保符合欧盟 AI 法案和 NIST 等标准，以实现安全的企业创新。

Future AGI

AI 应用

#43

用于构建、测试和监控 AI 代理的开源平台。它通过护栏、使用 20 多个指标进行的全面评估以及类似 Sentry 的错误跟踪，帮助实时捕获和修复 AI 幻觉。该平台通过强化学习实现持续改进，并提供端到端的请求跟踪。Future AGI 是一个用于构建、测试和监控 AI 代理的开源平台。它通过护栏、使用 20 多个指标进行的全面评估以及类似 Sentry 的错误跟踪，帮助实时捕获和修复 AI 幻觉。该平台通过强化学习实现持续改进，并提供端到端的请求跟踪。

Arize

AI 平台

#44

提供了一个统一的平台，用于 LLM 可观察性和代理评估，旨在改进从开发到生产的 AI 应用程序。它提供代理跟踪、评估和监控工具，使团队能够有效地构建、调试和优化 AI 代理。该平台支持数据驱动的迭代周期。Arize AI 提供了一个统一的平台，用于 LLM 可观察性和代理评估，旨在改进从开发到生产的 AI 应用程序。它提供代理跟踪、评估和监控工具，使团队能够有效地构建、调试和优化 AI 代理。该平台支持数据驱动的迭代周期。

Braintrust AI 可观测性平台

AI 平台

#45

AI 可观测性平台，旨在构建高质量的 AI 产品。它帮助团队追踪生产、运行评估，并在影响用户之前发现回归。该平台提供实时追踪检查、质量衡量和自动化评分，以提高 AI 性能。Braintrust 是一个 AI 可观测性平台，旨在构建高质量的 AI 产品。它帮助团队追踪生产、运行评估，并在影响用户之前发现回归。该平台提供实时追踪检查、质量衡量和自动化评分，以提高 AI 性能。

llmware

AI GitHub 仓库

#46

统一框架，旨在使用小型专业模型构建企业级 RAG 管道。它简化了各种 AI 模型的集成，增强了企业应用的效率和可扩展性。llmware 是一个统一框架，旨在使用小型专业模型构建企业级 RAG 管道。它简化了各种 AI 模型的集成，增强了企业应用的效率和可扩展性。

Raindrop

AI 应用

#47

用于 AI 代理的可观察性和监控平台，能够捕捉每次生产运行，自动检测诸如幻觉和循环等静默故障，并让团队追踪、分类和验证修复。Raindrop 是一个用于 AI 代理的可观察性和监控平台，能够捕捉每次生产运行，自动检测诸如幻觉和循环等静默故障，并让团队追踪、分类和验证修复。

Phoenix

AI GitHub 仓库

#48

Arize Phoenix 是一款 AI 可观察性和评估工具，旨在帮助开发者监控和评估 AI 模型。它提供了模型性能的洞察，促进更好的决策和优化。

SuperAnnotate

AI 平台

#49

人工智能数据平台，用于构建由反馈驱动的标注和评估流程。它支持多模态数据标注，通过自定义工作流程和专家评审确保数据质量，并为人工智能开发周期提供动力，以实现更快、更高精度模型训练和微调。SuperAnnotate 是一个人工智能数据平台，用于构建由反馈驱动的标注和评估流程。它支持多模态数据标注，通过自定义工作流程和专家评审确保数据质量，并为人工智能开发周期提供动力，以实现更快、更高精度模型训练和微调。

ClearML AI 基础设施平台

AI 平台

#50

ClearML 的 AI 基础设施平台可大规模简化从开发到生产的 AI/ML 工作流。它管理 GPU 集群，增强 AI 开发，并简化 GenAI 模型部署，从而最大限度地提高 AI 构建者的性能和可扩展性。

Cyara Agentic AI

AI 应用

#51

提供 Agentic AI，用于 CX 保障和测试，使企业能够大规模地自信地部署 AI 代理。它可检测幻觉、验证决策并确保合规性，通过为 AI 驱动的交互提供关键的置信度层，在 AI 优先的世界中转变客户体验。Cyara 提供 Agentic AI，用于 CX 保障和测试，使企业能够大规模地自信地部署 AI 代理。它可检测幻觉、验证决策并确保合规性，通过为 AI 驱动的交互提供关键的置信度层，在 AI 优先的世界中转变客户体验。

HoneyHive

AI 应用

#52

生产环境中的 AI 代理提供可观测性层，统一监控和评估。它支持持续改进循环，使团队能够自信地交付高质量的代理。该平台提供分布式跟踪、在线评估、会话回放和警报，用于可扩展的代理行为监控。HoneyHive 为生产环境中的 AI 代理提供可观测性层，统一监控和评估。它支持持续改进循环，使团队能够自信地交付高质量的代理。该平台提供分布式跟踪、在线评估、会话回放和警报，用于可扩展的代理行为监控。

Feast 特征存储

AI GitHub 仓库

#53

开源特征存储，旨在用于人工智能和机器学习应用。它使数据科学家能够管理和提供生产中的特征，提高 AI 项目的效率和可扩展性。Feast 是一个开源特征存储，旨在用于人工智能和机器学习应用。它使数据科学家能够管理和提供生产中的特征，提高 AI 项目的效率和可扩展性。

Comet - AI开发平台

AI 平台

#54

Opik的创造者，Opik是为开发者设计的端到端AI可观察性平台。它提供先进的代理测试、优化和监控功能，以增强开发过程并改善AI模型性能。Comet是Opik的创造者，Opik是为开发者设计的端到端AI可观察性平台。它提供先进的代理测试、优化和监控功能，以增强开发过程并改善AI模型性能。

SambaNova

AI 平台

#55

完整的 AI 平台，提供最快的 AI 推理、微调和可扩展的代理 AI 解决方案。它无缝集成到现有的数据中心基础设施中，优化性能和能源效率。SambaNova 是一个完整的 AI 平台，提供最快的 AI 推理、微调和可扩展的代理 AI 解决方案。它无缝集成到现有的数据中心基础设施中，优化性能和能源效率。

TrueFoundry - 企业级 AI 网关与 MCP 网关

AI 平台

#56

企业级 AI 平台，能够实现 LLM 和 AI 代理的部署、安全和扩展。它提供了跨 AI 应用的集中治理和可观察性，确保企业的合规性和成本控制。TrueFoundry 是一个企业级 AI 平台，能够实现 LLM 和 AI 代理的部署、安全和扩展。它提供了跨 AI 应用的集中治理和可观察性，确保企业的合规性和成本控制。

BentoML

AI GitHub 仓库

#57

开源平台，旨在简化 AI 模型和应用的部署。它使开发人员能够高效地构建模型推理 API、管理作业队列，并创建多模型管道，从而使 AI 部署变得更加可及和简化。BentoML 是一个开源平台，旨在简化 AI 模型和应用的部署。它使开发人员能够高效地构建模型推理 API、管理作业队列，并创建多模型管道，从而使 AI 部署变得更加可及和简化。

ModelOp 企业人工智能指挥中心

AI 应用

#58

ModelOp 的企业人工智能指挥中心是一个全面的记录系统，自动化生命周期管理，执行治理，并在机器学习、生成性人工智能和代理人工智能中生成运营智能，从而加快生产并最大化投资回报。

Thunder Compute

AI 应用

#59

提供世界上最便宜的 GPU，以具有竞争力的每小时费率提供 NVIDIA H100 的访问权限。其云平台利用先进的 GPU 虚拟化技术，使计算资源变得丰富，旨在显著提高数据中心容量并降低与传统云提供商相比的成本。Thunder Compute 提供世界上最便宜的 GPU，以具有竞争力的每小时费率提供 NVIDIA H100 的访问权限。其云平台利用先进的 GPU 虚拟化技术，使计算资源变得丰富，旨在显著提高数据中心容量并降低与传统云提供商相比的成本。

TruLens：AI代理的评估与追踪

AI 应用

#61

TruLens是一个开源库，用于评估和追踪AI代理。它使用OpenTelemetry对代理进行仪表化，利用LLM评审对步骤进行评分，并识别出最佳版本进行发布。TruLens帮助发现故障并优化成本，而不牺牲质量。

Kili Technology

AI 应用

#63

企业级训练数据平台，旨在为 AI 模型构建高质量的数据集。它提供强大的注释工具以支持协作、以质量为先的工作流程和安全部署，支持地理空间图像、视频、文档和 LLM 注释工作流程。Kili Technology 是一个企业级训练数据平台，旨在为 AI 模型构建高质量的数据集。它提供强大的注释工具以支持协作、以质量为先的工作流程和安全部署，支持地理空间图像、视频、文档和 LLM 注释工作流程。

KServe

AI 平台

#67

开源的、Kubernetes 原生的自托管 AI 推理平台。它为生成式 AI 和预测式 AI 提供统一的解决方案，通过 GPU 加速和自动伸缩等功能，简化了从快速部署到高要求的企业级工作负载的部署。KServe 是一个开源的、Kubernetes 原生的自托管 AI 推理平台。它为生成式 AI 和预测式 AI 提供统一的解决方案，通过 GPU 加速和自动伸缩等功能，简化了从快速部署到高要求的企业级工作负载的部署。

AgentOps

AI 平台

#69

提供了一个用于追踪、调试和部署可靠 AI 代理的平台。它提供会话回放、时间旅行调试以及完整的日志和错误数据追踪，使工程师能够自信地构建和扩展企业级代理，并进行成本控制。AgentOps 提供了一个用于追踪、调试和部署可靠 AI 代理的平台。它提供会话回放、时间旅行调试以及完整的日志和错误数据追踪，使工程师能够自信地构建和扩展企业级代理，并进行成本控制。

Paperspace

AI 平台

#70

Paperspace（现为 DigitalOcean 的一部分）提供了一个 MLOps 平台，用于构建和扩展 AI 应用。它提供了 Notebooks、Machines 和 Deployments 等集成工具，并由世界一流的 GPU 和 IPU 提供支持。该平台与主流框架兼容，可为开发人员简化从探索到部署的整个 ML 工作流程。

Union.ai

AI 平台

#71

在您的云基础设施内运行的 AI 运行时，可确保数据隐私。它能够编排持久的 AI 工作流、实时应用程序并优化计算，为金融服务、地理空间、物流和生物技术行业带来显著的投资回报和成本节约。Union.ai 是一个在您的云基础设施内运行的 AI 运行时，可确保数据隐私。它能够编排持久的 AI 工作流、实时应用程序并优化计算，为金融服务、地理空间、物流和生物技术行业带来显著的投资回报和成本节约。

Kubeflow

AI 平台

#72

简化了在 Kubernetes 上部署机器学习工作流的过程，使其变得简单和自动化。它是开源的，由社区构建，为人工智能平台团队提供了模块化和可扩展的解决方案。Kubeflow 简化了在 Kubernetes 上部署机器学习工作流的过程，使其变得简单和自动化。它是开源的，由社区构建，为人工智能平台团队提供了模块化和可扩展的解决方案。

MLRun

AI 应用

#73

开源的AI编排框架，管理机器学习（ML）和生成性AI应用程序的整个生命周期，自动化数据准备、模型调优和部署。它支持多云、混合和本地环境，实现快速部署和可扩展性。MLRun是一个开源的AI编排框架，管理机器学习（ML）和生成性AI应用程序的整个生命周期，自动化数据准备、模型调优和部署。它支持多云、混合和本地环境，实现快速部署和可扩展性。

NannyML

AI GitHub 仓库

#74

专注于部署后数据科学的 Python 库。它帮助数据科学家监控和分析模型在部署后的性能，确保可靠性和准确性。NannyML 是一个专注于部署后数据科学的 Python 库。它帮助数据科学家监控和分析模型在部署后的性能，确保可靠性和准确性。

OpenLIT

AI 应用

#75

开源的 AI 工程平台，为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管，确保数据隐私和生产工作负载无供应商锁定。OpenLIT 是一个开源的 AI 工程平台，为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管，确保数据隐私和生产工作负载无供应商锁定。

DVC

AI 平台

#76

开源的数据科学和机器学习项目版本控制系统。它提供类似 Git 的体验来管理数据、模型和实验，将软件工程最佳实践引入 AI/ML 工作流和数据基础设施。DVC 是一个开源的数据科学和机器学习项目版本控制系统。它提供类似 Git 的体验来管理数据、模型和实验，将软件工程最佳实践引入 AI/ML 工作流和数据基础设施。

H2O Eval Studio

AI 应用

#77

模块化平台，旨在评估增强检索生成和大型语言模型应用的性能、可靠性和安全性。它提供高管仪表板、可定制的评估工具和高级洞察，以增强人工智能的可靠性和准确性。H2O Eval Studio 是一个模块化平台，旨在评估增强检索生成和大型语言模型应用的性能、可靠性和安全性。它提供高管仪表板、可定制的评估工具和高级洞察，以增强人工智能的可靠性和准确性。

micro1

AI 应用

#78

专注于训练前沿模型和评估智能体的人工智能数据实验室。它与人工智能实验室合作，通过专家人类数据和真实世界环境创建高质量的训练数据。micro1是一个专注于训练前沿模型和评估智能体的人工智能数据实验室。它与人工智能实验室合作，通过专家人类数据和真实世界环境创建高质量的训练数据。

OrcaRouter

AI 应用

#79

统一的 AI 网关，提供自适应路由、负载均衡和治理，支持 200 多个模型。它确保零令牌加价、私密推理，并符合数据驻留要求，非常适合寻求高效 AI 模型管理的企业。OrcaRouter 是一个统一的 AI 网关，提供自适应路由、负载均衡和治理，支持 200 多个模型。它确保零令牌加价、私密推理，并符合数据驻留要求，非常适合寻求高效 AI 模型管理的企业。

ZenML

AI 平台

#80

统一的机器学习和人工智能层，能够实现可重复的 ML 流水线和代理评估。它与现有基础设施无缝集成，使团队能够高效地构建和管理工作流程，而无需担心供应商锁定。ZenML 是一个统一的机器学习和人工智能层，能够实现可重复的 ML 流水线和代理评估。它与现有基础设施无缝集成，使团队能够高效地构建和管理工作流程，而无需担心供应商锁定。

SUPERWISE Agentic Management Platform

AI 平台

#81

SUPERWISE AMP 是一个面向受监管行业的 Agentic 管理平台，提供完整的可见性、实时护栏和策略执行。它使企业能够安全合规地构建、管理和治理 AI 代理，通过 PII 检测和审计日志等功能确保可信赖的 AI 结果。

Hopscotch

AI 应用

#82

通过单一API提供来自Anthropic、OpenAI和Google等提供商的500多个AI模型的访问。它允许用户为每个API密钥、团队成员和工作区设置支出限制，从而确保成本控制和高效的模型使用。Hopscotch通过单一API提供来自Anthropic、OpenAI和Google等提供商的500多个AI模型的访问。它允许用户为每个API密钥、团队成员和工作区设置支出限制，从而确保成本控制和高效的模型使用。

llamafile

AI GitHub 仓库

#83

旨在简化大型语言模型（LLMs）分发和执行的工具，通过单个文件实现。它促进了 Mozilla AI 社区在 GitHub 上的协作和开发。Llamafile 是一个旨在简化大型语言模型（LLMs）分发和执行的工具，通过单个文件实现。它促进了 Mozilla AI 社区在 GitHub 上的协作和开发。

Eden AI

AI 应用

#84

提供统一的 API，可访问 500 多个领先的 AI 模型，包括 LLM 以及用于语音、视觉和 OCR 的专业 AI。它支持基于成本、性能和区域的智能路由，并内置了故障转移机制以增强鲁棒性和控制力。Eden AI 提供统一的 API，可访问 500 多个领先的 AI 模型，包括 LLM 以及用于语音、视觉和 OCR 的专业 AI。它支持基于成本、性能和区域的智能路由，并内置了故障转移机制以增强鲁棒性和控制力。

GMI Cloud

AI 应用

#86

提供高性能的 GPU 云基础设施，专为 AI 工作负载设计。它支持无服务器推理、专用 GPU 集群和裸金属 AI 基础设施，为 AI 模型部署和机器学习任务提供可扩展的解决方案。GMI Cloud 提供高性能的 GPU 云基础设施，专为 AI 工作负载设计。它支持无服务器推理、专用 GPU 集群和裸金属 AI 基础设施，为 AI 模型部署和机器学习任务提供可扩展的解决方案。

Valohai

AI 平台

#87

为集成LLM和专业模型的AI产品设计的MLOps平台。它使用户能够使用自己的云基础设施比较、评估和部署配置，同时保持从数据到部署的完整追溯。Valohai是一个为集成LLM和专业模型的AI产品设计的MLOps平台。它使用户能够使用自己的云基础设施比较、评估和部署配置，同时保持从数据到部署的完整追溯。

Flyte AI Orchestration

AI 应用

#88

开源平台，用于编排复杂的 AI 和 ML 工作流。它使开发人员能够使用纯 Python 构建动态、有弹性且感知基础设施的管道，从而为 AI 应用实现本地测试和可扩展的生产部署。Flyte 是一个开源平台，用于编排复杂的 AI 和 ML 工作流。它使开发人员能够使用纯 Python 构建动态、有弹性且感知基础设施的管道，从而为 AI 应用实现本地测试和可扩展的生产部署。

Respan LLM 工程平台

AI 应用

#89

LLM 工程平台，统一了可观察性、评估、提示优化和 AI 网关，使团队能够高效地交付可靠的 AI 应用程序。Respan 是一个 LLM 工程平台，统一了可观察性、评估、提示优化和 AI 网关，使团队能够高效地交付可靠的 AI 应用程序。

Deepchecks LLM 评估

AI 应用

#90

企业级的人工智能测试、可观察性和监控平台。它提供了对生产中人工智能系统的可见性、控制和信任，确保人工智能部署的准确性和一致性。Deepchecks LLM 评估是一个企业级的人工智能测试、可观察性和监控平台。它提供了对生产中人工智能系统的可见性、控制和信任，确保人工智能部署的准确性和一致性。

Inference.net

AI 应用

#91

AI 原生团队提供基础设施，以运行、监控和优化 AI 工作负载。它为开源、自定义和微调模型提供超快推理，确保低成本和快速延迟。Inference.net 为 AI 原生团队提供基础设施，以运行、监控和优化 AI 工作负载。它为开源、自定义和微调模型提供超快推理，确保低成本和快速延迟。

Rerun — 物理 AI 的数据层

AI 应用

#92

物理 AI 的数据层，提供构建、理解和改进数据循环的原始数据类型。它处理从初始记录到大规模的多速率、多模态数据，支持可视化、查询、转换和训练，无需导出步骤。Rerun 是物理 AI 的数据层，提供构建、理解和改进数据循环的原始数据类型。它处理从初始记录到大规模的多速率、多模态数据，支持可视化、查询、转换和训练，无需导出步骤。

RunInfra

AI 应用

#93

托管的 API 网关，支持开源 AI 模型，为开发者提供一个与 OpenAI 和 Anthropic SDK 兼容的 API 密钥。它通过会话感知缓存服务模型，如 Nemotron、Qwen 和 Ornith，以降低 AI 代理的延迟和成本。RunInfra 是一个托管的 API 网关，支持开源 AI 模型，为开发者提供一个与 OpenAI 和 Anthropic SDK 兼容的 API 密钥。它通过会话感知缓存服务模型，如 Nemotron、Qwen 和 Ornith，以降低 AI 代理的延迟和成本。

W&B Weave

AI 平台

#94

W&B Weave 提升了生产代理的可观察性，使其能够从现实世界的经验中学习和改进。该工具通过持续监控和评估，帮助维护 AI 应用程序的可靠性和性能。

Lunary AI平台

AI 应用

#96

为基于大型语言模型（LLM）应用设计的可观察性和提示管理平台。它使企业能够自信地构建、扩展和管理AI代理，确保在各种用例中提供可靠的AI体验。Lunary是一个为基于大型语言模型（LLM）应用设计的可观察性和提示管理平台。它使企业能够自信地构建、扩展和管理AI代理，确保在各种用例中提供可靠的AI体验。

DagsHub：多模态人工智能管理平台

AI 应用

#97

全面的平台，用于管理多模态人工智能项目。它允许用户在一个地方策划数据集、跟踪实验和管理模型。非常适合数据科学家和人工智能团队。DagsHub是一个全面的平台，用于管理多模态人工智能项目。它允许用户在一个地方策划数据集、跟踪实验和管理模型。非常适合数据科学家和人工智能团队。

Traceloop - LLM可靠性平台

AI 应用

#98

通过将评估和监控转变为持续反馈循环，增强了LLM应用的可靠性。它提供实时洞察、自动质量检查和可定制的指标，以确保每次发布都在改进。Traceloop通过将评估和监控转变为持续反馈循环，增强了LLM应用的可靠性。它提供实时洞察、自动质量检查和可定制的指标，以确保每次发布都在改进。

Maxim AI：GenAI 评估平台

AI 智能体

#99

Maxim AI 是一个专为 AI 团队设计的端到端评估和可观察性平台。它帮助用户模拟、评估和监控 AI 智能体，从而实现更快、更可靠的部署。该平台提供提示工程、智能体模拟和实时监控等功能，简化了 AI 开发生命周期。

SGLang-Omni

AI GitHub 仓库

#100本周

高性能的服务框架，专为文本到语音（TTS）和自动语音识别（ASR）等音频模型以及统一的多模态模型设计。它为高效部署和管理复杂的 AI 模型提供了强大的支持。SGLang-Omni 是一个高性能的服务框架，专为文本到语音（TTS）和自动语音识别（ASR）等音频模型以及统一的多模态模型设计。它为高效部署和管理复杂的 AI 模型提供了强大的支持。

Latitude

AI 应用

#101

一个开源的AI代理可观察性和监控平台，能够追踪生产中的代理，发现故障，并自动派遣编码代理进行修复。

Klu.ai

AI 应用

#102

Klu.ai 赋能团队设计、部署和优化大型语言模型 (LLM) 应用。它提供协作式提示设计、评估工作流和可观测性工具，以确保可靠的 AI 体验。Klu 帮助协调团队、跟踪性能并管理生产 LLM 应用的成本。

Langtrace

AI 应用

#103

开源的可观测性和评估平台，旨在帮助开发人员将 AI 原型转化为企业级产品。它提供对 AI 代理性能、安全性和成本的洞察，支持主流框架和 LLM 提供商，实现无缝集成和迭代。Langtrace 是一个开源的可观测性和评估平台，旨在帮助开发人员将 AI 原型转化为企业级产品。它提供对 AI 代理性能、安全性和成本的洞察，支持主流框架和 LLM 提供商，实现无缝集成和迭代。

UBIAI

AI 应用

#104

提供一个全面的平台，用于构建特定领域的 LLM。它通过数据标注、微调和部署工具简化 AI 开发，确保模型满足特定领域的需求。UBIAI 提供一个全面的平台，用于构建特定领域的 LLM。它通过数据标注、微调和部署工具简化 AI 开发，确保模型满足特定领域的需求。

Cleanlab AI安全平台

AI 应用

#105

帮助组织构建更安全的AI代理，通过防止错误响应来实现。它确保AI输出符合安全、合规和信任的标准，使AI系统具备生产准备和可靠性。Cleanlab帮助组织构建更安全的AI代理，通过防止错误响应来实现。它确保AI输出符合安全、合规和信任的标准，使AI系统具备生产准备和可靠性。

Athina

AI 应用

#106

协作式 AI 开发平台，供团队构建、测试和监控 AI 功能。它简化了提示管理、数据集评估和 AI 流程原型设计。Athina 适用于数据科学家、产品经理和工程师，通过持续评估和分段分析等功能，提高 AI 开发的速度和可靠性。Athina 是一个协作式 AI 开发平台，供团队构建、测试和监控 AI 功能。它简化了提示管理、数据集评估和 AI 流程原型设计。Athina 适用于数据科学家、产品经理和工程师，通过持续评估和分段分析等功能，提高 AI 开发的速度和可靠性。

玄武岩

AI 应用

#107

通过自动学习用户交互来捕捉客户行为，以增强AI代理。它提供每日更新，以基于真实对话分析改善代理性能。玄武岩通过自动学习用户交互来捕捉客户行为，以增强AI代理。它提供每日更新，以基于真实对话分析改善代理性能。

Labellerr

AI 应用

#108

由人工智能驱动的数据标注平台，提供高质量、可扩展的注释服务，适用于人工智能和机器学习。它支持多种数据类型，并提供高效的模型训练工具。Labellerr 是一个由人工智能驱动的数据标注平台，提供高质量、可扩展的注释服务，适用于人工智能和机器学习。它支持多种数据类型，并提供高效的模型训练工具。

Adaline

AI 应用

#110

专为自我改进的AI代理设计的可观察性和评估平台。它将生产跟踪转化为可操作的行为、评估、合成数据集和经过验证的改进，使团队能够高效、有效地增强他们的AI系统。Adaline是一个专为自我改进的AI代理设计的可观察性和评估平台。它将生产跟踪转化为可操作的行为、评估、合成数据集和经过验证的改进，使团队能够高效、有效地增强他们的AI系统。

Caveman

AI GitHub 仓库

#112

穴居人是一个GitHub项目，通过模仿穴居人的语言来优化编码代理的令牌使用。它将令牌消耗减少了65%，提高了开发者使用编码代理的效率。

FailproofAI

AI GitHub 仓库

#113

提供 AI 代理工具的可观察性和执行保障，确保每次运行都被捕获，并通过政策执行维护运行时的可靠性。它旨在增强 AI 系统的可靠性和效率。FailproofAI 提供 AI 代理工具的可观察性和执行保障，确保每次运行都被捕获，并通过政策执行维护运行时的可靠性。它旨在增强 AI 系统的可靠性和效率。

RagaAI Catalyst

AI GitHub 仓库

#115

为 AI 可观察性、监控和评估而设计的 Python SDK。它提供了代理和工具追踪、多代理系统调试以及带有自托管仪表板的高级分析等功能。RagaAI Catalyst 是一个为 AI 可观察性、监控和评估而设计的 Python SDK。它提供了代理和工具追踪、多代理系统调试以及带有自托管仪表板的高级分析等功能。

PowerInfer

AI GitHub 仓库

#116

高速度的大型语言模型服务工具，旨在本地部署。它能够高效快速地推理大型语言模型，适合希望在本地实现 AI 解决方案的开发者和研究人员。PowerInfer 是一个高速度的大型语言模型服务工具，旨在本地部署。它能够高效快速地推理大型语言模型，适合希望在本地实现 AI 解决方案的开发者和研究人员。

Datatron MLOps平台

AI 应用

#117

Datatron的MLOps平台使企业能够以增强的安全性大规模部署AI/ML模型。它与现有的CI/CD流程无缝集成，与自建解决方案相比，减少了90%的部署时间和成本。

CortX (XNode) AI 控制平面

AI 应用

#118

CortX by XNode 是一个企业级 AI 控制平面，为 AI 模型、用户和数据之间提供一个受管控的层。它确保合规性、成本控制和安全的 AI 交互在企业边界内进行。

Wallaroo.ai

AI 平台

#120

AI 平台，提供用于部署、管理和监控机器学习模型的工具。它旨在简化 MLOps 生命周期，使团队能够更快、更自信地将 AI 推向生产。该平台支持各种模型类型并与现有工作流集成。Wallaroo.ai 是一个 AI 平台，提供用于部署、管理和监控机器学习模型的工具。它旨在简化 MLOps 生命周期，使团队能够更快、更自信地将 AI 推向生产。该平台支持各种模型类型并与现有工作流集成。

Confidential AI Cloud · Phala

AI 平台

#121

Phala Cloud 提供了一个机密的 AI 平台，用于私有 LLM 推理、密封代理和可验证计算。它运行在 TEE 保护的 GPU 上，包括 Intel TDX 和 NVIDIA H100/H200。用户可以部署现有的 Docker Compose 工作负载，验证运行时，并访问 GPU 市场。它提供企业级合规性和安全性。

VModel - AI模型部署平台

AI 应用

#122

提供可扩展的API用于部署AI模型，支持图像生成、文本处理和自定义模型集成。它通过按需付费的定价模式简化了AI部署，使初创企业和大型企业都能轻松使用。VModel提供可扩展的API用于部署AI模型，支持图像生成、文本处理和自定义模型集成。它通过按需付费的定价模式简化了AI部署，使初创企业和大型企业都能轻松使用。

MagicArena

AI 应用

#123

视觉AI模型比较平台，允许用户比较各种模型的生成效果。它涵盖了图像和视频生成的顶级模型，提供独特的排行榜体验。MagicArena是一个视觉AI模型比较平台，允许用户比较各种模型的生成效果。它涵盖了图像和视频生成的顶级模型，提供独特的排行榜体验。

AirLLM

AI GitHub 仓库

#125

GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。AirLLM是一个GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。

Rocketride Server

AI GitHub 仓库

#126

高性能的 AI 流水线引擎，核心采用 C++。它支持超过 50 个可扩展的 Python 节点，使得构建、调试和扩展多个模型提供者和向量数据库的 LLM 工作流成为可能。该工具与 IDE 集成，并包括 VS Code 扩展、TypeScript/Python SDK 和 Docker 部署。Rocketride Server 是一款高性能的 AI 流水线引擎，核心采用 C++。它支持超过 50 个可扩展的 Python 节点，使得构建、调试和扩展多个模型提供者和向量数据库的 LLM 工作流成为可能。该工具与 IDE 集成，并包括 VS Code 扩展、TypeScript/Python SDK 和 Docker 部署。

llmspeed

AI 应用

#127昨天

允许用户在购买之前模拟本地 LLM 的速度。通过选择硬件和模型，用户可以根据经过验证的基准体验实时性能指标，包括每秒令牌数和首次令牌时间。llmspeed 允许用户在购买之前模拟本地 LLM 的速度。通过选择硬件和模型，用户可以根据经过验证的基准体验实时性能指标，包括每秒令牌数和首次令牌时间。

Netra

AI 应用

#128昨天

全面的 AI 代理生命周期管理平台，提供可观察性、评估、模拟和红队测试。它支持 14 个以上的 LLM 提供商和 12 个以上的框架，确保符合 SOC 2、HIPAA 和 GDPR 认证的安全和合规操作。Netra 是一个全面的 AI 代理生命周期管理平台，提供可观察性、评估、模拟和红队测试。它支持 14 个以上的 LLM 提供商和 12 个以上的框架，确保符合 SOC 2、HIPAA 和 GDPR 认证的安全和合规操作。

ModelMill - 训练与部署边缘AI模型

AI 应用

#129

ModelMill由Literal Labs开发，是一个基于云的深度学习平台，用于训练、测试和部署基于逻辑的网络。它自动化了从数据导入到SDK生成的过程，使得无需AI专业知识即可实现边缘就绪的AI模型。

Remyx AI

AI 应用

#130

AI 团队提供决策智能，帮助他们确定下一步要交付什么。它分析评估、实验和生产结果，以推荐最具影响力的更改，并能发现那些不会提高性能的更改。该平台与现有堆栈集成，以简化 AI 开发生命周期。Remyx AI 为 AI 团队提供决策智能，帮助他们确定下一步要交付什么。它分析评估、实验和生产结果，以推荐最具影响力的更改，并能发现那些不会提高性能的更改。该平台与现有堆栈集成，以简化 AI 开发生命周期。

TokenDance

AI 应用

#131

统一的 AI API 网关，支持 OpenAI、Claude 和 Gemini 等多个模型。它为开发者提供无缝集成，便于访问文本、图像、视频和语音模型，并具备智能路由和统一计费功能。TokenDance 是一个统一的 AI API 网关，支持 OpenAI、Claude 和 Gemini 等多个模型。它为开发者提供无缝集成，便于访问文本、图像、视频和语音模型，并具备智能路由和统一计费功能。

GPUStack

AI GitHub 仓库

#134

为高性能 AI 模型服务设计的 GPU 集群管理器，包括 vLLM 和 SGLang，并提供按需 SSH 可访问的 GPU 实例。它促进了 AI 应用程序的 GPU 资源高效管理。GPUStack 是一个为高性能 AI 模型服务设计的 GPU 集群管理器，包括 vLLM 和 SGLang，并提供按需 SSH 可访问的 GPU 实例。它促进了 AI 应用程序的 GPU 资源高效管理。

Strata

AI GitHub 仓库

#135

推理引擎，能够在消费硬件上部署 Qwen3.8-Flash-Next。它支持在 Windows 和 Linux 上一键安装，并提供与 OpenAI 和 Anthropic API 的集成，具有可选的图像输入功能。Strata 是一个推理引擎，能够在消费硬件上部署 Qwen3.8-Flash-Next。它支持在 Windows 和 Linux 上一键安装，并提供与 OpenAI 和 Anthropic API 的集成，具有可选的图像输入功能。

Synexa

AI 应用

#138

无服务器 API，允许通过一行代码运行 AI 模型。它为开发者提供了 100 多个可用于图像、视频、语音和 3D 生成、图像修复和字幕生成以及模型微调的生产就绪模型，运行在 A100 和 H100 GPU 上，具备自动扩展和按需付费定价。Synexa 是一个无服务器 API，允许通过一行代码运行 AI 模型。它为开发者提供了 100 多个可用于图像、视频、语音和 3D 生成、图像修复和字幕生成以及模型微调的生产就绪模型，运行在 A100 和 H100 GPU 上，具备自动扩展和按需付费定价。

ZETIC Melange

AI 应用

#139

自动化任何模型在任何设备上的设备端 AI 部署。由前高通工程师打造，它可优化 NPU 加速，在 200 多种设备上进行基准测试，并只需三行代码即可在数小时内完成部署，从而降低成本和延迟。ZETIC Melange 自动化任何模型在任何设备上的设备端 AI 部署。由前高通工程师打造，它可优化 NPU 加速，在 200 多种设备上进行基准测试，并只需三行代码即可在数小时内完成部署，从而降低成本和延迟。

VERN AI

AI 应用

#145

VERN OS 是一个人工智能治理系统，通过实时检测情感信号和应用行为策略来增强对话式 AI。它确保 AI 回复更安全、更有效，并与业务目标保持一致，从而防止漂移并改善用户体验。该系统提供用于信任和性能监控的分析。

omlx

AI GitHub 仓库

#147

为 Apple Silicon 设计的 LLM 推理服务器，具有连续批处理和 SSD 缓存功能。它直接从 macOS 菜单栏管理，为开发者提供高效、简化的体验，适用于处理大型语言模型。omlx 是一个为 Apple Silicon 设计的 LLM 推理服务器，具有连续批处理和 SSD 缓存功能。它直接从 macOS 菜单栏管理，为开发者提供高效、简化的体验，适用于处理大型语言模型。

ARBR

AI 应用

#149

开放的 AI 网关和控制平面，管理多个模型提供者之间的路由、可观察性、预算和治理。它通过为每个任务选择合适的模型并提供详细的成本和性能洞察，确保高效的 AI 请求处理。ARBR 是一个开放的 AI 网关和控制平面，管理多个模型提供者之间的路由、可观察性、预算和治理。它通过为每个任务选择合适的模型并提供详细的成本和性能洞察，确保高效的 AI 请求处理。

Langfuse

AI 平台

#50

开源的 LLM 工程平台，旨在帮助开发人员构建、监控和改进 AI 应用程序。它在一个统一的工作流程中提供追踪、提示管理、评估和分析。Langfuse 支持各种模型、框架和集成，使团队能够高效地从原型到生产。Langfuse 是一个开源的 LLM 工程平台，旨在帮助开发人员构建、监控和改进 AI 应用程序。它在一个统一的工作流程中提供追踪、提示管理、评估和分析。Langfuse 支持各种模型、框架和集成，使团队能够高效地从原型到生产。

Arize Phoenix 是一个开源的 AI 开发平台，旨在用于代理的开发和评估。它提供了追踪、测量和改善 AI 代理质量的工具，适合希望提升其 AI 应用的 AI 工程师和组织。

Opik by Comet

AI 应用

开源的 AI 可观察性平台，帮助开发者测试、发布并持续改进智能系统。它提供有效评估和监控大型语言模型 (LLM) 应用的工具。Opik 是一个开源的 AI 可观察性平台，帮助开发者测试、发布并持续改进智能系统。它提供有效评估和监控大型语言模型 (LLM) 应用的工具。

Myelin Foundry

AI 智能体

#229

提供深度技术智能 AI 解决方案，用于边缘部署，使强大的 AI 能够在低计算环境中高效运行。他们专注于实时、设备端处理，以提高汽车、工业和媒体领域的安全性、速度和可靠性。Myelin Foundry 提供深度技术智能 AI 解决方案，用于边缘部署，使强大的 AI 能够在低计算环境中高效运行。他们专注于实时、设备端处理，以提高汽车、工业和媒体领域的安全性、速度和可靠性。

Currai

AI 应用

#176

用于聊天和语音代理的 AI 代理监控和产品分析工具，将真实对话转化为意图、用户故事、政策违规和错误，捕捉用户从未报告的静默故障，并向 Slack 发送有证据支持的警报。Currai 是用于聊天和语音代理的 AI 代理监控和产品分析工具，将真实对话转化为意图、用户故事、政策违规和错误，捕捉用户从未报告的静默故障，并向 Slack 发送有证据支持的警报。

Elixir Observability

AI 应用

#181

专为多模态、音频优先的对话式 AI 代理设计的 AI Ops & QA 平台。它提供自动化测试、通话审查、监控、分析和追踪功能，以确保语音代理在生产环境中可靠且如预期般运行。Elixir Observability 是一个专为多模态、音频优先的对话式 AI 代理设计的 AI Ops & QA 平台。它提供自动化测试、通话审查、监控、分析和追踪功能，以确保语音代理在生产环境中可靠且如预期般运行。

DKube 私有化 AI 解决方案

AI 平台

DKube 赋能企业部署安全、生产就绪的私有化 AI 系统。它支持在本地和混合环境中构建 AI 解决方案，确保完全的控制权、合规性和所有权。DKube 的综合平台可将 AI 部署速度从数周缩短至数月。

Blobfish AI (blobfish.ai)

AI 平台

Blobfish AI 构建模拟企业环境（模拟 CRM、ERP 和可通过 MCP 访问的电子表格），用于在具有确定性和可验证结果的真实工作流程上训练 AI 代理。它是为 AI 实验室、模型开发者和进行强化学习或代理评估的企业团队而设计的，而非面向普通商业用户。

UsageGuard

AI 应用

#189

企业级 AI 开发可观测性平台。它提供统一的 API 来访问多个 AI 模型，内置安全防护、审核、成本控制以及详细的最终用户和使用情况跟踪，以实现安全高效的 AI 应用开发。UsageGuard 是一个企业级 AI 开发可观测性平台。它提供统一的 API 来访问多个 AI 模型，内置安全防护、审核、成本控制以及详细的最终用户和使用情况跟踪，以实现安全高效的 AI 应用开发。

Hyperopt.dev

AI 应用

今天

提供超参数调优服务，允许用户在本地训练模型，并通过 Python SDK 接收调优建议。它支持分类和回归任务，提供了一种简化的模型优化方法。Hyperopt.dev 提供超参数调优服务，允许用户在本地训练模型，并通过 Python SDK 接收调优建议。它支持分类和回归任务，提供了一种简化的模型优化方法。

通过将调用路由到正确的模型、阻止不必要的调用和重用已完成的工作来优化AI代理成本。它确保输出一致，同时降低费用，使AI操作更加高效和经济。Navige通过将调用路由到正确的模型、阻止不必要的调用和重用已完成的工作来优化AI代理成本。它确保输出一致，同时降低费用，使AI操作更加高效和经济。

kibbu

AI 应用

#194本周

Kibbu使公司能够通过利用闲置的笔记本电脑、工作站和服务器来降低AI云推理成本。它允许AI工作负载在本地运行，从而最小化云使用并保持数据控制。

NarrativeTrace

AI 应用

#186

跟踪库，将方法调用转换为人类和 AI 代理可读的叙述。它支持 TypeScript、Java、.NET 和 Python，提供基于 BSL 1.1 的免费和源代码可用的运行时。NarrativeTrace 是一个跟踪库，将方法调用转换为人类和 AI 代理可读的叙述。它支持 TypeScript、Java、.NET 和 Python，提供基于 BSL 1.1 的免费和源代码可用的运行时。

Shpyrd

AI 应用

#197

帮助开发者在线部署其 AI 构建应用的平台。它提供应用部署、访问管理和持续更新的工具，确保应用安全且可扩展。Shpyrd 是一个帮助开发者在线部署其 AI 构建应用的平台。它提供应用部署、访问管理和持续更新的工具，确保应用安全且可扩展。

Selfship

AI 应用

通过观察客户互动、诊断问题并通过GitHub拉取请求提出解决方案，识别并修复AI代理故障。它支持任何LLM和框架，提供一个封闭的改进循环，而无需推送到默认分支。Selfship通过观察客户互动、诊断问题并通过GitHub拉取请求提出解决方案，识别并修复AI代理故障。它支持任何LLM和框架，提供一个封闭的改进循环，而无需推送到默认分支。

SeedRouter

AI 应用

提供统一的 API，用于图像、视频、语言和音频模型，采用按请求计费的方式。它消除了多个账户和密钥的需求，为各种 AI 模型提供单一集成。SeedRouter 提供统一的 API，用于图像、视频、语言和音频模型，采用按请求计费的方式。它消除了多个账户和密钥的需求，为各种 AI 模型提供单一集成。

Brussle

AI 应用

本周

Brussle 根据记录的结果来校准 AI 决策，通过仅在它们在未见数据上超越模型时应用修正，确保准确性。它支持 TypeScript 和 Python SDK，提供灵活的决策能力。

Inferock

AI 应用

本周

提供可靠且可追溯的 LLM 推理，具有每次调用收据、损失报告和合格失败的服务积分等功能。它支持多个提供商和模型，确保开发人员、产品团队和企业的可观察性和成本跟踪。Inferock 提供可靠且可追溯的 LLM 推理，具有每次调用收据、损失报告和合格失败的服务积分等功能。它支持多个提供商和模型，确保开发人员、产品团队和企业的可观察性和成本跟踪。

Amazon SageMaker AI

AI 平台

亚马逊 SageMaker AI 是一项完全托管的服务，使用户能够高效地构建、训练和部署机器学习模型。它提供必要的基础设施、工具和工作流程，以加速各个技能水平组织的 AI 开发。

Bento

AI 平台

为速度和控制而设计的推理平台，使您能够将任何 AI 模型部署到任何地方。它提供定制优化、高效扩展和简化的操作，以满足 AI 团队的需求。在保持对部署的完全控制的同时，简化推理基础设施。Bento 是一个为速度和控制而设计的推理平台，使您能够将任何 AI 模型部署到任何地方。它提供定制优化、高效扩展和简化的操作，以满足 AI 团队的需求。在保持对部署的完全控制的同时，简化推理基础设施。

Modal: AI 基础设施

AI 平台

开发者提供高性能、无服务器的 AI 基础设施。以亚秒级冷启动和即时自动伸缩能力，大规模运行 CPU、GPU 和数据密集型计算。它为推理、训练和沙箱提供原生 Python 开发体验，使云部署对 AI 和数据团队来说无缝衔接。Modal 为开发者提供高性能、无服务器的 AI 基础设施。以亚秒级冷启动和即时自动伸缩能力，大规模运行 CPU、GPU 和数据密集型计算。它为推理、训练和沙箱提供原生 Python 开发体验，使云部署对 AI 和数据团队来说无缝衔接。

Replicate - 通过 API 运行 AI

AI 平台

提供了一个云 API，用于运行和微调开源机器学习模型。只需一行代码即可部署自定义模型。访问数千个面向生产的 AI 模型，用于图像生成、语音、音乐和视频创作。仅按使用的计算付费，并自动扩展。Replicate 提供了一个云 API，用于运行和微调开源机器学习模型。只需一行代码即可部署自定义模型。访问数千个面向生产的 AI 模型，用于图像生成、语音、音乐和视频创作。仅按使用的计算付费，并自动扩展。

Fireworks AI

AI 平台

提供了一个无服务器的生成式 AI 推理平台，使用户能够高速运行最先进的开源 LLM 和图像模型。它还提供了无需管理基础设施即可微调和部署自定义模型的工具，专注于各种 AI 应用的速度、质量和成本优化。Fireworks AI 提供了一个无服务器的生成式 AI 推理平台，使用户能够高速运行最先进的开源 LLM 和图像模型。它还提供了无需管理基础设施即可微调和部署自定义模型的工具，专注于各种 AI 应用的速度、质量和成本优化。

阿里云模型工作室 - AI平台

AI 平台

企业级平台，旨在推动AI创新，提供一套生成式AI模型和应用。它使开发者和企业能够轻松创建和部署AI解决方案，提高生产力和创造力。阿里云模型工作室是一个企业级平台，旨在推动AI创新，提供一套生成式AI模型和应用。它使开发者和企业能够轻松创建和部署AI解决方案，提高生产力和创造力。

一个为开发者提供的AI基础设施平台，通过一个与OpenAI兼容的API，以按需付费的方式部署、微调和运行200多个优化的LLM和多模态模型。

SGLang

AI 框架

为大型语言和多模态模型设计的高性能服务框架。它提供广泛的硬件支持和强大的生态系统，帮助开发者高效地实现先进的AI解决方案。SGLang是一个为大型语言和多模态模型设计的高性能服务框架。它提供广泛的硬件支持和强大的生态系统，帮助开发者高效地实现先进的AI解决方案。

Cloudflare Workers AI - 边缘 AI 推理平台

AI 平台

边缘 AI 推理平台，允许用户通过一次 API 调用在全球范围内运行 AI 推理。它提供超过 50 种模型和无服务器定价，使得扩展 AI 工作负载变得简单，无需管理基础设施。Cloudflare Workers AI 是一个边缘 AI 推理平台，允许用户通过一次 API 调用在全球范围内运行 AI 推理。它提供超过 50 种模型和无服务器定价，使得扩展 AI 工作负载变得简单，无需管理基础设施。

Cerebrium

AI 平台

提供用于实时 AI 的无服务器 GPU 基础设施，可实现语音代理、视频模型和 LLM 的亚秒级冷启动。它提供即时自动扩展、按秒计费，并消除了对 Kubernetes 的需求，从而无需复杂的基础设施管理即可实现生产级 AI。Cerebrium 提供用于实时 AI 的无服务器 GPU 基础设施，可实现语音代理、视频模型和 LLM 的亚秒级冷启动。它提供即时自动扩展、按秒计费，并消除了对 Kubernetes 的需求，从而无需复杂的基础设施管理即可实现生产级 AI。

Visnet

AI 应用

提供了一个全面的无头、多兼容且通用的神经网络接口，用于开发和部署 AI 模型。它提供模块化前端、无服务器架构和强大的安全功能，能够高效地集成 NLP 和深度视觉系统，以满足各种工业应用的需求。Visnet 提供了一个全面的无头、多兼容且通用的神经网络接口，用于开发和部署 AI 模型。它提供模块化前端、无服务器架构和强大的安全功能，能够高效地集成 NLP 和深度视觉系统，以满足各种工业应用的需求。

APIPark – API 开发者门户

AI 应用

开源的企业级 API 开发者门户和 LLM 网关。它提供统一的 API 签名以支持多个 LLM，并具备负载均衡、流量控制和提示管理功能。APIPark 增强了 LLM 调用的安全性、稳定性和成本优化能力，助力企业将 AI 集成到其运营中。APIPark 是一个开源的企业级 API 开发者门户和 LLM 网关。它提供统一的 API 签名以支持多个 LLM，并具备负载均衡、流量控制和提示管理功能。APIPark 增强了 LLM 调用的安全性、稳定性和成本优化能力，助力企业将 AI 集成到其运营中。

Ratio1 AI OS

AI 应用

由区块链技术驱动的 AI 操作系统，能够快速开发和部署去中心化 AI 应用。它提供低代码环境、带有 $R1 效用代币的代币化经济，以及激励节点运行，以实现可扩展、私密且安全的 AI 创新。Ratio1 是一个由区块链技术驱动的 AI 操作系统，能够快速开发和部署去中心化 AI 应用。它提供低代码环境、带有 $R1 效用代币的代币化经济，以及激励节点运行，以实现可扩展、私密且安全的 AI 创新。

EnergeticAI

AI 应用

EnergeticAI 优化 TensorFlow.js 以用于无服务器 Node.js 应用程序，提供快速冷启动时间和更小的模块大小。它提供用于文本分类和嵌入等任务的预训练模型，使开发人员能够以对业务友好的许可高效地将开源 AI 集成到他们的项目中。

Rubrik Agent Cloud

AI 应用

AI 代理提供企业级控制层，支持对代理操作进行实时监控、治理和修复。它帮助组织在管理风险的同时加速 AI 采用，确保代理在定义的边界内安全运行，并允许从错误中快速恢复。Rubrik Agent Cloud 为 AI 代理提供企业级控制层，支持对代理操作进行实时监控、治理和修复。它帮助组织在管理风险的同时加速 AI 采用，确保代理在定义的边界内安全运行，并允许从错误中快速恢复。

EmbedAPI

AI 应用

提供了一个统一的平台，用于集成各种 AI 模型，包括 OpenAI、Anthropic 和 Gemini，到应用程序中。它简化了 AI 基础设施的管理，使开发人员能够以可预测的定价和企业级可靠性快速构建 AI 驱动的功能，如聊天机器人、内容生成和代码助手。EmbedAPI 提供了一个统一的平台，用于集成各种 AI 模型，包括 OpenAI、Anthropic 和 Gemini，到应用程序中。它简化了 AI 基础设施的管理，使开发人员能够以可预测的定价和企业级可靠性快速构建 AI 驱动的功能，如聊天机器人、内容生成和代码助手。

TextSynth

AI 应用

提供 API 访问，可用于高级文本和图像生成、语音处理等 AI 模型。它利用自定义推理，在标准硬件上实现更快、更低成本的操作。公司成立于 2020 年，是早期提供 GPT-2 访问的服务商之一，服务器位于法国。提供带有速率限制的免费套餐。TextSynth 提供 API 访问，可用于高级文本和图像生成、语音处理等 AI 模型。它利用自定义推理，在标准硬件上实现更快、更低成本的操作。公司成立于 2020 年，是早期提供 GPT-2 访问的服务商之一，服务器位于法国。提供带有速率限制的免费套餐。

Featherless - Serverless LLM 托管

AI 应用

提供开源 LLM 的无服务器托管，提供一个 API 密钥即可即时访问超过 30,000 个模型。它简化了部署，为希望集成高级 AI 功能而无需处理基础设施难题的开发人员和企业确保了可靠性和可预测的成本。Featherless 提供开源 LLM 的无服务器托管，提供一个 API 密钥即可即时访问超过 30,000 个模型。它简化了部署，为希望集成高级 AI 功能而无需处理基础设施难题的开发人员和企业确保了可靠性和可预测的成本。

Salad 分布式 GPU 云

AI 应用

提供分布式 GPU 云服务，拥有超过 60,000 个日活跃 GPU，起价仅为 $0.02/小时。它为 AI/ML 生产模型、推理、批处理等提供低成本、高扩展性的计算能力，为用户节省高达 90% 的成本。Salad 提供分布式 GPU 云服务，拥有超过 60,000 个日活跃 GPU，起价仅为 $0.02/小时。它为 AI/ML 生产模型、推理、批处理等提供低成本、高扩展性的计算能力，为用户节省高达 90% 的成本。

Metaflow

AI 应用

开源框架，专为构建和管理真实的机器学习、人工智能和数据科学项目而设计。它简化了开发、版本控制和部署，使用户能够利用云端计算进行可扩展执行，并与现有基础设施无缝集成。Metaflow 是一个开源框架，专为构建和管理真实的机器学习、人工智能和数据科学项目而设计。它简化了开发、版本控制和部署，使用户能够利用云端计算进行可扩展执行，并与现有基础设施无缝集成。

Seldon Core

AI GitHub 仓库

MLOps 和 LLMOps 框架，用于在 Kubernetes 上部署、管理和扩展 AI 系统。它支持跨云部署各种模型类型，并通过管道、自动伸缩和多模型服务等功能，促进模块化和以数据为中心的应用程序。Seldon Core 是一个 MLOps 和 LLMOps 框架，用于在 Kubernetes 上部署、管理和扩展 AI 系统。它支持跨云部署各种模型类型，并通过管道、自动伸缩和多模型服务等功能，促进模块化和以数据为中心的应用程序。

RedPajama-INCITE

AI 平台

Together AI 是一个AI模型平台。它提供对各种模型的访问，使开发人员能够将先进的AI功能集成到他们的应用程序中。该平台专注于提供一个强大的AI开发和部署环境，支持AI驱动项目的创新和效率。

SHAP AI 解释

AI 框架

基于博弈论的方法，用于解释机器学习模型的输出。它利用 Shapley 值将最优信用分配与局部解释联系起来，从而深入了解特征如何影响各种模型类型和数据模态的预测。SHAP (SHapley Additive exPlanations) 是一种基于博弈论的方法，用于解释机器学习模型的输出。它利用 Shapley 值将最优信用分配与局部解释联系起来，从而深入了解特征如何影响各种模型类型和数据模态的预测。

AI Fairness 360

AI 框架

开源工具包，旨在帮助研究人员和开发人员检测、理解和缓解机器学习模型中不希望存在的偏见。它提供了一套全面的公平性指标和缓解算法，以促进公平的 AI 系统。AI Fairness 360 (AIF360) 是一个开源工具包，旨在帮助研究人员和开发人员检测、理解和缓解机器学习模型中不希望存在的偏见。它提供了一套全面的公平性指标和缓解算法，以促进公平的 AI 系统。

ONNX 文档

AI 框架

提供了其 1.23.0 版本的文档。内容涵盖核心概念、Python 集成、API 参考、版本控制、数据结构和算子。文档详细介绍了数据存储、安全性和后端实现指南以及实验性算子等技术方面。ONNX (Open Neural Network Exchange) 提供了其 1.23.0 版本的文档。内容涵盖核心概念、Python 集成、API 参考、版本控制、数据结构和算子。文档详细介绍了数据存储、安全性和后端实现指南以及实验性算子等技术方面。