跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

OpenVINO

OpenVINO是一个开源工具包,旨在优化和部署AI推理。它提供了一整套工具和库,帮助开发者加速深度学习模型在各种硬件平台上的运行。该工具包支持广泛的AI模型,并提供模型优化、量化和高效执行的功能,使其适用于多种AI应用。

查看仓库
分享
查看仓库
分享

OpenVINO™是一个开源工具包,旨在简化AI推理的优化和部署。它提供了一个强大的框架,使开发者能够高效地转换、优化和运行深度学习模型,支持多种硬件,包括CPU、GPU和其他加速器。该工具包旨在通过应用量化、模型压缩和图优化等技术来最大化性能,这些技术显著减少了推理延迟并提高了吞吐量。

阅读更多

OpenVINO的核心功能围绕其从流行框架(如TensorFlow、PyTorch和ONNX)获取预训练模型并为高性能执行做好准备的能力。它包括一个模型优化器,将模型转换为中间表示(IR),然后针对特定硬件目标进行优化。推理引擎是另一个关键组件,提供统一的API来部署这些优化后的模型,确保在不同设备上的一致性能。

OpenVINO支持广泛的AI应用,从计算机视觉任务(如目标检测和图像分类)到自然语言处理和语音识别。其灵活性使其成为边缘计算场景的理想选择,在这些场景中,低延迟和高效的资源利用至关重要。该工具包还提供丰富的示例和文档,帮助用户快速入门并将AI功能集成到他们的项目中。

作为一个开源项目,OpenVINO受益于活跃的贡献者社区,确保持续的发展和改进。它支持多种编程语言,主要是Python和C++,允许开发者选择他们喜欢的环境。该工具包对开放标准和广泛硬件兼容性的承诺,使其成为任何希望在实际应用中以最佳性能部署AI模型的人的宝贵资产。

  • 类别MLOps 与模型部署
  • 定价模式开源
  • 部署云端, 自托管
  • 平台Windows, Linux, macOS

  • 开源工具包,用于AI推理

  • 优化深度学习模型

  • 在各种硬件上部署AI推理

  • 支持CPU、GPU和其他加速器

  • 包括模型优化器用于模型转换

  • 提供推理引擎用于统一API部署

  • 支持来自TensorFlow、PyTorch、ONNX的模型

  • 具有量化和模型压缩功能

  • 提供图优化技术

  • 减少推理延迟,提高吞吐量

  • 适用于计算机视觉任务

  • 适用于自然语言处理

  • 支持语音识别应用

  • 设计用于边缘计算场景

  • 受益于社区贡献

  1. 克隆仓库:使用`git clone`从GitHub获取OpenVINO源代码。

  2. 安装依赖:按照`install_build_dependencies.sh`脚本中的说明设置必要的库和工具。

  3. 配置构建:使用CMake配置构建过程,指定目标硬件和所需组件。

  4. 构建OpenVINO:使用您选择的构建系统(例如Make、Ninja)编译源代码。

  5. 部署模型:使用模型优化器将您的预训练AI模型转换为OpenVINO的中间表示(IR)。

  6. 运行推理:在您的应用程序中利用推理引擎API加载并执行优化后的模型。

  7. 优化性能:尝试不同的优化技术,如量化和模型融合,以实现所需的性能指标。

  • 计算机视觉部署
  • 自然语言处理
  • 语音识别系统
  • 边缘AI应用
  • 工业自动化
  • 零售分析
  • 医疗成像
  • 机器人和自主系统

Intel 旗下产品

隶属于 OpenVINO 工具包。

OpenVINO 评价

加载中...

与 OpenVINO 类似的热门AI工具

NVIDIA Model-Optimizer

AI GitHub 仓库

NVIDIA Model-Optimizer 是一个统一的库,提供最先进的深度学习模型优化技术。它包括量化、蒸馏、剪枝和神经架构搜索等方法,以压缩模型。该库旨在提高 TensorRT-LLM、TensorRT 和 vLLM 等部署框架的推理速度,使深度学习模型在各种应用中更加高效。

MLOps 与模型部署
查看工具

AI GitHub 仓库

统一的库,提供最先进的深度学习模型优化技术。它包括量化、蒸馏、剪枝和神经架构搜索等方法,以压缩模型。该库旨在提高 TensorRT-LLM、TensorRT 和 vLLM 等部署框架的推理速度,使深度学习模型在各种应用中更加高效。NVIDIA Model-Optimizer 是一个统一的库,提供最先进的深度学习模型优化技术。它包括量化、蒸馏、剪枝和神经架构搜索等方法,以压缩模型。该库旨在提高 TensorRT-LLM、TensorRT 和 vLLM 等部署框架的推理速度,使深度学习模型在各种应用中更加高效。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

DeepInfer

AI GitHub 仓库

DeepInfer 是一个高性能、大规模推理框架,专为 DeepSeek 模型设计。它促进高效且可扩展的推理过程,非常适合需要强大模型部署和执行的深度学习项目开发者。

MLOps 与模型部署
查看工具

AI GitHub 仓库

高性能、大规模推理框架,专为 DeepSeek 模型设计。它促进高效且可扩展的推理过程,非常适合需要强大模型部署和执行的深度学习项目开发者。DeepInfer 是一个高性能、大规模推理框架,专为 DeepSeek 模型设计。它促进高效且可扩展的推理过程,非常适合需要强大模型部署和执行的深度学习项目开发者。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

AirLLM

AI GitHub 仓库

AirLLM是一个GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。

MLOps 与模型部署

机器学习与数据科学 排名第 72 位

查看工具

AI GitHub 仓库

GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。AirLLM是一个GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。

MLOps 与模型部署
机器学习与数据科学 排名第 72 位

OpenVINO 是一个开源工具包,用于在各种硬件上部署高性能 AI 解决方案。它使开发人员能够转换、优化和运行来自流行框架的生成式和传统 AI 模型进行推理,支持云、AI PC 和边缘设备的高效部署。

计算机视觉工具
查看工具

开源工具包,用于在各种硬件上部署高性能 AI 解决方案。它使开发人员能够转换、优化和运行来自流行框架的生成式和传统 AI 模型进行推理,支持云、AI PC 和边缘设备的高效部署。OpenVINO 是一个开源工具包,用于在各种硬件上部署高性能 AI 解决方案。它使开发人员能够转换、优化和运行来自流行框架的生成式和传统 AI 模型进行推理,支持云、AI PC 和边缘设备的高效部署。

计算机视觉工具
查看 AI 框架 Top 50

Kapitsa

AI GitHub 仓库

Kapitsa 是一个为 Apple Silicon 优化的推理引擎,兼容 OpenAI 和 Anthropic API。由 Nace AI 开发,支持 Qwen 和 Nemotron 模型,为 AI 推理任务提供高性能解决方案。

MLOps 与模型部署
查看工具

AI GitHub 仓库

为 Apple Silicon 优化的推理引擎,兼容 OpenAI 和 Anthropic API。由 Nace AI 开发,支持 Qwen 和 Nemotron 模型,为 AI 推理任务提供高性能解决方案。Kapitsa 是一个为 Apple Silicon 优化的推理引擎,兼容 OpenAI 和 Anthropic API。由 Nace AI 开发,支持 Qwen 和 Nemotron 模型,为 AI 推理任务提供高性能解决方案。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

Baseten

AI 平台

Baseten的推理平台使用户能够高效地部署和扩展开源及自定义AI模型。它提供高性能推理,配备专用基础设施、优化的API和无缝的开发者工作流程,确保快速部署和可靠的性能。

MLOps 与模型部署

AI 平台 排名第 72 位

查看工具

AI 平台

Baseten的推理平台使用户能够高效地部署和扩展开源及自定义AI模型。它提供高性能推理,配备专用基础设施、优化的API和无缝的开发者工作流程,确保快速部署和可靠的性能。

精选MLOps 与模型部署
AI 平台 排名第 72 位

TorchTitan

AI GitHub 仓库

TorchTitan 是一个基于 PyTorch 的平台,旨在训练生成性 AI 模型。它提供了一个强大的框架,用于开发和优化大规模 AI 项目,充分利用 PyTorch 的能力。该平台支持模型训练的各个方面,包括激活卸载、分布式训练和全面测试,使其适合于从事先进生成性 AI 应用的研究人员和开发人员。

机器学习平台
查看工具

AI GitHub 仓库

基于 PyTorch 的平台,旨在训练生成性 AI 模型。它提供了一个强大的框架,用于开发和优化大规模 AI 项目,充分利用 PyTorch 的能力。该平台支持模型训练的各个方面,包括激活卸载、分布式训练和全面测试,使其适合于从事先进生成性 AI 应用的研究人员和开发人员。TorchTitan 是一个基于 PyTorch 的平台,旨在训练生成性 AI 模型。它提供了一个强大的框架,用于开发和优化大规模 AI 项目,充分利用 PyTorch 的能力。该平台支持模型训练的各个方面,包括激活卸载、分布式训练和全面测试,使其适合于从事先进生成性 AI 应用的研究人员和开发人员。

机器学习平台
查看 AI GitHub 仓库 Top 250

trnrt

AI GitHub 仓库

trnrt是一个开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。

MLOps 与模型部署

MLOps 与模型部署 排名第 160 位

查看工具

AI GitHub 仓库

开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。trnrt是一个开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。

MLOps 与模型部署
MLOps 与模型部署 排名第 160 位
1/8