본문으로 건너뛰기
ToolPotion
AI 어드바이저
제출 (무료)

OpenVINO

OpenVINO는 AI 추론을 최적화하고 배포하기 위해 설계된 오픈 소스 툴킷입니다. 다양한 하드웨어 플랫폼에서 딥 러닝 모델을 가속화하는 데 도움이 되는 포괄적인 도구 및 라이브러리 세트를 제공합니다. 이 툴킷은 다양한 AI 모델을 지원하며 모델 최적화, 양자화 및 효율적인 실행을 위한 기능을 제공하여 다양한 AI 애플리케이션에 적합합니다.

저장소 보기
공유
저장소 보기
공유

OpenVINO™는 AI 추론의 최적화 및 배포를 간소화하기 위해 개발된 오픈 소스 툴킷입니다. 이 툴킷은 개발자가 CPU, GPU 및 기타 가속기를 포함한 다양한 하드웨어에서 딥 러닝 모델을 효율적으로 변환, 최적화 및 실행할 수 있도록 하는 강력한 프레임워크를 제공합니다. 툴킷은 양자화, 모델 압축 및 그래프 최적화와 같은 기술을 적용하여 성능을 극대화하도록 설계되어 있으며, 이는 추론 지연 시간을 크게 줄이고 처리량을 향상시킵니다.

더 읽기

OpenVINO의 핵심 기능은 TensorFlow, PyTorch 및 ONNX와 같은 인기 있는 프레임워크에서 사전 훈련된 모델을 가져와 고성능 실행을 위해 준비하는 능력에 중점을 두고 있습니다. 모델을 중간 표현(IR)으로 변환하는 모델 최적화기가 포함되어 있으며, 이는 특정 하드웨어 타겟에 맞게 최적화됩니다. 또 다른 주요 구성 요소인 추론 엔진은 이러한 최적화된 모델을 배포하기 위한 통합 API를 제공하여 다양한 장치에서 일관된 성능을 보장합니다.

OpenVINO는 객체 탐지 및 이미지 분류와 같은 컴퓨터 비전 작업부터 자연어 처리 및 음성 인식에 이르기까지 광범위한 AI 애플리케이션을 지원합니다. 그 유연성 덕분에 낮은 지연 시간과 효율적인 자원 활용이 중요한 엣지 컴퓨팅 시나리오에 이상적인 선택이 됩니다. 이 툴킷은 사용자가 빠르게 시작하고 AI 기능을 프로젝트에 통합할 수 있도록 돕기 위해 풍부한 샘플과 문서를 제공합니다.

오픈 소스 프로젝트인 OpenVINO는 활발한 기여자 커뮤니티의 혜택을 받아 지속적인 개발과 개선이 이루어집니다. Python과 C++를 주로 지원하여 개발자가 선호하는 환경을 선택할 수 있도록 합니다. 툴킷의 오픈 표준 및 광범위한 하드웨어 호환성에 대한 약속은 최적의 성능으로 실제 애플리케이션에 AI 모델을 배포하려는 모든 사람에게 귀중한 자산이 됩니다.

  • 카테고리MLOps 및 모델 배포
  • 요금제오픈소스
  • 배포클라우드, 셀프 호스팅
  • 플랫폼Windows, Linux, macOS

  • AI 추론을 위한 오픈 소스 툴킷

  • 딥 러닝 모델 최적화

  • 다양한 하드웨어에서 AI 추론 배포

  • CPU, GPU 및 기타 가속기 지원

  • 모델 변환을 위한 모델 최적화기 포함

  • 통합 API 배포를 위한 추론 엔진 제공

  • TensorFlow, PyTorch, ONNX의 모델 지원

  • 양자화 및 모델 압축 기능

  • 그래프 최적화 기술 제공

  • 추론 지연 시간 감소 및 처리량 향상

  • 컴퓨터 비전 작업에 적합

  • 자연어 처리에 적용 가능

  • 음성 인식 애플리케이션 지원

  • 엣지 컴퓨팅 시나리오를 위해 설계됨

  • 커뮤니티 기여의 혜택

  1. 저장소 복제: `git clone`을 사용하여 GitHub에서 OpenVINO 소스 코드를 가져옵니다.

  2. 종속성 설치: `install_build_dependencies.sh` 스크립트의 지침을 따라 필요한 라이브러리와 도구를 설정합니다.

  3. 빌드 구성: CMake를 사용하여 빌드 프로세스를 구성하고, 대상 하드웨어 및 원하는 구성 요소를 지정합니다.

  4. OpenVINO 빌드: 선택한 빌드 시스템(예: Make, Ninja)을 사용하여 소스 코드를 컴파일합니다.

  5. 모델 배포: 모델 최적화기를 사용하여 사전 훈련된 AI 모델을 OpenVINO의 중간 표현(IR)으로 변환합니다.

  6. 추론 실행: 애플리케이션에서 추론 엔진 API를 활용하여 최적화된 모델을 로드하고 대상 장치에서 실행합니다.

  7. 성능 최적화: 양자화 및 모델 융합과 같은 다양한 최적화 기술을 실험하여 원하는 성능 지표를 달성합니다.

  • 컴퓨터 비전 배포
  • 자연어 처리
  • 음성 인식 시스템
  • 엣지 AI 애플리케이션
  • 산업 자동화
  • 소매 분석
  • 의료 영상
  • 로봇 및 자율 시스템

Intel의 제품

OpenVINO Toolkit의 일부입니다.

OpenVINO 리뷰

로딩 중...

OpenVINO와(과) 비슷한 인기 AI 도구

NVIDIA Model-Optimizer

AI GitHub 저장소

NVIDIA Model-Optimizer는 딥 러닝 모델 최적화를 위한 최첨단 기술을 제공하는 통합 라이브러리입니다. 이 라이브러리는 모델 압축을 위한 양자화, 증류, 가지치기 및 신경망 아키텍처 검색과 같은 방법을 포함하고 있습니다. 이 라이브러리는 TensorRT-LLM, TensorRT 및 vLLM과 같은 배포…

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

딥 러닝 모델 최적화를 위한 최첨단 기술을 제공하는 통합 라이브러리입니다. 이 라이브러리는 모델 압축을 위한 양자화, 증류, 가지치기 및 신경망 아키텍처 검색과 같은 방법을 포함하고 있습니다. 이 라이브러리는 TensorRT-LLM, TensorRT 및 vLLM과 같은 배포…NVIDIA Model-Optimizer는 딥 러닝 모델 최적화를 위한 최첨단 기술을 제공하는 통합 라이브러리입니다. 이 라이브러리는 모델 압축을 위한 양자화, 증류, 가지치기 및 신경망 아키텍처 검색과 같은 방법을 포함하고 있습니다. 이 라이브러리는 TensorRT-LLM, TensorRT 및 vLLM과 같은 배포…

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

DeepInfer

AI GitHub 저장소

DeepInfer는 DeepSeek 모델을 위해 설계된 고성능 대규모 추론 프레임워크입니다. 효율적이고 확장 가능한 추론 프로세스를 지원하여 강력한 모델 배포 및 실행이 필요한 딥 러닝 프로젝트에 적합합니다.

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

DeepSeek 모델을 위해 설계된 고성능 대규모 추론 프레임워크입니다. 효율적이고 확장 가능한 추론 프로세스를 지원하여 강력한 모델 배포 및 실행이 필요한 딥 러닝 프로젝트에 적합합니다.DeepInfer는 DeepSeek 모델을 위해 설계된 고성능 대규모 추론 프레임워크입니다. 효율적이고 확장 가능한 추론 프로세스를 지원하여 강력한 모델 배포 및 실행이 필요한 딥 러닝 프로젝트에 적합합니다.

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

AirLLM

AI GitHub 저장소

AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

MLOps 및 모델 배포

머신러닝 및 데이터 사이언스 72위

도구 보기

AI GitHub 저장소

단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

MLOps 및 모델 배포
머신러닝 및 데이터 사이언스 72위

OpenVINO Toolkit

AI 프레임워크

OpenVINO는 다양한 하드웨어에서 고성능 AI 솔루션을 배포하기 위한 오픈 소스 툴킷입니다. 개발자는 클라우드, AI PC 및 엣지 디바이스에서 효율적인 배포를 지원하며, 인기 있는 프레임워크의 생성형 및 기존 AI 모델 모두에 대한 추론을 변환, 최적화 및 실행할 수 있습니다.

컴퓨터 비전 도구
도구 보기

AI 프레임워크

다양한 하드웨어에서 고성능 AI 솔루션을 배포하기 위한 오픈 소스 툴킷입니다. 개발자는 클라우드, AI PC 및 엣지 디바이스에서 효율적인 배포를 지원하며, 인기 있는 프레임워크의 생성형 및 기존 AI 모델 모두에 대한 추론을 변환, 최적화 및 실행할 수 있습니다.OpenVINO는 다양한 하드웨어에서 고성능 AI 솔루션을 배포하기 위한 오픈 소스 툴킷입니다. 개발자는 클라우드, AI PC 및 엣지 디바이스에서 효율적인 배포를 지원하며, 인기 있는 프레임워크의 생성형 및 기존 AI 모델 모두에 대한 추론을 변환, 최적화 및 실행할 수 있습니다.

컴퓨터 비전 도구
AI 프레임워크 TOP 50 보기

Kapitsa

AI GitHub 저장소

Kapitsa는 Apple Silicon에 최적화된 추론 엔진으로, OpenAI 및 Anthropic API와 호환됩니다. Nace AI에서 개발하였으며, Qwen 및 Nemotron 모델을 지원하여 AI 추론 작업을 위한 고성능 솔루션을 제공합니다.

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

Apple Silicon에 최적화된 추론 엔진으로, OpenAI 및 Anthropic API와 호환됩니다. Nace AI에서 개발하였으며, Qwen 및 Nemotron 모델을 지원하여 AI 추론 작업을 위한 고성능 솔루션을 제공합니다.Kapitsa는 Apple Silicon에 최적화된 추론 엔진으로, OpenAI 및 Anthropic API와 호환됩니다. Nace AI에서 개발하였으며, Qwen 및 Nemotron 모델을 지원하여 AI 추론 작업을 위한 고성능 솔루션을 제공합니다.

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

Baseten

AI 플랫폼

Baseten의 추론 플랫폼은 사용자가 오픈 소스 및 맞춤형 AI 모델을 효율적으로 배포하고 확장할 수 있도록 합니다. 전용 인프라, 최적화된 API 및 원활한 개발자 워크플로우를 통해 고성능 추론을 제공하여 신속한 배포와 신뢰할 수 있는 성능을 보장합니다.

MLOps 및 모델 배포

AI 플랫폼 72위

도구 보기

AI 플랫폼

Baseten의 추론 플랫폼은 사용자가 오픈 소스 및 맞춤형 AI 모델을 효율적으로 배포하고 확장할 수 있도록 합니다. 전용 인프라, 최적화된 API 및 원활한 개발자 워크플로우를 통해 고성능 추론을 제공하여 신속한 배포와 신뢰할 수 있는 성능을 보장합니다.

추천MLOps 및 모델 배포
AI 플랫폼 72위

TorchTitan

AI GitHub 저장소

TorchTitan은 생성적 AI 모델 훈련을 위해 설계된 PyTorch 네이티브 플랫폼입니다. 이 플랫폼은 PyTorch의 기능을 활용하여 대규모 AI 프로젝트를 개발하고 최적화하기 위한 강력한 프레임워크를 제공합니다. 모델 훈련의 다양한 측면을 지원하며, 활성화 오프로드, 분산 훈련 및 포괄적인 테스트를 포함하여…

머신러닝 플랫폼
도구 보기

AI GitHub 저장소

생성적 AI 모델 훈련을 위해 설계된 PyTorch 네이티브 플랫폼입니다. 이 플랫폼은 PyTorch의 기능을 활용하여 대규모 AI 프로젝트를 개발하고 최적화하기 위한 강력한 프레임워크를 제공합니다. 모델 훈련의 다양한 측면을 지원하며, 활성화 오프로드, 분산 훈련 및 포괄적인 테스트를 포함하여…TorchTitan은 생성적 AI 모델 훈련을 위해 설계된 PyTorch 네이티브 플랫폼입니다. 이 플랫폼은 PyTorch의 기능을 활용하여 대규모 AI 프로젝트를 개발하고 최적화하기 위한 강력한 프레임워크를 제공합니다. 모델 훈련의 다양한 측면을 지원하며, 활성화 오프로드, 분산 훈련 및 포괄적인 테스트를 포함하여…

머신러닝 플랫폼
AI GitHub 저장소 TOP 250 보기

trnrt

AI GitHub 저장소

trnrt는 AWS Trainium을 위해 설계된 오픈 소스 LLM 추론 엔진으로, NKI 메가커널을 제공하며 1M 토큰 컨텍스트를 지원합니다. RunAnywhere에 의해 개발된 이 엔진은 OpenAI 호환 API를 제공하여 전문 AWS 하드웨어에서 효율적이고 확장 가능한 대형 언어 모델 배포를 가능하게 합니다. 이…

MLOps 및 모델 배포

MLOps 및 모델 배포 160위

도구 보기

AI GitHub 저장소

AWS Trainium을 위해 설계된 오픈 소스 LLM 추론 엔진으로, NKI 메가커널을 제공하며 1M 토큰 컨텍스트를 지원합니다. RunAnywhere에 의해 개발된 이 엔진은 OpenAI 호환 API를 제공하여 전문 AWS 하드웨어에서 효율적이고 확장 가능한 대형 언어 모델 배포를 가능하게 합니다. 이…trnrt는 AWS Trainium을 위해 설계된 오픈 소스 LLM 추론 엔진으로, NKI 메가커널을 제공하며 1M 토큰 컨텍스트를 지원합니다. RunAnywhere에 의해 개발된 이 엔진은 OpenAI 호환 API를 제공하여 전문 AWS 하드웨어에서 효율적이고 확장 가능한 대형 언어 모델 배포를 가능하게 합니다. 이…

MLOps 및 모델 배포
MLOps 및 모델 배포 160위
1/8