llmware

BentoML

AI GitHub 저장소

#95

AI 모델 및 애플리케이션 배포를 간소화하기 위해 설계된 오픈 소스 플랫폼입니다. 개발자는 모델 추론 API를 구축하고, 작업 큐를 관리하며, 다중 모델 파이프라인을 효율적으로 생성할 수 있어 AI 배포를 접근 가능하고 간소화합니다.BentoML은 AI 모델 및 애플리케이션 배포를 간소화하기 위해 설계된 오픈 소스 플랫폼입니다. 개발자는 모델 추론 API를 구축하고, 작업 큐를 관리하며, 다중 모델 파이프라인을 효율적으로 생성할 수 있어 AI 배포를 접근 가능하고 간소화합니다.

BISHENG

AI GitHub 저장소

#97

차세대 기업 AI 애플리케이션을 위해 설계된 오픈 LLM DevOps 플랫폼입니다. GenAI 워크플로우, RAG, 에이전트 관리, 통합 모델 관리, 평가, SFT, 데이터셋 관리 및 기업 수준 시스템 관리와 같은 포괄적인 기능을 제공합니다.BISHENG는 차세대 기업 AI 애플리케이션을 위해 설계된 오픈 LLM DevOps 플랫폼입니다. GenAI 워크플로우, RAG, 에이전트 관리, 통합 모델 관리, 평가, SFT, 데이터셋 관리 및 기업 수준 시스템 관리와 같은 포괄적인 기능을 제공합니다.

Valohai

AI 플랫폼

#134

LLM 및 전문 모델을 통합한 AI 제품을 위해 설계된 MLOps 플랫폼입니다. 사용자는 데이터에서 배포까지의 전체 계보를 유지하면서 자신의 클라우드 인프라를 사용하여 구성 비교, 평가 및 배포를 할 수 있습니다.Valohai는 LLM 및 전문 모델을 통합한 AI 제품을 위해 설계된 MLOps 플랫폼입니다. 사용자는 데이터에서 배포까지의 전체 계보를 유지하면서 자신의 클라우드 인프라를 사용하여 구성 비교, 평가 및 배포를 할 수 있습니다.

mlc-llm

AI GitHub 저장소

기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.

Seldon Core

AI GitHub 저장소

Kubernetes에서 AI 시스템을 배포, 관리 및 확장하기 위한 MLOps 및 LLMOps 프레임워크입니다. 파이프라인, 자동 확장, 다중 모델 서빙과 같은 기능을 통해 클라우드 전반에 걸쳐 다양한 모델 유형의 표준화된 배포를 가능하게 하여 모듈식 및 데이터 중심 애플리케이션을 지원합니다.Seldon Core는 Kubernetes에서 AI 시스템을 배포, 관리 및 확장하기 위한 MLOps 및 LLMOps 프레임워크입니다. 파이프라인, 자동 확장, 다중 모델 서빙과 같은 기능을 통해 클라우드 전반에 걸쳐 다양한 모델 유형의 표준화된 배포를 가능하게 하여 모듈식 및 데이터 중심 애플리케이션을 지원합니다.

Amazon SageMaker AI

AI 플랫폼

아마존 세이지메이커 AI는 사용자가 머신 러닝 모델을 효율적으로 구축, 훈련 및 배포할 수 있도록 지원하는 완전 관리형 서비스입니다. 모든 기술 수준의 조직에서 AI 개발을 가속화하기 위한 필수 인프라, 도구 및 워크플로를 제공합니다.

FlashInfer

AI GitHub 저장소

대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.FlashInfer는 대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.

Wallaroo.ai

AI 플랫폼

#144

머신러닝 모델의 배포, 관리 및 모니터링을 위한 도구를 제공하는 AI 플랫폼입니다. MLOps 라이프사이클을 단순화하여 팀이 더 빠르고 자신 있게 AI를 프로덕션 환경에 적용할 수 있도록 지원합니다. 이 플랫폼은 다양한 모델 유형을 지원하며 기존 워크플로우와 통합됩니다.Wallaroo.ai는 머신러닝 모델의 배포, 관리 및 모니터링을 위한 도구를 제공하는 AI 플랫폼입니다. MLOps 라이프사이클을 단순화하여 팀이 더 빠르고 자신 있게 AI를 프로덕션 환경에 적용할 수 있도록 지원합니다. 이 플랫폼은 다양한 모델 유형을 지원하며 기존 워크플로우와 통합됩니다.