vLLM

vLLM

AI GitHub 저장소

#23

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

Runware

AI 앱

이미지, 비디오, 오디오, 3D, LLM 및 비전 모델을 위한 통합 API를 제공하는 생성 AI 추론 플랫폼입니다. 400K 이상의 모델, 관리되는 인프라 및 맞춤형 추론 엔진을 기반으로 한 사용량 기반 가격 책정을 제공합니다.Runware는 이미지, 비디오, 오디오, 3D, LLM 및 비전 모델을 위한 통합 API를 제공하는 생성 AI 추론 플랫폼입니다. 400K 이상의 모델, 관리되는 인프라 및 맞춤형 추론 엔진을 기반으로 한 사용량 기반 가격 책정을 제공합니다.

일반 컴퓨트

AI 앱

목적에 맞게 설계된 ASIC 인프라를 통해 모델을 제공하는 고속 AI 추론 제공업체로, OpenAI 호환 API를 통해 지연에 민감한 작업 부하인 코딩 에이전트 및 실시간 음성에 대해 낮은 첫 번째 토큰 시간과 높은 처리량을 제공합니다.

개발자가 200개 이상의 최적화된 LLM 및 다중 모달 모델을 배포, 미세 조정 및 실행할 수 있는 AI 인프라 플랫폼으로, 하나의 OpenAI 호환 API를 통해 사용한 만큼만 지불하는 가격 모델을 제공합니다.

ZETIC Melange

AI 앱

#139

모든 기기에서 어떤 모델이든 온디바이스 AI 배포를 자동화합니다. 전직 Qualcomm 엔지니어들이 개발했으며, NPU 가속을 최적화하고 200개 이상의 기기에서 벤치마킹하며, 단 세 줄의 코드로 몇 시간 내에 배포를 가능하게 하여 비용과 지연 시간을 줄입니다.ZETIC Melange는 모든 기기에서 어떤 모델이든 온디바이스 AI 배포를 자동화합니다. 전직 Qualcomm 엔지니어들이 개발했으며, NPU 가속을 최적화하고 200개 이상의 기기에서 벤치마킹하며, 단 세 줄의 코드로 몇 시간 내에 배포를 가능하게 하여 비용과 지연 시간을 줄입니다.

BigDL LLM

AI 프레임워크

BigDL-LLM은 노트북부터 클라우드 GPU까지 Intel XPU 하드웨어에서 대규모 언어 모델(LLM)을 실행하기 위한 오픈 소스 라이브러리입니다. 낮은 지연 시간 추론을 위한 INT4/FP4/INT8/FP8 양자화를 지원하며 PyTorch 모델에 대한 포괄적인 파인튜닝 기능을 제공합니다.

deAPI

AI 앱

이미지 생성, 텍스트 음성 변환, 전사 등을 포함하는 오픈 소스 생성 AI 모델을 위한 통합 API입니다. 요청은 분산 GPU 클라우드에서 실행되어 하드웨어를 관리하지 않고도 저렴한 비용으로 추론을 제공합니다.deAPI는 이미지 생성, 텍스트 음성 변환, 전사 등을 포함하는 오픈 소스 생성 AI 모델을 위한 통합 API입니다. 요청은 분산 GPU 클라우드에서 실행되어 하드웨어를 관리하지 않고도 저렴한 비용으로 추론을 제공합니다.

Bento

AI 플랫폼

속도와 제어를 위해 설계된 추론 플랫폼으로, 모든 AI 모델을 어디든 배포할 수 있도록 지원합니다. 맞춤형 최적화, 효율적인 확장, 간소화된 운영을 AI 팀에 제공합니다. 배포에 대한 완전한 제어를 유지하면서 추론 인프라를 단순화하십시오.Bento는 속도와 제어를 위해 설계된 추론 플랫폼으로, 모든 AI 모델을 어디든 배포할 수 있도록 지원합니다. 맞춤형 최적화, 효율적인 확장, 간소화된 운영을 AI 팀에 제공합니다. 배포에 대한 완전한 제어를 유지하면서 추론 인프라를 단순화하십시오.