SGLang-Omni

SGLang

AI GitHub 저장소

#53

대형 언어 모델과 다중 모달 모델을 위해 설계된 고성능 서빙 프레임워크입니다. AI 애플리케이션의 성능을 향상시키는 효율적인 서빙 기능을 제공하여 AI 분야의 개발자와 연구자에게 적합합니다.SGLang은 대형 언어 모델과 다중 모달 모델을 위해 설계된 고성능 서빙 프레임워크입니다. AI 애플리케이션의 성능을 향상시키는 효율적인 서빙 기능을 제공하여 AI 분야의 개발자와 연구자에게 적합합니다.

SGLang

AI 프레임워크

대규모 언어 및 다중 모달 모델을 위해 설계된 고성능 서비스 프레임워크입니다. 이는 고급 AI 솔루션을 효율적으로 구현하려는 개발자를 위한 광범위한 하드웨어 지원과 강력한 생태계를 제공합니다.SGLang는 대규모 언어 및 다중 모달 모델을 위해 설계된 고성능 서비스 프레임워크입니다. 이는 고급 AI 솔루션을 효율적으로 구현하려는 개발자를 위한 광범위한 하드웨어 지원과 강력한 생태계를 제공합니다.

FlashInfer

AI GitHub 저장소

대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.FlashInfer는 대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.

mlc-llm

AI GitHub 저장소

기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.

Replicate - API로 AI 실행

AI 플랫폼

오픈 소스 머신러닝 모델을 실행하고 미세 조정할 수 있는 클라우드 API를 제공합니다. 단 한 줄의 코드로 사용자 정의 모델을 배포하세요. 이미지 생성, 음성, 음악 및 비디오 제작을 위한 수천 개의 프로덕션 준비 AI 모델에 액세스하세요. 사용한 컴퓨팅에 대해서만 비용을 지불하며 자동 확장 기능을…Replicate는 오픈 소스 머신러닝 모델을 실행하고 미세 조정할 수 있는 클라우드 API를 제공합니다. 단 한 줄의 코드로 사용자 정의 모델을 배포하세요. 이미지 생성, 음성, 음악 및 비디오 제작을 위한 수천 개의 프로덕션 준비 AI 모델에 액세스하세요. 사용한 컴퓨팅에 대해서만 비용을 지불하며 자동 확장 기능을…

LocalAI

AI GitHub 저장소

#44

사용자가 GPU 없이 모든 하드웨어에서 LLM, 비전, 음성, 이미지 및 비디오를 포함한 다양한 모델을 실행할 수 있도록 하는 오픈 소스 AI 엔진입니다. 이러한 유연성 덕분에 다양한 애플리케이션에 접근할 수 있습니다.LocalAI는 사용자가 GPU 없이 모든 하드웨어에서 LLM, 비전, 음성, 이미지 및 비디오를 포함한 다양한 모델을 실행할 수 있도록 하는 오픈 소스 AI 엔진입니다. 이러한 유연성 덕분에 다양한 애플리케이션에 접근할 수 있습니다.

Hugging Face Transformers

AI GitHub 저장소

🤗 Transformers는 텍스트, 비전, 오디오 및 다중 모달 도메인에서 최첨단 기계 학습 모델을 위한 모델 정의 프레임워크로, 추론 및 훈련 프로세스를 모두 용이하게 합니다.

OpenAI Whisper

AI GitHub 저장소

Whisper는 OpenAI에서 개발한 강력하고 범용적인 음성 인식 모델입니다. 다국어 음성 인식, 번역 및 언어 식별에 탁월합니다. 다양한 오디오 데이터로 학습되어, 전통적인 다단계 파이프라인을 단일 시퀀스-투-시퀀스 접근 방식으로 대체하는 다양한 음성 처리 작업을 위한 단일 모델을 제공합니다.