kimi-k3-in-c

AirLLM

AI GitHub 저장소

#234

단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

TokenSpeed

AI GitHub 저장소

#189

빠른 처리 속도를 제공하도록 설계된 고성능 LLM 추론 엔진입니다. 대형 언어 모델에 최적화되어 AI 개발자와 연구자에게 효율적이고 확장 가능한 솔루션을 제공합니다.TokenSpeed는 빠른 처리 속도를 제공하도록 설계된 고성능 LLM 추론 엔진입니다. 대형 언어 모델에 최적화되어 AI 개발자와 연구자에게 효율적이고 확장 가능한 솔루션을 제공합니다.

Soup

AI GitHub 저장소

수프는 단일 YAML 파일을 사용하여 대형 언어 모델(LLM)의 미세 조정을 가능하게 하는 GitHub 리포지토리입니다. 레이어 스트리밍을 활용하여 4GB 노트북 GPU에서 80억 개의 매개변수를 가진 모델을 훈련시켜, 제한된 하드웨어에서 고급 AI 모델 훈련을 접근 가능하게 합니다.

DeepSeek-R1

AI GitHub 저장소

AI 기반 솔루션에 중점을 둔 GitHub 프로젝트입니다. 플러그인, 희소 주의 커널 및 효율적인 통신 라이브러리를 포함하여 AI 기능을 향상시키는 다양한 리포지토리를 제공합니다.DeepSeek-R1은 AI 기반 솔루션에 중점을 둔 GitHub 프로젝트입니다. 플러그인, 희소 주의 커널 및 효율적인 통신 라이브러리를 포함하여 AI 기능을 향상시키는 다양한 리포지토리를 제공합니다.

LLM architecture from scratch

AI GitHub 저장소

llm-architecture-from-scratch는 Yeonwoo Sung이 만든 GitHub 저장소로, PyTorch를 사용하여 대형 언어 모델 아키텍처를 처음부터 구현하는 데 중점을 두고 있습니다. 이 저장소는 LLM 구축 및 실험에 관심이 있는 개발자를 위한 포괄적인 모델 및 도구 모음을 제공합니다.

Nano-vLLM

AI GitHub 저장소

Nano vLLM은 대형 언어 모델을 위한 경량 가상 머신 개발에 중점을 둔 GitHub 리포지토리입니다. 이 프로젝트는 추론 효율성과 자원 활용을 최적화하여 LLM을 다루는 AI 연구자와 개발자에게 적합합니다.

MiniCPM5: 온디바이스 LLM

AI GitHub 저장소

OpenBMB에서 개발한 고급 온디바이스 언어 모델입니다. 컴팩트한 크기를 유지하면서 최첨단 성능을 제공하여, 효율적인 처리가 필요한 애플리케이션에 적합합니다.MiniCPM5는 OpenBMB에서 개발한 고급 온디바이스 언어 모델입니다. 컴팩트한 크기를 유지하면서 최첨단 성능을 제공하여, 효율적인 처리가 필요한 애플리케이션에 적합합니다.

Microsoft에서 개발한 1비트 대형 언어 모델(LLM)을 위한 공식 추론 프레임워크입니다. 이는 LLM의 효율적인 처리 및 배포를 가능하게 하여 성능과 자원 사용을 최적화합니다.BitNet은 Microsoft에서 개발한 1비트 대형 언어 모델(LLM)을 위한 공식 추론 프레임워크입니다. 이는 LLM의 효율적인 처리 및 배포를 가능하게 하여 성능과 자원 사용을 최적화합니다.