본문으로 건너뛰기
ToolPotion
AI 어드바이저
제출 (무료)

TensorFold

TensorFold는 다양한 하드웨어 플랫폼에서 고성능 컴퓨팅을 위해 설계된 오픈 소스 LLM 추론 엔진입니다. Metal, CUDA 및 Vulkan을 지원하여 대형 언어 모델을 배포하기 위한 유연한 솔루션을 제공합니다. 이 프로젝트는 효율적인 실행을 강조하며, 고급 AI 모델을 다루는 연구자와 개발자를 위한 개발 및 배포 도구를 제공합니다.

저장소 보기
공유
저장소 보기
공유

TensorFold는 GitHub에서 호스팅되는 오픈 소스 프로젝트로, LLM(대형 언어 모델) 추론 엔진 역할을 합니다. 다양한 하드웨어 아키텍처에서 대형 언어 모델의 고성능 실행을 제공하도록 설계되었으며, 특히 Metal, CUDA 및 Vulkan을 지원합니다. 이러한 폭넓은 호환성 덕분에 개발자는 Apple의 Metal 지원 하드웨어에서 NVIDIA의 CUDA 기반 GPU 및 Vulkan API를 지원하는 기타 장치에서 LLM을 효율적으로 배포하고 실행할 수 있습니다.

더 읽기

이 프로젝트는 활발히 개발되고 있으며, 최근 커밋은 지속적인 개선과 기능 추가를 나타냅니다. 체크포인트 및 이미지 준비, 원격 제어를 위한 오케스트레이터 API, 다양한 GPU에서의 평가 및 점수를 위한 도구와 같은 LLM 배포의 다양한 측면을 위한 구성 요소를 포함하고 있습니다. TensorFold는 LLM 기능을 애플리케이션 및 시스템에 통합하기 위한 강력하고 유연한 기반을 제공하는 것을 목표로 합니다.

TensorFold의 아키텍처는 LLM 런타임의 개발 및 패키징을 용이하게 하도록 설계되었습니다. 성능 최적화를 위한 문서와 평가 가이드를 제공합니다. 리포지토리 구조는 애플리케이션 코드, 자산, 문서, 패키징 도구 및 웹 구성 요소를 위한 디렉토리를 포함하고 있어 LLM 기반 솔루션을 구축하고 배포하기 위한 포괄적인 생태계를 제안합니다. 이 프로젝트는 또한 Nemotron 3.5 LLM과 같은 모델을 위한 네이티브 성능 및 서버 측 기능에 중점을 둔 Zig 엔진 미리보기를 제공합니다.

오픈 소스 개발에 중점을 두고 여러 추론 백엔드를 지원하는 TensorFold는 AI 커뮤니티에 귀중한 자원으로 자리 잡고 있습니다. 연구자와 엔지니어가 특정 하드웨어 공급업체에 의해 제약받지 않고 대형 언어 모델을 실험하고 배포할 수 있도록 하여 AI 추론 분야에서 더 넓은 접근성과 혁신을 촉진합니다.

  • 카테고리MLOps 및 모델 배포
  • 요금제오픈소스
  • 배포클라우드, 셀프 호스팅
  • 플랫폼웹

  • LLM 추론 엔진

  • Apple 하드웨어를 위한 Metal 지원

  • NVIDIA GPU를 위한 CUDA 지원

  • 폭넓은 GPU 호환성을 위한 Vulkan 지원

  • 오픈 소스 GitHub 리포지토리

  • 체크포인트 및 이미지 준비 도구

  • 오케스트레이터 원격 제어 API

  • 안정적인 릴리스를 위한 자동 데스크탑 런타임 게시

  • GPU에 구애받지 않는 텍스트 참조 및 점수 도구

  • Nemotron 3.5 LLM을 위한 네이티브 Metal 엔진 및 서버 미리보기

  • 최적화 및 평가를 위한 포괄적인 문서

  • Apache-2.0 라이선스

  • Python 엔진 통합 (TensorFold 1.0.0)

  • 기여자 에이전트 풀 요청 기술

  1. 리포지토리 복제: TensorFold GitHub 리포지토리를 로컬 머신에 복제하여 프로젝트를 획득합니다.

  2. 종속성 설치: 프로젝트 문서에 설명된 대로 필요한 빌드 환경을 설정하고 필요한 종속성을 설치합니다.

  3. 엔진 빌드: 제공된 빌드 스크립트를 사용하여 대상 하드웨어(Metal, CUDA 또는 Vulkan)에 맞게 TensorFold 엔진을 컴파일합니다.

  4. 모델 구성: 추론을 위한 프로젝트 가이드라인에 따라 LLM 체크포인트 및 이미지를 준비합니다.

  5. 추론 실행: 선택한 백엔드에 대해 최적화된 성능을 활용하여 TensorFold 엔진을 사용하여 LLM 추론 작업을 실행합니다.

  6. 애플리케이션 개발: TensorFold의 API 및 도구를 사용하여 사용자 정의 LLM 기반 솔루션을 구축하기 위해 TensorFold를 애플리케이션에 통합합니다.

  7. 기여: 프로젝트의 개발, 문서 또는 테스트에 기여하여 오픈 소스 커뮤니티와 소통합니다.

  • 고성능 LLM 추론
  • 크로스 플랫폼 AI 배포
  • AI 모델 개발
  • 연구 및 실험
  • 사용자 정의 LLM 애플리케이션 구축
  • GPU 가속 텍스트 처리

TensorFold 리뷰

로딩 중...

TensorFold와(과) 비슷한 인기 AI 도구

TensorRT-LLM

AI GitHub 저장소

TensorRT-LLM은 대형 언어 모델을 정의하고 NVIDIA GPU에서 추론을 최적화하기 위한 Python API를 제공합니다. 이 도구는 효율적인 추론 실행을 조율하기 위해 Python 및 C++ 런타임을 생성하는 구성 요소를 포함합니다.

머신러닝 플랫폼

AI GitHub 저장소 74위

도구 보기

AI GitHub 저장소

대형 언어 모델을 정의하고 NVIDIA GPU에서 추론을 최적화하기 위한 Python API를 제공합니다. 이 도구는 효율적인 추론 실행을 조율하기 위해 Python 및 C++ 런타임을 생성하는 구성 요소를 포함합니다.TensorRT-LLM은 대형 언어 모델을 정의하고 NVIDIA GPU에서 추론을 최적화하기 위한 Python API를 제공합니다. 이 도구는 효율적인 추론 실행을 조율하기 위해 Python 및 C++ 런타임을 생성하는 구성 요소를 포함합니다.

머신러닝 플랫폼
AI GitHub 저장소 74위

Soup

AI GitHub 저장소

수프는 단일 YAML 파일을 사용하여 대형 언어 모델(LLM)의 미세 조정을 가능하게 하는 GitHub 리포지토리입니다. 레이어 스트리밍을 활용하여 4GB 노트북 GPU에서 80억 개의 매개변수를 가진 모델을 훈련시켜, 제한된 하드웨어에서 고급 AI 모델 훈련을 접근 가능하게 합니다.

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

수프는 단일 YAML 파일을 사용하여 대형 언어 모델(LLM)의 미세 조정을 가능하게 하는 GitHub 리포지토리입니다. 레이어 스트리밍을 활용하여 4GB 노트북 GPU에서 80억 개의 매개변수를 가진 모델을 훈련시켜, 제한된 하드웨어에서 고급 AI 모델 훈련을 접근 가능하게 합니다.

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

AirLLM

AI GitHub 저장소

AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

MLOps 및 모델 배포

머신러닝 및 데이터 사이언스 73위

도구 보기

AI GitHub 저장소

단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

MLOps 및 모델 배포
머신러닝 및 데이터 사이언스 73위

trnrt

AI GitHub 저장소

trnrt는 AWS Trainium을 위해 설계된 오픈 소스 LLM 추론 엔진으로, NKI 메가커널을 제공하며 1M 토큰 컨텍스트를 지원합니다. RunAnywhere에 의해 개발된 이 엔진은 OpenAI 호환 API를 제공하여 전문 AWS 하드웨어에서 효율적이고 확장 가능한 대형 언어 모델 배포를 가능하게 합니다. 이…

MLOps 및 모델 배포

MLOps 및 모델 배포 160위

도구 보기

AI GitHub 저장소

AWS Trainium을 위해 설계된 오픈 소스 LLM 추론 엔진으로, NKI 메가커널을 제공하며 1M 토큰 컨텍스트를 지원합니다. RunAnywhere에 의해 개발된 이 엔진은 OpenAI 호환 API를 제공하여 전문 AWS 하드웨어에서 효율적이고 확장 가능한 대형 언어 모델 배포를 가능하게 합니다. 이…trnrt는 AWS Trainium을 위해 설계된 오픈 소스 LLM 추론 엔진으로, NKI 메가커널을 제공하며 1M 토큰 컨텍스트를 지원합니다. RunAnywhere에 의해 개발된 이 엔진은 OpenAI 호환 API를 제공하여 전문 AWS 하드웨어에서 효율적이고 확장 가능한 대형 언어 모델 배포를 가능하게 합니다. 이…

MLOps 및 모델 배포
MLOps 및 모델 배포 160위

vLLM

AI GitHub 저장소

vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

MLOps 및 모델 배포

AI GitHub 저장소 23위

도구 보기

AI GitHub 저장소

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

추천MLOps 및 모델 배포
AI GitHub 저장소 23위

mlc-llm

AI GitHub 저장소

mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기

TensorFlow

AI GitHub 저장소

TensorFlow는 모든 사용자를 위해 설계된 오픈 소스 머신 러닝 프레임워크입니다. 머신 러닝 모델을 구축하고 배포하기 위한 포괄적인 생태계를 제공하여 개발자와 연구자 모두가 접근할 수 있도록 합니다.

머신러닝 플랫폼
도구 보기

AI GitHub 저장소

모든 사용자를 위해 설계된 오픈 소스 머신 러닝 프레임워크입니다. 머신 러닝 모델을 구축하고 배포하기 위한 포괄적인 생태계를 제공하여 개발자와 연구자 모두가 접근할 수 있도록 합니다.TensorFlow는 모든 사용자를 위해 설계된 오픈 소스 머신 러닝 프레임워크입니다. 머신 러닝 모델을 구축하고 배포하기 위한 포괄적인 생태계를 제공하여 개발자와 연구자 모두가 접근할 수 있도록 합니다.

추천머신러닝 플랫폼
AI GitHub 저장소 TOP 250 보기

llama-modchip

AI GitHub 저장소

llama-modchip는 사용자가 GPU 없이 순수 64GB CPU에서 284B DeepSeek-V4-Flash 및 30B MoE와 같은 대형 언어 모델을 실행할 수 있도록 하는 GitHub 프로젝트입니다. 높은 초당 토큰 처리 속도와 256K 컨텍스트 창을 지원하며, 효율적이고 접근 가능한 AI 모델 배포 및 실험을…

MLOps 및 모델 배포
도구 보기

AI GitHub 저장소

사용자가 GPU 없이 순수 64GB CPU에서 284B DeepSeek-V4-Flash 및 30B MoE와 같은 대형 언어 모델을 실행할 수 있도록 하는 GitHub 프로젝트입니다. 높은 초당 토큰 처리 속도와 256K 컨텍스트 창을 지원하며, 효율적이고 접근 가능한 AI 모델 배포 및 실험을…llama-modchip는 사용자가 GPU 없이 순수 64GB CPU에서 284B DeepSeek-V4-Flash 및 30B MoE와 같은 대형 언어 모델을 실행할 수 있도록 하는 GitHub 프로젝트입니다. 높은 초당 토큰 처리 속도와 256K 컨텍스트 창을 지원하며, 효율적이고 접근 가능한 AI 모델 배포 및 실험을…

MLOps 및 모델 배포
AI GitHub 저장소 TOP 250 보기
1/8