Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

TensorFold

TensorFold ist eine Open-Source-LLM-Inferenz-Engine, die für Hochleistungsrechnen auf verschiedenen Hardware-Plattformen konzipiert ist. Sie unterstützt Metal, CUDA und Vulkan und bietet eine flexible Lösung für die Bereitstellung großer Sprachmodelle. Das Projekt legt Wert auf effiziente Ausführung und bietet Werkzeuge für Entwicklung und Bereitstellung, was es für Forscher und Entwickler geeignet macht, die mit fortschrittlichen KI-Modellen arbeiten.

Repository ansehen
Teilen
Repository ansehen
Teilen

TensorFold ist ein Open-Source-Projekt, das auf GitHub gehostet wird und als LLM (Large Language Model) Inferenz-Engine dient. Es wurde entwickelt, um eine Hochleistungs-Ausführung großer Sprachmodelle über verschiedene Hardware-Architekturen hinweg zu ermöglichen, wobei speziell Metal, CUDA und Vulkan unterstützt werden. Diese breite Kompatibilität ermöglicht es Entwicklern, LLMs effizient auf einer Vielzahl von Geräten bereitzustellen und auszuführen, von Apples Metal-fähiger Hardware bis hin zu NVIDIA's CUDA-betriebenen GPUs und anderen Geräten, die die Vulkan-API unterstützen.

Weiterlesen

Das Projekt wird aktiv weiterentwickelt, wobei aktuelle Commits kontinuierliche Verbesserungen und Funktionserweiterungen anzeigen. Es umfasst Komponenten für verschiedene Aspekte der LLM-Bereitstellung, wie z.B. Checkpoint- und Bildvorbereitung, Orchestrator-APIs für die Fernsteuerung und Werkzeuge zur Bewertung und Bewertung auf verschiedenen GPUs. TensorFold zielt darauf ab, eine robuste und flexible Grundlage für die Integration von LLM-Funktionen in Anwendungen und Systeme zu bieten.

Die Architektur von TensorFold ist darauf ausgelegt, die Entwicklung und Verpackung von LLM-Runtimes zu erleichtern. Es bietet Dokumentation zur Optimierung der Leistung und Leitfäden zur Bewertung. Die Repository-Struktur umfasst Verzeichnisse für Anwendungs-Code, Assets, Dokumentation, Verpackungswerkzeuge und Webkomponenten, was auf ein umfassendes Ökosystem für den Aufbau und die Bereitstellung von LLM-basierten Lösungen hinweist. Das Projekt bietet auch eine Vorschau auf die Zig-Engine, was auf einen Fokus auf native Leistung und serverseitige Fähigkeiten für Modelle wie Nemotron 3.5 LLM hinweist.

Mit seinem Fokus auf Open-Source-Entwicklung und Unterstützung für mehrere Inferenz-Backends positioniert sich TensorFold als wertvolle Ressource für die KI-Community. Es ermöglicht Forschern und Ingenieuren, mit großen Sprachmodellen zu experimentieren und diese bereitzustellen, ohne durch spezifische Hardware-Anbieter eingeschränkt zu sein, was eine breitere Zugänglichkeit und Innovation im Bereich der KI-Inferenz fördert.

  • KategorieMLOps & Modell-Deployment
  • PreismodellOpen Source
  • BereitstellungCloud, Selbst gehostet
  • PlattformenWeb

  • LLM Inferenz-Engine

  • Unterstützt Metal für Apple-Hardware

  • Unterstützt CUDA für NVIDIA-GPUs

  • Unterstützt Vulkan für breite GPU-Kompatibilität

  • Open-Source-GitHub-Repository

  • Werkzeuge zur Checkpoint- und Bildvorbereitung

  • Orchestrator-Fernsteuerungs-API

  • Automatische Desktop-Runtime-Veröffentlichung für stabile Releases

  • GPU-unabhängige Textreferenzen und Bewertungswerkzeuge

  • Native Metal-Engine und Servervorschau für Nemotron 3.5 LLM

  • Umfassende Dokumentation zur Optimierung und Bewertung

  • Apache-2.0 Lizenz

  • Python-Engine-Integration (TensorFold 1.0.0)

  • Beitragsagenten-Fähigkeiten für Pull-Requests

  1. Repository klonen: Erhalten Sie das Projekt, indem Sie das TensorFold-GitHub-Repository auf Ihren lokalen Rechner klonen.

  2. Abhängigkeiten installieren: Richten Sie die erforderliche Build-Umgebung ein und installieren Sie alle benötigten Abhängigkeiten gemäß der Dokumentation des Projekts.

  3. Engine bauen: Kompilieren Sie die TensorFold-Engine für Ihre Zielhardware (Metal, CUDA oder Vulkan) mithilfe der bereitgestellten Build-Skripte.

  4. Modelle konfigurieren: Bereiten Sie Ihre LLM-Checkpoints und Bilder gemäß den Richtlinien des Projekts für die Inferenz vor.

  5. Inference ausführen: Führen Sie LLM-Inferenzaufgaben mit der TensorFold-Engine aus und nutzen Sie deren optimierte Leistung für Ihr gewähltes Backend.

  6. Anwendungen entwickeln: Integrieren Sie TensorFold in Ihre Anwendungen, indem Sie dessen APIs und Werkzeuge verwenden, um benutzerdefinierte LLM-gestützte Lösungen zu erstellen.

  7. Beitragen: Engagieren Sie sich in der Open-Source-Community, indem Sie zur Entwicklung, Dokumentation oder Testung des Projekts beitragen.

  • Hochleistungs-LLM-Inferenz
  • Plattformübergreifende KI-Bereitstellung
  • Entwicklung von KI-Modellen
  • Forschung und Experimentierung
  • Erstellung benutzerdefinierter LLM-Anwendungen
  • GPU-beschleunigte Textverarbeitung

TensorFold Bewertungen

Wird geladen...

Beliebte KI-Tools wie TensorFold

TensorRT-LLM

KI-GitHub-Repos

TensorRT-LLM bietet eine Python-API zur Definition von großen Sprachmodellen und zur Optimierung der Inferenz auf NVIDIA-GPUs. Es umfasst Komponenten zur Erstellung von Python-…

Machine-Learning-Plattformen

Platz 74 in KI-GitHub-Repos

Tool ansehen

KI-GitHub-Repos

Bietet eine Python-API zur Definition von großen Sprachmodellen und zur Optimierung der Inferenz auf NVIDIA-GPUs. Es umfasst Komponenten zur Erstellung von Python-…TensorRT-LLM bietet eine Python-API zur Definition von großen Sprachmodellen und zur Optimierung der Inferenz auf NVIDIA-GPUs. Es umfasst Komponenten zur Erstellung von Python-…

Machine-Learning-Plattformen
Platz 74 in KI-GitHub-Repos

Soup

KI-GitHub-Repos

Soup ist ein GitHub-Repository, das das Fine-Tuning von großen Sprachmodellen (LLMs) mit einer einzigen YAML-Datei ermöglicht. Es nutzt Layer-Streaming, um ein Modell mit 8…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

GitHub-Repository, das das Fine-Tuning von großen Sprachmodellen (LLMs) mit einer einzigen YAML-Datei ermöglicht. Es nutzt Layer-Streaming, um ein Modell mit 8…Soup ist ein GitHub-Repository, das das Fine-Tuning von großen Sprachmodellen (LLMs) mit einer einzigen YAML-Datei ermöglicht. Es nutzt Layer-Streaming, um ein Modell mit 8…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

AirLLM

KI-GitHub-Repos

AirLLM ist ein GitHub-Projekt, das die Inferenz von 70 Milliarden Parametern mit einer einzigen 4GB GPU ermöglicht. Es wurde entwickelt, um die Leistung großer Sprachmodelle auf…

MLOps & Modell-Deployment

Platz 73 in Machine Learning & Data Science

Tool ansehen

KI-GitHub-Repos

GitHub-Projekt, das die Inferenz von 70 Milliarden Parametern mit einer einzigen 4GB GPU ermöglicht. Es wurde entwickelt, um die Leistung großer Sprachmodelle auf…AirLLM ist ein GitHub-Projekt, das die Inferenz von 70 Milliarden Parametern mit einer einzigen 4GB GPU ermöglicht. Es wurde entwickelt, um die Leistung großer Sprachmodelle auf…

MLOps & Modell-Deployment
Platz 73 in Machine Learning & Data Science

trnrt

KI-GitHub-Repos

trnrt ist eine Open-Source-LLM-Inferenz-Engine, die für AWS Trainium entwickelt wurde, bietet NKI-Megakernels und unterstützt einen Kontext von 1M-Token. Entwickelt von…

MLOps & Modell-Deployment

Platz 160 in MLOps & Modell-Deployment

Tool ansehen

KI-GitHub-Repos

Open-Source-LLM-Inferenz-Engine, die für AWS Trainium entwickelt wurde, bietet NKI-Megakernels und unterstützt einen Kontext von 1M-Token. Entwickelt von…trnrt ist eine Open-Source-LLM-Inferenz-Engine, die für AWS Trainium entwickelt wurde, bietet NKI-Megakernels und unterstützt einen Kontext von 1M-Token. Entwickelt von…

MLOps & Modell-Deployment
Platz 160 in MLOps & Modell-Deployment

vLLM

KI-GitHub-Repos

vllm-project/vllm ist eine hochdurchsatz- und speichereffiziente Inferenz- und Servier-Engine, die für große Sprachmodelle (LLMs) entwickelt wurde. Sie optimiert die Leistung bei…

MLOps & Modell-Deployment

Platz 23 in KI-GitHub-Repos

Tool ansehen

KI-GitHub-Repos

Hochdurchsatz- und speichereffiziente Inferenz- und Servier-Engine, die für große Sprachmodelle (LLMs) entwickelt wurde. Sie optimiert die Leistung bei…vllm-project/vllm ist eine hochdurchsatz- und speichereffiziente Inferenz- und Servier-Engine, die für große Sprachmodelle (LLMs) entwickelt wurde. Sie optimiert die Leistung bei…

EmpfohlenMLOps & Modell-Deployment
Platz 23 in KI-GitHub-Repos

mlc-llm

KI-GitHub-Repos

mlc-llm ist eine universelle LLM-Bereitstellungsengine, die maschinelles Lernen zur Optimierung des Bereitstellungsprozesses nutzt. Sie wurde entwickelt, um die Effizienz und…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

Universelle LLM-Bereitstellungsengine, die maschinelles Lernen zur Optimierung des Bereitstellungsprozesses nutzt. Sie wurde entwickelt, um die Effizienz und…mlc-llm ist eine universelle LLM-Bereitstellungsengine, die maschinelles Lernen zur Optimierung des Bereitstellungsprozesses nutzt. Sie wurde entwickelt, um die Effizienz und…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

TensorFlow

KI-GitHub-Repos

TensorFlow ist ein Open-Source-Maschinenlern-Framework, das für alle entwickelt wurde. Es bietet ein umfassendes Ökosystem zum Erstellen und Bereitstellen von…

Machine-Learning-Plattformen
Tool ansehen

KI-GitHub-Repos

Open-Source-Maschinenlern-Framework, das für alle entwickelt wurde. Es bietet ein umfassendes Ökosystem zum Erstellen und Bereitstellen von…TensorFlow ist ein Open-Source-Maschinenlern-Framework, das für alle entwickelt wurde. Es bietet ein umfassendes Ökosystem zum Erstellen und Bereitstellen von…

EmpfohlenMachine-Learning-Plattformen
Top 250 KI-GitHub-Repos ansehen

llama-modchip

KI-GitHub-Repos

llama-modchip ist ein GitHub-Projekt, das es Benutzern ermöglicht, große Sprachmodelle wie 284B DeepSeek-V4-Flash und 30B MoEs auf einem reinen 64GB-CPU ohne GPUs auszuführen. Es…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

GitHub-Projekt, das es Benutzern ermöglicht, große Sprachmodelle wie 284B DeepSeek-V4-Flash und 30B MoEs auf einem reinen 64GB-CPU ohne GPUs auszuführen. Es…llama-modchip ist ein GitHub-Projekt, das es Benutzern ermöglicht, große Sprachmodelle wie 284B DeepSeek-V4-Flash und 30B MoEs auf einem reinen 64GB-CPU ohne GPUs auszuführen. Es…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen
1 von 8