Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

TensorFold

TensorFold est un moteur d'inférence LLM open-source conçu pour le calcul haute performance sur diverses plateformes matérielles. Il prend en charge Metal, CUDA et Vulkan, offrant une solution flexible pour le déploiement de grands modèles de langage. Le projet met l'accent sur une exécution efficace et propose des outils pour le développement et le déploiement, le rendant adapté aux chercheurs et aux développeurs travaillant avec des modèles d'IA avancés.

Voir le dépôt
Partager
Voir le dépôt
Partager

TensorFold est un projet open-source hébergé sur GitHub, servant de moteur d'inférence LLM (Large Language Model). Il est conçu pour fournir une exécution haute performance de grands modèles de langage sur diverses architectures matérielles, prenant spécifiquement en charge Metal, CUDA et Vulkan. Cette large compatibilité permet aux développeurs de déployer et d'exécuter des LLM de manière efficace sur une gamme d'appareils, des matériels compatibles Metal d'Apple aux GPU alimentés par CUDA de NVIDIA et d'autres appareils prenant en charge l'API Vulkan.

Lire la suite

Le projet est activement développé, avec des commits récents indiquant des améliorations continues et des ajouts de fonctionnalités. Il comprend des composants pour divers aspects du déploiement de LLM, tels que la préparation de points de contrôle et d'images, des API d'orchestrateur pour le contrôle à distance, et des outils pour l'évaluation et le scoring sur différents GPU. TensorFold vise à offrir une base robuste et flexible pour intégrer les capacités LLM dans des applications et des systèmes.

L'architecture de TensorFold est conçue pour faciliter le développement et l'emballage des environnements d'exécution LLM. Elle fournit une documentation pour optimiser les performances et des guides pour l'évaluation. La structure du dépôt comprend des répertoires pour le code d'application, les ressources, la documentation, les outils d'emballage et les composants web, suggérant un écosystème complet pour construire et déployer des solutions basées sur LLM. Le projet propose également un aperçu du moteur Zig, indiquant un accent sur la performance native et les capacités côté serveur pour des modèles comme Nemotron 3.5 LLM.

Avec son accent sur le développement open-source et le support de plusieurs backends d'inférence, TensorFold se positionne comme une ressource précieuse pour la communauté IA. Il permet aux chercheurs et aux ingénieurs d'expérimenter et de déployer de grands modèles de langage sans être contraints par des fournisseurs matériels spécifiques, favorisant une accessibilité et une innovation plus larges dans le domaine de l'inférence IA.

  • CatégorieMLOps et déploiement de modèles
  • Modèle tarifaireOpen source
  • DéploiementCloud, Auto-hébergé
  • PlateformesWeb

  • Moteur d'inférence LLM

  • Prend en charge Metal pour le matériel Apple

  • Prend en charge CUDA pour les GPU NVIDIA

  • Prend en charge Vulkan pour une large compatibilité GPU

  • Dépôt GitHub open-source

  • Outils pour la préparation de points de contrôle et d'images

  • API de contrôle à distance de l'orchestrateur

  • Publication automatique des environnements d'exécution de bureau pour les versions stables

  • Références textuelles et outils de scoring indépendants du GPU

  • Moteur Metal natif et aperçu serveur pour Nemotron 3.5 LLM

  • Documentation complète pour l'optimisation et l'évaluation

  • Licence Apache-2.0

  • Intégration du moteur Python (TensorFold 1.0.0)

  • Compétences d'agent contributeur pour les demandes de tirage

  1. Cloner le dépôt : Obtenez le projet en clonant le dépôt GitHub de TensorFold sur votre machine locale.

  2. Installer les dépendances : Configurez l'environnement de construction nécessaire et installez toutes les dépendances requises comme indiqué dans la documentation du projet.

  3. Construire le moteur : Compilez le moteur TensorFold pour votre matériel cible (Metal, CUDA ou Vulkan) en utilisant les scripts de construction fournis.

  4. Configurer les modèles : Préparez vos points de contrôle et images LLM selon les directives du projet pour l'inférence.

  5. Exécuter l'inférence : Exécutez des tâches d'inférence LLM en utilisant le moteur TensorFold, en tirant parti de ses performances optimisées pour votre backend choisi.

  6. Développer des applications : Intégrez TensorFold dans vos applications en utilisant ses API et outils pour construire des solutions personnalisées alimentées par LLM.

  7. Contribuer : Engagez-vous avec la communauté open-source en contribuant au développement, à la documentation ou aux tests du projet.

  • Inférence LLM haute performance
  • Déploiement IA multiplateforme
  • Développement de modèles IA
  • Recherche et expérimentation
  • Création d'applications LLM personnalisées
  • Traitement de texte accéléré par GPU

Avis sur TensorFold

Chargement...

Outils IA populaires comme TensorFold

TensorRT-LLM

Dépôts GitHub d'IA

TensorRT-LLM fournit une API Python pour définir des modèles de langage de grande taille, optimisant l'inférence sur les GPU NVIDIA. Il comprend des composants pour créer des…

Plateformes de machine learning

N°74 en Dépôts GitHub d'IA

Voir l'outil

Dépôts GitHub d'IA

Fournit une API Python pour définir des modèles de langage de grande taille, optimisant l'inférence sur les GPU NVIDIA. Il comprend des composants pour créer des…TensorRT-LLM fournit une API Python pour définir des modèles de langage de grande taille, optimisant l'inférence sur les GPU NVIDIA. Il comprend des composants pour créer des…

Plateformes de machine learning
N°74 en Dépôts GitHub d'IA

Soup

Dépôts GitHub d'IA

Soupe est un dépôt GitHub qui permet le fine-tuning de grands modèles de langage (LLMs) à l'aide d'un seul fichier YAML. Il utilise le streaming de couches pour entraîner un…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Soupe est un dépôt GitHub qui permet le fine-tuning de grands modèles de langage (LLMs) à l'aide d'un seul fichier YAML. Il utilise le streaming de couches pour entraîner un…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

AirLLM

Dépôts GitHub d'IA

AirLLM est un projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…

MLOps et déploiement de modèles

N°73 en Machine learning et data science

Voir l'outil

Dépôts GitHub d'IA

Projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…AirLLM est un projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…

MLOps et déploiement de modèles
N°73 en Machine learning et data science

trnrt

Dépôts GitHub d'IA

trnrt est un moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…

MLOps et déploiement de modèles

N°160 en MLOps et déploiement de modèles

Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…trnrt est un moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…

MLOps et déploiement de modèles
N°160 en MLOps et déploiement de modèles

vLLM

Dépôts GitHub d'IA

vllm-project/vllm est un moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…

MLOps et déploiement de modèles

N°23 en Dépôts GitHub d'IA

Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…vllm-project/vllm est un moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…

En vedetteMLOps et déploiement de modèles
N°23 en Dépôts GitHub d'IA

mlc-llm

Dépôts GitHub d'IA

mlc-llm est un moteur de déploiement LLM universel qui utilise la compilation de machine learning pour rationaliser le processus de déploiement. Il est conçu pour améliorer…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Moteur de déploiement LLM universel qui utilise la compilation de machine learning pour rationaliser le processus de déploiement. Il est conçu pour améliorer…mlc-llm est un moteur de déploiement LLM universel qui utilise la compilation de machine learning pour rationaliser le processus de déploiement. Il est conçu pour améliorer…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

TensorFlow

Dépôts GitHub d'IA

TensorFlow est un cadre d'apprentissage automatique open source conçu pour tout le monde. Il fournit un écosystème complet pour la création et le déploiement de modèles…

Plateformes de machine learning
Voir l'outil

Dépôts GitHub d'IA

Cadre d'apprentissage automatique open source conçu pour tout le monde. Il fournit un écosystème complet pour la création et le déploiement de modèles…TensorFlow est un cadre d'apprentissage automatique open source conçu pour tout le monde. Il fournit un écosystème complet pour la création et le déploiement de modèles…

En vedettePlateformes de machine learning
Voir le Top 250 Dépôts GitHub d'IA

llama-modchip

Dépôts GitHub d'IA

llama-modchip est un projet GitHub permettant aux utilisateurs d'exécuter de grands modèles de langage comme 284B DeepSeek-V4-Flash et 30B MoEs sur un CPU pur de 64 Go sans GPU.…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Projet GitHub permettant aux utilisateurs d'exécuter de grands modèles de langage comme 284B DeepSeek-V4-Flash et 30B MoEs sur un CPU pur de 64 Go sans GPU.…llama-modchip est un projet GitHub permettant aux utilisateurs d'exécuter de grands modèles de langage comme 284B DeepSeek-V4-Flash et 30B MoEs sur un CPU pur de 64 Go sans GPU.…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA
1 sur 8