Project Maya

LocalAI

Dépôts GitHub d'IA

#44

Moteur IA open source qui permet aux utilisateurs d'exécuter divers modèles, y compris des LLM, des modèles de vision, de voix, d'image et de vidéo, sur n'importe…LocalAI est un moteur IA open source qui permet aux utilisateurs d'exécuter divers modèles, y compris des LLM, des modèles de vision, de voix, d'image et de vidéo, sur n'importe…

GPUStack

Dépôts GitHub d'IA

#115

Gestionnaire de clusters GPU conçu pour le service de modèles d'IA haute performance, y compris vLLM et SGLang, et fournit des instances GPU accessibles par SSH à…GPUStack est un gestionnaire de clusters GPU conçu pour le service de modèles d'IA haute performance, y compris vLLM et SGLang, et fournit des instances GPU accessibles par SSH à…

Shimmy

Dépôts GitHub d'IA

Moteur d'inférence WebGPU en Rust pur, compatible avec l'API OpenAI et natif GGUF. Il fonctionne sur n'importe quel GPU sans nécessiter Python ou llama.cpp, offrant…Shimmy est un moteur d'inférence WebGPU en Rust pur, compatible avec l'API OpenAI et natif GGUF. Il fonctionne sur n'importe quel GPU sans nécessiter Python ou llama.cpp, offrant…

openTPU

Dépôts GitHub d'IA

Accélérateur d'IA open-source développé par FeSens. Il combine RTL, ISA, simulateur, compilateur et profileur dans un seul dépôt, permettant l'exécution de modèles…openTPU est un accélérateur d'IA open-source développé par FeSens. Il combine RTL, ISA, simulateur, compilateur et profileur dans un seul dépôt, permettant l'exécution de modèles…

Un outil gratuit qui détecte votre GPU ou Mac et montre quels modèles d'IA ouverts, y compris les LLM, les modèles de codage, d'image et de vidéo, vous pouvez exécuter localement,…

AirLLM

Dépôts GitHub d'IA

#234

Projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…AirLLM est un projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…

TensorRT-LLM

Dépôts GitHub d'IA

#63

Fournit une API Python pour définir des modèles de langage de grande taille, optimisant l'inférence sur les GPU NVIDIA. Il comprend des composants pour créer des…TensorRT-LLM fournit une API Python pour définir des modèles de langage de grande taille, optimisant l'inférence sur les GPU NVIDIA. Il comprend des composants pour créer des…

GenieX

Dépôts GitHub d'IA

Permet l'exécution de LLMs et VLMs de pointe localement sur des appareils Qualcomm, en utilisant NPU, GPU et CPU. Il simplifie le processus avec un code minimal, offrant un…GenieX permet l'exécution de LLMs et VLMs de pointe localement sur des appareils Qualcomm, en utilisant NPU, GPU et CPU. Il simplifie le processus avec un code minimal, offrant un…