Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

TensorFold

TensorFold es un motor de inferencia LLM de código abierto diseñado para computación de alto rendimiento en diversas plataformas de hardware. Soporta Metal, CUDA y Vulkan, proporcionando una solución flexible para implementar modelos de lenguaje grandes. El proyecto enfatiza la ejecución eficiente y ofrece herramientas para el desarrollo y la implementación, lo que lo hace adecuado para investigadores y desarrolladores que trabajan con modelos avanzados de IA.

Ver repositorio
Compartir
Ver repositorio
Compartir

TensorFold es un proyecto de código abierto alojado en GitHub, que sirve como un motor de inferencia LLM (Modelo de Lenguaje Grande). Está diseñado para proporcionar una ejecución de alto rendimiento de modelos de lenguaje grandes en diversas arquitecturas de hardware, soportando específicamente Metal, CUDA y Vulkan. Esta amplia compatibilidad permite a los desarrolladores implementar y ejecutar LLMs de manera eficiente en una variedad de dispositivos, desde el hardware habilitado para Metal de Apple hasta las GPU impulsadas por CUDA de NVIDIA y otros dispositivos que soportan la API Vulkan.

Leer más

El proyecto se desarrolla activamente, con commits recientes que indican mejoras continuas y adiciones de características. Incluye componentes para varios aspectos de la implementación de LLM, como la preparación de puntos de control e imágenes, APIs de orquestador para control remoto, y herramientas para evaluación y puntuación en diferentes GPU. TensorFold tiene como objetivo ofrecer una base robusta y flexible para integrar capacidades de LLM en aplicaciones y sistemas.

La arquitectura de TensorFold está diseñada para facilitar el desarrollo y empaquetado de entornos de ejecución de LLM. Proporciona documentación para optimizar el rendimiento y guías para la evaluación. La estructura del repositorio incluye directorios para código de aplicación, activos, documentación, herramientas de empaquetado y componentes web, sugiriendo un ecosistema integral para construir e implementar soluciones basadas en LLM. El proyecto también presenta una vista previa del motor Zig, indicando un enfoque en el rendimiento nativo y capacidades del lado del servidor para modelos como Nemotron 3.5 LLM.

Con su enfoque en el desarrollo de código abierto y soporte para múltiples backends de inferencia, TensorFold se posiciona como un recurso valioso para la comunidad de IA. Permite a investigadores e ingenieros experimentar e implementar modelos de lenguaje grandes sin estar limitados por proveedores de hardware específicos, promoviendo una mayor accesibilidad e innovación en el campo de la inferencia de IA.

  • CategoríaMLOps y despliegue de modelos
  • Modelo de preciosCódigo abierto
  • ImplementaciónNube, Autoalojado
  • PlataformasWeb

  • Motor de Inferencia LLM

  • Soporta Metal para hardware de Apple

  • Soporta CUDA para GPU de NVIDIA

  • Soporta Vulkan para amplia compatibilidad de GPU

  • Repositorio de código abierto en GitHub

  • Herramientas para preparación de puntos de control e imágenes

  • API de control remoto del orquestador

  • Publicación automática de entornos de ejecución de escritorio para versiones estables

  • Referencias de texto y herramientas de puntuación independientes de GPU

  • Motor nativo Metal y vista previa del servidor para Nemotron 3.5 LLM

  • Documentación integral para optimización y evaluación

  • Licencia Apache-2.0

  • Integración del motor Python (TensorFold 1.0.0)

  • Habilidades de solicitud de extracción del agente colaborador

  1. Clonar Repositorio: Obtén el proyecto clonando el repositorio de TensorFold en GitHub a tu máquina local.

  2. Instalar Dependencias: Configura el entorno de construcción necesario e instala cualquier dependencia requerida según lo indicado en la documentación del proyecto.

  3. Construir Motor: Compila el motor TensorFold para tu hardware objetivo (Metal, CUDA o Vulkan) utilizando los scripts de construcción proporcionados.

  4. Configurar Modelos: Prepara tus puntos de control e imágenes de LLM de acuerdo con las pautas del proyecto para la inferencia.

  5. Ejecutar Inferencia: Ejecuta tareas de inferencia de LLM utilizando el motor TensorFold, aprovechando su rendimiento optimizado para tu backend elegido.

  6. Desarrollar Aplicaciones: Integra TensorFold en tus aplicaciones utilizando sus APIs y herramientas para construir soluciones personalizadas impulsadas por LLM.

  7. Contribuir: Participa con la comunidad de código abierto contribuyendo al desarrollo, documentación o pruebas del proyecto.

  • Inferencia LLM de Alto Rendimiento
  • Despliegue de IA Multiplataforma
  • Desarrollo de Modelos de IA
  • Investigación y Experimentación
  • Construcción de Aplicaciones Personalizadas de LLM
  • Procesamiento de Texto Acelerado por GPU

Reseñas de TensorFold

Cargando...

Herramientas de IA populares como TensorFold

TensorRT-LLM

Repositorios de IA en GitHub

TensorRT-LLM proporciona una API de Python para definir Modelos de Lenguaje Grande, optimizando la inferencia en GPUs de NVIDIA. Incluye componentes para crear entornos de…

Plataformas de aprendizaje automático

N.º 74 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Proporciona una API de Python para definir Modelos de Lenguaje Grande, optimizando la inferencia en GPUs de NVIDIA. Incluye componentes para crear entornos de…TensorRT-LLM proporciona una API de Python para definir Modelos de Lenguaje Grande, optimizando la inferencia en GPUs de NVIDIA. Incluye componentes para crear entornos de…

Plataformas de aprendizaje automático
N.º 74 en Repositorios de IA en GitHub

Soup

Repositorios de IA en GitHub

Soup es un repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…Soup es un repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

AirLLM

Repositorios de IA en GitHub

AirLLM es un proyecto de GitHub que permite la inferencia de 70 mil millones de parámetros utilizando una sola GPU de 4GB. Está diseñado para optimizar el rendimiento de modelos…

MLOps y despliegue de modelos

N.º 73 en Aprendizaje automático y ciencia de datos

Ver herramienta

Repositorios de IA en GitHub

Proyecto de GitHub que permite la inferencia de 70 mil millones de parámetros utilizando una sola GPU de 4GB. Está diseñado para optimizar el rendimiento de modelos…AirLLM es un proyecto de GitHub que permite la inferencia de 70 mil millones de parámetros utilizando una sola GPU de 4GB. Está diseñado para optimizar el rendimiento de modelos…

MLOps y despliegue de modelos
N.º 73 en Aprendizaje automático y ciencia de datos

trnrt

Repositorios de IA en GitHub

trnrt es un motor de inferencia LLM de código abierto diseñado para AWS Trainium, que ofrece megakernels NKI y soporta un contexto de 1M tokens. Desarrollado por RunAnywhere,…

MLOps y despliegue de modelos

N.º 160 en MLOps y despliegue de modelos

Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia LLM de código abierto diseñado para AWS Trainium, que ofrece megakernels NKI y soporta un contexto de 1M tokens. Desarrollado por RunAnywhere,…trnrt es un motor de inferencia LLM de código abierto diseñado para AWS Trainium, que ofrece megakernels NKI y soporta un contexto de 1M tokens. Desarrollado por RunAnywhere,…

MLOps y despliegue de modelos
N.º 160 en MLOps y despliegue de modelos

vLLM

Repositorios de IA en GitHub

vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

MLOps y despliegue de modelos

N.º 23 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

DestacadaMLOps y despliegue de modelos
N.º 23 en Repositorios de IA en GitHub

mlc-llm

Repositorios de IA en GitHub

mlc-llm es un motor de implementación universal de LLM que utiliza la compilación de aprendizaje automático para agilizar el proceso de implementación. Está diseñado para mejorar…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Motor de implementación universal de LLM que utiliza la compilación de aprendizaje automático para agilizar el proceso de implementación. Está diseñado para mejorar…mlc-llm es un motor de implementación universal de LLM que utiliza la compilación de aprendizaje automático para agilizar el proceso de implementación. Está diseñado para mejorar…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

TensorFlow

Repositorios de IA en GitHub

TensorFlow es un marco de aprendizaje automático de código abierto diseñado para todos. Proporciona un ecosistema integral para construir y desplegar modelos de aprendizaje…

Plataformas de aprendizaje automático
Ver herramienta

Repositorios de IA en GitHub

Marco de aprendizaje automático de código abierto diseñado para todos. Proporciona un ecosistema integral para construir y desplegar modelos de aprendizaje…TensorFlow es un marco de aprendizaje automático de código abierto diseñado para todos. Proporciona un ecosistema integral para construir y desplegar modelos de aprendizaje…

DestacadaPlataformas de aprendizaje automático
Ver el Top 250 de Repositorios de IA en GitHub

llama-modchip

Repositorios de IA en GitHub

llama-modchip es un proyecto de GitHub que permite a los usuarios ejecutar modelos de lenguaje grandes como 284B DeepSeek-V4-Flash y 30B MoEs en una CPU pura de 64GB sin GPUs.…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Proyecto de GitHub que permite a los usuarios ejecutar modelos de lenguaje grandes como 284B DeepSeek-V4-Flash y 30B MoEs en una CPU pura de 64GB sin GPUs.…llama-modchip es un proyecto de GitHub que permite a los usuarios ejecutar modelos de lenguaje grandes como 284B DeepSeek-V4-Flash y 30B MoEs en una CPU pura de 64GB sin GPUs.…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub
1 de 8