Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

TensorFold

TensorFold é um mecanismo de inferência LLM de código aberto projetado para computação de alto desempenho em várias plataformas de hardware. Ele suporta Metal, CUDA e Vulkan, oferecendo uma solução flexível para a implementação de grandes modelos de linguagem. O projeto enfatiza a execução eficiente e oferece ferramentas para desenvolvimento e implantação, tornando-o adequado para pesquisadores e desenvolvedores que trabalham com modelos avançados de IA.

Ver repositório
Compartilhar
Ver repositório
Compartilhar

TensorFold é um projeto de código aberto hospedado no GitHub, servindo como um mecanismo de inferência LLM (Modelo de Linguagem Grande). Ele é projetado para fornecer execução de alto desempenho de grandes modelos de linguagem em diversas arquiteturas de hardware, suportando especificamente Metal, CUDA e Vulkan. Essa ampla compatibilidade permite que os desenvolvedores implementem e executem LLMs de forma eficiente em uma variedade de dispositivos, desde o hardware habilitado para Metal da Apple até as GPUs da NVIDIA com suporte a CUDA e outros dispositivos que suportam a API Vulkan.

Ler mais

O projeto está em desenvolvimento ativo, com commits recentes indicando melhorias contínuas e adições de recursos. Ele inclui componentes para vários aspectos da implementação de LLM, como preparação de checkpoints e imagens, APIs de orquestrador para controle remoto e ferramentas para avaliação e pontuação em diferentes GPUs. TensorFold visa oferecer uma base robusta e flexível para integrar capacidades de LLM em aplicações e sistemas.

A arquitetura do TensorFold é projetada para facilitar o desenvolvimento e a embalagem de tempos de execução de LLM. Ele fornece documentação para otimização de desempenho e guias para avaliação. A estrutura do repositório inclui diretórios para código de aplicação, ativos, documentação, ferramentas de embalagem e componentes web, sugerindo um ecossistema abrangente para construir e implantar soluções baseadas em LLM. O projeto também apresenta uma prévia do motor Zig, indicando um foco em desempenho nativo e capacidades do lado do servidor para modelos como o Nemotron 3.5 LLM.

Com seu foco no desenvolvimento de código aberto e suporte a múltiplos backends de inferência, o TensorFold se posiciona como um recurso valioso para a comunidade de IA. Ele permite que pesquisadores e engenheiros experimentem e implementem grandes modelos de linguagem sem serem limitados por fornecedores de hardware específicos, promovendo maior acessibilidade e inovação no campo da inferência de IA.

  • CategoriaMLOps e implantação de modelos
  • Modelo de preçosCódigo aberto
  • ImplantaçãoNuvem, Auto-hospedado
  • PlataformasWeb

  • Mecanismo de Inferência LLM

  • Suporta Metal para hardware da Apple

  • Suporta CUDA para GPUs da NVIDIA

  • Suporta Vulkan para ampla compatibilidade de GPU

  • Repositório GitHub de código aberto

  • Ferramentas para preparação de checkpoints e imagens

  • API de controle remoto do orquestrador

  • Publicação automática de tempo de execução para desktop para lançamentos estáveis

  • Referências de texto e ferramentas de pontuação independentes de GPU

  • Motor nativo Metal e prévia do servidor para Nemotron 3.5 LLM

  • Documentação abrangente para otimização e avaliação

  • Licença Apache-2.0

  • Integração do motor Python (TensorFold 1.0.0)

  • Habilidades de pull request do agente colaborador

  1. Clonar Repositório: Obtenha o projeto clonando o repositório do TensorFold no GitHub para sua máquina local.

  2. Instalar Dependências: Configure o ambiente de construção necessário e instale quaisquer dependências exigidas conforme descrito na documentação do projeto.

  3. Compilar Motor: Compile o motor TensorFold para seu hardware alvo (Metal, CUDA ou Vulkan) usando os scripts de construção fornecidos.

  4. Configurar Modelos: Prepare seus checkpoints e imagens de LLM de acordo com as diretrizes do projeto para inferência.

  5. Executar Inferência: Execute tarefas de inferência de LLM usando o motor TensorFold, aproveitando seu desempenho otimizado para o backend escolhido.

  6. Desenvolver Aplicações: Integre o TensorFold em suas aplicações usando suas APIs e ferramentas para construir soluções personalizadas baseadas em LLM.

  7. Contribuir: Engaje-se com a comunidade de código aberto contribuindo para o desenvolvimento, documentação ou testes do projeto.

  • Inferência LLM de Alto Desempenho
  • Implantação de IA Multiplataforma
  • Desenvolvimento de Modelos de IA
  • Pesquisa e Experimentação
  • Construção de Aplicações Personalizadas de LLM
  • Processamento de Texto Acelerado por GPU

Avaliações de TensorFold

Carregando...

Ferramentas de IA populares como TensorFold

TensorRT-LLM

Repositórios de IA no GitHub

TensorRT-LLM fornece uma API Python para definir Modelos de Linguagem de Grande Escala, otimizando a inferência em GPUs NVIDIA. Inclui componentes para criar ambientes de execução…

Plataformas de machine learning

Nº 74 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Fornece uma API Python para definir Modelos de Linguagem de Grande Escala, otimizando a inferência em GPUs NVIDIA. Inclui componentes para criar ambientes de execução…TensorRT-LLM fornece uma API Python para definir Modelos de Linguagem de Grande Escala, otimizando a inferência em GPUs NVIDIA. Inclui componentes para criar ambientes de execução…

Plataformas de machine learning
Nº 74 em Repositórios de IA no GitHub

Soup

Repositórios de IA no GitHub

Soup é um repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…Soup é um repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

AirLLM

Repositórios de IA no GitHub

AirLLM é um projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…

MLOps e implantação de modelos

Nº 73 em Machine learning e ciência de dados

Ver ferramenta

Repositórios de IA no GitHub

Projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…AirLLM é um projeto do GitHub que possibilita a inferência de 70 bilhões de parâmetros usando uma única GPU de 4GB. Ele é projetado para otimizar o desempenho de modelos de…

MLOps e implantação de modelos
Nº 73 em Machine learning e ciência de dados

trnrt

Repositórios de IA no GitHub

trnrt é um mecanismo de inferência LLM de código aberto projetado para AWS Trainium, oferecendo megakernels NKI e suportando um contexto de 1M tokens. Desenvolvido pela…

MLOps e implantação de modelos

Nº 160 em MLOps e implantação de modelos

Ver ferramenta

Repositórios de IA no GitHub

Mecanismo de inferência LLM de código aberto projetado para AWS Trainium, oferecendo megakernels NKI e suportando um contexto de 1M tokens. Desenvolvido pela…trnrt é um mecanismo de inferência LLM de código aberto projetado para AWS Trainium, oferecendo megakernels NKI e suportando um contexto de 1M tokens. Desenvolvido pela…

MLOps e implantação de modelos
Nº 160 em MLOps e implantação de modelos

vLLM

Repositórios de IA no GitHub

vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

MLOps e implantação de modelos

Nº 23 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

DestaqueMLOps e implantação de modelos
Nº 23 em Repositórios de IA no GitHub

mlc-llm

Repositórios de IA no GitHub

mlc-llm é um motor de implantação universal de LLM que utiliza compilação de aprendizado de máquina para simplificar o processo de implantação. Foi projetado para aumentar a…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Motor de implantação universal de LLM que utiliza compilação de aprendizado de máquina para simplificar o processo de implantação. Foi projetado para aumentar a…mlc-llm é um motor de implantação universal de LLM que utiliza compilação de aprendizado de máquina para simplificar o processo de implantação. Foi projetado para aumentar a…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

TensorFlow

Repositórios de IA no GitHub

TensorFlow é um framework de aprendizado de máquina open-source projetado para todos. Ele fornece um ecossistema abrangente para construir e implantar modelos de aprendizado de…

Plataformas de machine learning
Ver ferramenta

Repositórios de IA no GitHub

Framework de aprendizado de máquina open-source projetado para todos. Ele fornece um ecossistema abrangente para construir e implantar modelos de aprendizado de…TensorFlow é um framework de aprendizado de máquina open-source projetado para todos. Ele fornece um ecossistema abrangente para construir e implantar modelos de aprendizado de…

DestaquePlataformas de machine learning
Ver o Top 250 de Repositórios de IA no GitHub

llama-modchip

Repositórios de IA no GitHub

llama-modchip é um projeto do GitHub que permite aos usuários executar grandes modelos de linguagem como 284B DeepSeek-V4-Flash e 30B MoEs em uma CPU pura de 64GB sem GPUs. Ele…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Projeto do GitHub que permite aos usuários executar grandes modelos de linguagem como 284B DeepSeek-V4-Flash e 30B MoEs em uma CPU pura de 64GB sem GPUs. Ele…llama-modchip é um projeto do GitHub que permite aos usuários executar grandes modelos de linguagem como 284B DeepSeek-V4-Flash e 30B MoEs em uma CPU pura de 64GB sem GPUs. Ele…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub
1 de 8