Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

TensorFold

TensorFold — это движок вывода LLM с открытым исходным кодом, разработанный для высокопроизводительных вычислений на различных аппаратных платформах. Он поддерживает Metal, CUDA и Vulkan, предоставляя гибкое решение для развертывания крупных языковых моделей. Проект акцентирует внимание на эффективном выполнении и предлагает инструменты для разработки и развертывания, что делает его подходящим для исследователей и разработчиков, работающих с передовыми AI моделями.

Открыть репозиторий
Поделиться
Открыть репозиторий
Поделиться

TensorFold — это проект с открытым исходным кодом, размещенный на GitHub, который служит движком вывода LLM (крупной языковой модели). Он разработан для обеспечения высокопроизводительного выполнения крупных языковых моделей на различных аппаратных архитектурах, в частности, поддерживая Metal, CUDA и Vulkan. Эта широкая совместимость позволяет разработчикам эффективно развертывать и запускать LLM на различных устройствах, от аппаратного обеспечения Apple с поддержкой Metal до графических процессоров NVIDIA с поддержкой CUDA и других устройств, поддерживающих API Vulkan.

Читать далее

Проект активно развивается, и недавние коммиты указывают на постоянные улучшения и добавление новых функций. Он включает компоненты для различных аспектов развертывания LLM, такие как подготовка контрольных точек и изображений, API оркестратора для удаленного управления и инструменты для оценки и оценки на различных графических процессорах. TensorFold стремится предложить надежную и гибкую основу для интеграции возможностей LLM в приложения и системы.

Архитектура TensorFold разработана для упрощения разработки и упаковки LLM-исполнений. Она предоставляет документацию для оптимизации производительности и руководства по оценке. Структура репозитория включает директории для кода приложений, ресурсов, документации, инструментов упаковки и веб-компонентов, что предполагает комплексную экосистему для создания и развертывания решений на основе LLM. Проект также включает предварительный просмотр Zig-движка, что указывает на акцент на нативной производительности и серверных возможностях для моделей, таких как Nemotron 3.5 LLM.

С акцентом на разработку с открытым исходным кодом и поддержку нескольких бэкендов вывода, TensorFold позиционирует себя как ценное средство для сообщества AI. Он позволяет исследователям и инженерам экспериментировать с крупными языковыми моделями и развертывать их без ограничений со стороны конкретных производителей аппаратного обеспечения, способствуя более широкому доступу и инновациям в области вывода AI.

  • КатегорияMLOps и развёртывание моделей
  • Модель ценообразованияОткрытый код
  • РазвёртываниеОблако, На своём сервере
  • ПлатформыВеб

  • Движок вывода LLM

  • Поддержка Metal для аппаратного обеспечения Apple

  • Поддержка CUDA для графических процессоров NVIDIA

  • Поддержка Vulkan для широкой совместимости графических процессоров

  • Репозиторий с открытым исходным кодом на GitHub

  • Инструменты для подготовки контрольных точек и изображений

  • API удаленного управления оркестратором

  • Автоматическая публикация рабочего времени на рабочем столе для стабильных релизов

  • Независимые от графического процессора текстовые ссылки и инструменты оценки

  • Нативный Metal-движок и предварительный просмотр сервера для Nemotron 3.5 LLM

  • Комплексная документация для оптимизации и оценки

  • Лицензия Apache-2.0

  • Интеграция движка Python (TensorFold 1.0.0)

  • Навыки агента по запросам на внесение изменений

  1. Клонировать репозиторий: Получите проект, клонировав репозиторий TensorFold на ваш локальный компьютер.

  2. Установить зависимости: Настройте необходимую среду сборки и установите все необходимые зависимости, как указано в документации проекта.

  3. Собрать движок: Скомпилируйте движок TensorFold для вашего целевого аппаратного обеспечения (Metal, CUDA или Vulkan), используя предоставленные скрипты сборки.

  4. Настроить модели: Подготовьте ваши контрольные точки и изображения LLM в соответствии с руководством проекта для вывода.

  5. Запустить вывод: Выполните задачи вывода LLM, используя движок TensorFold, используя его оптимизированную производительность для выбранного бэкенда.

  6. Разрабатывать приложения: Интегрируйте TensorFold в ваши приложения, используя его API и инструменты для создания пользовательских решений на основе LLM.

  7. Внести вклад: Участвуйте в сообществе с открытым исходным кодом, внося свой вклад в разработку, документацию или тестирование проекта.

  • Высокопроизводительный вывод LLM
  • Кроссплатформенное развертывание AI
  • Разработка AI моделей
  • Исследования и эксперименты
  • Создание пользовательских приложений LLM
  • Ускоренная обработка текста с помощью GPU

Отзывы о TensorFold

Загрузка...

Популярные ИИ-инструменты, похожие на TensorFold

TensorRT-LLM

AI-репозитории на GitHub

TensorRT-LLM предоставляет Python API для определения больших языковых моделей, оптимизируя вывод на графических процессорах NVIDIA. Он включает компоненты для создания сред…

Платформы машинного обучения

№74 в AI-репозитории на GitHub

Открыть инструмент

AI-репозитории на GitHub

Предоставляет Python API для определения больших языковых моделей, оптимизируя вывод на графических процессорах NVIDIA. Он включает компоненты для создания сред…TensorRT-LLM предоставляет Python API для определения больших языковых моделей, оптимизируя вывод на графических процессорах NVIDIA. Он включает компоненты для создания сред…

Платформы машинного обучения
№74 в AI-репозитории на GitHub

Soup

AI-репозитории на GitHub

Суп — это репозиторий на GitHub, который позволяет проводить тонкую настройку больших языковых моделей (LLM) с использованием одного файла YAML. Он использует потоковую передачу…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Суп — это репозиторий на GitHub, который позволяет проводить тонкую настройку больших языковых моделей (LLM) с использованием одного файла YAML. Он использует потоковую передачу…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

AirLLM

AI-репозитории на GitHub

AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

MLOps и развёртывание моделей

№73 в Машинное обучение и наука о данных

Открыть инструмент

AI-репозитории на GitHub

Проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

MLOps и развёртывание моделей
№73 в Машинное обучение и наука о данных

trnrt

AI-репозитории на GitHub

trnrt — это движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…

MLOps и развёртывание моделей

№160 в MLOps и развёртывание моделей

Открыть инструмент

AI-репозитории на GitHub

Движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…trnrt — это движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…

MLOps и развёртывание моделей
№160 в MLOps и развёртывание моделей

vLLM

AI-репозитории на GitHub

vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

MLOps и развёртывание моделей

№23 в AI-репозитории на GitHub

Открыть инструмент

AI-репозитории на GitHub

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

РекомендованоMLOps и развёртывание моделей
№23 в AI-репозитории на GitHub

mlc-llm

AI-репозитории на GitHub

mlc-llm — это универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…mlc-llm — это универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

TensorFlow

AI-репозитории на GitHub

TensorFlow — это открытая платформа для машинного обучения, разработанная для всех. Она предоставляет комплексную экосистему для создания и развертывания моделей машинного…

Платформы машинного обучения
Открыть инструмент

AI-репозитории на GitHub

Открытая платформа для машинного обучения, разработанная для всех. Она предоставляет комплексную экосистему для создания и развертывания моделей машинного…TensorFlow — это открытая платформа для машинного обучения, разработанная для всех. Она предоставляет комплексную экосистему для создания и развертывания моделей машинного…

РекомендованоПлатформы машинного обучения
Топ-250: AI-репозитории на GitHub

llama-modchip

AI-репозитории на GitHub

llama-modchip — это проект на GitHub, позволяющий пользователям запускать большие языковые модели, такие как 284B DeepSeek-V4-Flash и 30B MoEs, на чистом 64GB CPU без…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Проект на GitHub, позволяющий пользователям запускать большие языковые модели, такие как 284B DeepSeek-V4-Flash и 30B MoEs, на чистом 64GB CPU без…llama-modchip — это проект на GitHub, позволяющий пользователям запускать большие языковые модели, такие как 284B DeepSeek-V4-Flash и 30B MoEs, на чистом 64GB CPU без…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub
1 из 8