跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

TensorFold

TensorFold 是一个开源的 LLM 推理引擎,旨在为各种硬件平台提供高性能计算。它支持 Metal、CUDA 和 Vulkan,为部署大型语言模型提供灵活的解决方案。该项目强调高效执行,并提供开发和部署工具,使其适合与先进 AI 模型合作的研究人员和开发人员。

查看仓库
分享
查看仓库
分享

TensorFold 是一个托管在 GitHub 上的开源项目,作为 LLM(大型语言模型)推理引擎。它旨在为大型语言模型在多种硬件架构上提供高性能执行,特别支持 Metal、CUDA 和 Vulkan。这种广泛的兼容性使开发人员能够在从支持 Metal 的 Apple 硬件到 NVIDIA 的 CUDA 驱动 GPU 及其他支持 Vulkan API 的设备上高效地部署和运行 LLM。

阅读更多

该项目正在积极开发,最近的提交表明持续的改进和功能添加。它包括 LLM 部署的各个方面的组件,例如检查点和图像准备、用于远程控制的调度器 API,以及在不同 GPU 上进行评估和评分的工具。TensorFold 旨在为将 LLM 能力集成到应用程序和系统中提供一个强大而灵活的基础。

TensorFold 的架构旨在促进 LLM 运行时的开发和打包。它提供了优化性能的文档和评估指南。代码库结构包括应用程序代码、资产、文档、打包工具和 Web 组件的目录,暗示了一个全面的生态系统,用于构建和部署基于 LLM 的解决方案。该项目还具有 Zig 引擎预览,表明其关注于本地性能和服务器端能力,适用于像 Nemotron 3.5 LLM 这样的模型。

凭借其对开源开发的关注和对多种推理后端的支持,TensorFold 将自己定位为 AI 社区的宝贵资源。它使研究人员和工程师能够在不受特定硬件供应商限制的情况下实验和部署大型语言模型,促进了 AI 推理领域的更广泛可及性和创新。

  • 类别MLOps 与模型部署
  • 定价模式开源
  • 部署云端, 自托管
  • 平台网页版

  • LLM 推理引擎

  • 支持 Apple 硬件的 Metal

  • 支持 NVIDIA GPU 的 CUDA

  • 支持广泛 GPU 兼容性的 Vulkan

  • 开源 GitHub 代码库

  • 检查点和图像准备工具

  • 调度器远程控制 API

  • 稳定版本的自动桌面运行时发布

  • 与 GPU 无关的文本引用和评分工具

  • 针对 Nemotron 3.5 LLM 的本地 Metal 引擎和服务器预览

  • 优化和评估的全面文档

  • Apache-2.0 许可证

  • Python 引擎集成(TensorFold 1.0.0)

  • 贡献者代理拉取请求技能

  1. 克隆代码库:通过将 TensorFold GitHub 代码库克隆到本地计算机来获取项目。

  2. 安装依赖项:根据项目文档设置必要的构建环境并安装所需的依赖项。

  3. 构建引擎:使用提供的构建脚本为目标硬件(Metal、CUDA 或 Vulkan)编译 TensorFold 引擎。

  4. 配置模型:根据项目的推理指南准备 LLM 检查点和图像。

  5. 运行推理:使用 TensorFold 引擎执行 LLM 推理任务,利用其针对所选后端的优化性能。

  6. 开发应用程序:使用其 API 和工具将 TensorFold 集成到您的应用程序中,以构建自定义的 LLM 驱动解决方案。

  7. 贡献:通过参与项目的开发、文档或测试,与开源社区互动。

  • 高性能 LLM 推理
  • 跨平台 AI 部署
  • AI 模型开发
  • 研究与实验
  • 自定义 LLM 应用程序构建
  • GPU 加速文本处理

TensorFold 评价

加载中...

与 TensorFold 类似的热门AI工具

TensorRT-LLM

AI GitHub 仓库

TensorRT-LLM 提供了一个用于定义大型语言模型的 Python API,优化了在 NVIDIA GPU 上的推理。它包括用于创建 Python 和 C++ 运行时的组件,以高效地协调推理执行。

机器学习平台

AI GitHub 仓库 排名第 74 位

查看工具

AI GitHub 仓库

提供了一个用于定义大型语言模型的 Python API,优化了在 NVIDIA GPU 上的推理。它包括用于创建 Python 和 C++ 运行时的组件,以高效地协调推理执行。TensorRT-LLM 提供了一个用于定义大型语言模型的 Python API,优化了在 NVIDIA GPU 上的推理。它包括用于创建 Python 和 C++ 运行时的组件,以高效地协调推理执行。

机器学习平台
AI GitHub 仓库 排名第 74 位

Soup

AI GitHub 仓库

汤是一个GitHub仓库,能够使用单个YAML文件对大型语言模型(LLMs)进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型,使得在有限硬件上进行高级AI模型训练变得可行。

MLOps 与模型部署
查看工具

AI GitHub 仓库

汤是一个GitHub仓库,能够使用单个YAML文件对大型语言模型(LLMs)进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型,使得在有限硬件上进行高级AI模型训练变得可行。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

AirLLM

AI GitHub 仓库

AirLLM是一个GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。

MLOps 与模型部署

机器学习与数据科学 排名第 72 位

查看工具

AI GitHub 仓库

GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。AirLLM是一个GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。

MLOps 与模型部署
机器学习与数据科学 排名第 72 位

trnrt

AI GitHub 仓库

trnrt是一个开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。

MLOps 与模型部署

MLOps 与模型部署 排名第 160 位

查看工具

AI GitHub 仓库

开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。trnrt是一个开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。

MLOps 与模型部署
MLOps 与模型部署 排名第 160 位

vLLM

AI GitHub 仓库

vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。

MLOps 与模型部署

AI GitHub 仓库 排名第 23 位

查看工具

AI GitHub 仓库

高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。

精选MLOps 与模型部署
AI GitHub 仓库 排名第 23 位

mlc-llm

AI GitHub 仓库

mlc-llm 是一个通用的 LLM 部署引擎,利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

MLOps 与模型部署
查看工具

AI GitHub 仓库

通用的 LLM 部署引擎,利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。mlc-llm 是一个通用的 LLM 部署引擎,利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

TensorFlow

AI GitHub 仓库

TensorFlow 是一个为所有人设计的开源机器学习框架。它提供了一个全面的生态系统,用于构建和部署机器学习模型,使开发者和研究人员都能轻松使用。

机器学习平台
查看工具

AI GitHub 仓库

为所有人设计的开源机器学习框架。它提供了一个全面的生态系统,用于构建和部署机器学习模型,使开发者和研究人员都能轻松使用。TensorFlow 是一个为所有人设计的开源机器学习框架。它提供了一个全面的生态系统,用于构建和部署机器学习模型,使开发者和研究人员都能轻松使用。

精选机器学习平台
查看 AI GitHub 仓库 Top 250

llama-modchip

AI GitHub 仓库

llama-modchip是一个GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。

MLOps 与模型部署
查看工具

AI GitHub 仓库

GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。llama-modchip是一个GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250
1/8