描述
TensorFold 是一个托管在 GitHub 上的开源项目,作为 LLM(大型语言模型)推理引擎。它旨在为大型语言模型在多种硬件架构上提供高性能执行,特别支持 Metal、CUDA 和 Vulkan。这种广泛的兼容性使开发人员能够在从支持 Metal 的 Apple 硬件到 NVIDIA 的 CUDA 驱动 GPU 及其他支持 Vulkan API 的设备上高效地部署和运行 LLM。
阅读更多
该项目正在积极开发,最近的提交表明持续的改进和功能添加。它包括 LLM 部署的各个方面的组件,例如检查点和图像准备、用于远程控制的调度器 API,以及在不同 GPU 上进行评估和评分的工具。TensorFold 旨在为将 LLM 能力集成到应用程序和系统中提供一个强大而灵活的基础。
TensorFold 的架构旨在促进 LLM 运行时的开发和打包。它提供了优化性能的文档和评估指南。代码库结构包括应用程序代码、资产、文档、打包工具和 Web 组件的目录,暗示了一个全面的生态系统,用于构建和部署基于 LLM 的解决方案。该项目还具有 Zig 引擎预览,表明其关注于本地性能和服务器端能力,适用于像 Nemotron 3.5 LLM 这样的模型。
凭借其对开源开发的关注和对多种推理后端的支持,TensorFold 将自己定位为 AI 社区的宝贵资源。它使研究人员和工程师能够在不受特定硬件供应商限制的情况下实验和部署大型语言模型,促进了 AI 推理领域的更广泛可及性和创新。
- 类别MLOps 与模型部署
- 定价模式开源
- 部署云端, 自托管
- 平台网页版
TensorFold的核心功能
LLM 推理引擎
支持 Apple 硬件的 Metal
支持 NVIDIA GPU 的 CUDA
支持广泛 GPU 兼容性的 Vulkan
开源 GitHub 代码库
检查点和图像准备工具
调度器远程控制 API
稳定版本的自动桌面运行时发布
与 GPU 无关的文本引用和评分工具
针对 Nemotron 3.5 LLM 的本地 Metal 引擎和服务器预览
优化和评估的全面文档
Apache-2.0 许可证
Python 引擎集成(TensorFold 1.0.0)
贡献者代理拉取请求技能
TensorFold入门
克隆代码库:通过将 TensorFold GitHub 代码库克隆到本地计算机来获取项目。
安装依赖项:根据项目文档设置必要的构建环境并安装所需的依赖项。
构建引擎:使用提供的构建脚本为目标硬件(Metal、CUDA 或 Vulkan)编译 TensorFold 引擎。
配置模型:根据项目的推理指南准备 LLM 检查点和图像。
运行推理:使用 TensorFold 引擎执行 LLM 推理任务,利用其针对所选后端的优化性能。
开发应用程序:使用其 API 和工具将 TensorFold 集成到您的应用程序中,以构建自定义的 LLM 驱动解决方案。
贡献:通过参与项目的开发、文档或测试,与开源社区互动。
TensorFold的使用案例
- 高性能 LLM 推理
- 跨平台 AI 部署
- AI 模型开发
- 研究与实验
- 自定义 LLM 应用程序构建
- GPU 加速文本处理








