NVIDIA TensorRT

LiteRT

AI 框架

Google 的高性能设备端机器学习框架，用于在边缘平台部署 GenAI 和 ML 模型。它在 TensorFlow Lite 的基础上，提供高效的模型转换、运行时和优化，以实现跨越数十亿设备的低延迟和高隐私性。LiteRT 是 Google 的高性能设备端机器学习框架，用于在边缘平台部署 GenAI 和 ML 模型。它在 TensorFlow Lite 的基础上，提供高效的模型转换、运行时和优化，以实现跨越数十亿设备的低延迟和高隐私性。

Dynamo-Triton 开源软件

AI 框架

NVIDIA Dynamo-Triton 使得在 TensorRT、PyTorch 和 ONNX 等各种框架中部署 AI 模型成为可能。它支持实时、批处理和流式工作负载，适用于多种 AI 应用。

TensorRT-LLM

AI GitHub 仓库

#63

提供了一个用于定义大型语言模型的 Python API，优化了在 NVIDIA GPU 上的推理。它包括用于创建 Python 和 C++ 运行时的组件，以高效地协调推理执行。TensorRT-LLM 提供了一个用于定义大型语言模型的 Python API，优化了在 NVIDIA GPU 上的推理。它包括用于创建 Python 和 C++ 运行时的组件，以高效地协调推理执行。

fastai

AI 框架

#19

为实践者和研究人员设计的深度学习库。它提供了用于快速开发最先进结果的高级组件，以及用于新方法的低级组件。它通过分层架构和 Python 的动态性，致力于易用性、灵活性和性能。fastai 是一个为实践者和研究人员设计的深度学习库。它提供了用于快速开发最先进结果的高级组件，以及用于新方法的低级组件。它通过分层架构和 Python 的动态性，致力于易用性、灵活性和性能。

TensorFlow

AI 框架

面向所有人的端到端开源机器学习平台。它提供了灵活的工具、库和社区资源生态系统，使得创建和部署机器学习模型变得简单。TensorFlow 是一个面向所有人的端到端开源机器学习平台。它提供了灵活的工具、库和社区资源生态系统，使得创建和部署机器学习模型变得简单。

BigDL LLM

AI 框架

BigDL-LLM 是一个开源库，用于在 Intel XPU 硬件上运行大型语言模型 (LLM)，涵盖从笔记本电脑到云端 GPU 的各种设备。它支持 INT4/FP4/INT8/FP8 量化以实现低延迟推理，并为 PyTorch 模型提供全面的微调功能。

深度学习优化库，旨在简化分布式训练。它提高了效率和有效性，使得使用先进技术如ZeRO和3D并行性训练大规模模型成为可能。DeepSpeed是一个深度学习优化库，旨在简化分布式训练。它提高了效率和有效性，使得使用先进技术如ZeRO和3D并行性训练大规模模型成为可能。

简单明了的神经网络框架，旨在深度学习。它将复杂的网络简化为三种操作类型，使开发者能够高效地实现机器学习解决方案。tinygrad是一个简单明了的神经网络框架，旨在深度学习。它将复杂的网络简化为三种操作类型，使开发者能够高效地实现机器学习解决方案。