跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

trnrt

trnrt是一个开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。

查看仓库
分享
查看仓库
分享

trnrt是一个专为AWS Trainium(亚马逊定制的机器学习加速器)设计的开源LLM推理引擎。该项目由RunAnywhere开发,旨在提供一个强大且高效的解决方案,以大规模部署和运行大型语言模型(LLMs)。

阅读更多

trnrt的核心能力在于其利用NKI大内核,这些优化内核旨在最大化AWS Trainium硬件的性能。这种优化允许进行高效计算,对于LLM推理的高负载工作至关重要。一个显著的特点是其支持1M-token上下文,能够处理异常长的输入序列,这对于需要广泛上下文理解的复杂任务非常有利。

此外,trnrt还提供与OpenAI兼容的API。这种兼容性简化了已经熟悉OpenAI生态系统的开发者的集成,使他们能够利用现有的工具和工作流程,同时享受AWS Trainium的性能优势。这使得trnrt成为希望在高性能、经济高效的硬件上部署自定义或开源LLM的组织的理想选择。

该项目以GitHub存储库的形式结构化,表明其开源性质并鼓励社区贡献。它包括各种组件,如Docker配置、文档、测试和工具,暗示了一个全面的开发环境。像`CONTRIBUTING.md`和`LICENSE`这样的文件的存在进一步强调了其对开源原则和协作开发的承诺。trnrt非常适合希望在AWS基础设施上优化其LLM推理管道的研究人员、开发者和企业。

  • 类别MLOps 与模型部署
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 开放的LLM推理引擎

  • 针对AWS Trainium进行了优化

  • 利用NKI大内核

  • 支持1M-token上下文

  • 与OpenAI兼容的API

  • 由RunAnywhere开发

  • GitHub存储库以供开源访问

  • 包括Docker配置

  • 提供全面的文档

  • 可靠性测试套件

  • 开发和部署工具

  • 社区贡献指南

  • 清晰的许可信息

  1. 克隆存储库:通过克隆GitHub存储库获取trnrt源代码。

  2. 安装依赖项:设置必要的开发环境并安装所需的库。

  3. 配置AWS Trainium:确保您的AWS环境正确配置为Trainium实例。

  4. 构建Docker镜像:使用提供的Dockerfile构建推理引擎镜像。

  5. 部署模型:将您所需的LLM与trnrt引擎集成。

  6. 运行推理:使用与OpenAI兼容的API执行LLM推理。

  7. 监控性能:观察并优化在AWS Trainium上的性能。

  • 高性能LLM推理
  • 长上下文处理
  • OpenAI API集成
  • 自定义LLM部署
  • AI研究与开发
  • 可扩展的AI应用

trnrt 评价

加载中...

与 trnrt 类似的热门AI工具

vLLM

AI GitHub 仓库

vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。

MLOps 与模型部署

AI GitHub 仓库 排名第 23 位

查看工具

AI GitHub 仓库

高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。

精选MLOps 与模型部署
AI GitHub 仓库 排名第 23 位

mlc-llm

AI GitHub 仓库

mlc-llm 是一个通用的 LLM 部署引擎,利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

MLOps 与模型部署
查看工具

AI GitHub 仓库

通用的 LLM 部署引擎,利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。mlc-llm 是一个通用的 LLM 部署引擎,利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

MNN

AI GitHub 仓库

MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型(LLMs)和边缘AI应用,提供快速高效的推理能力。

MLOps 与模型部署
查看工具

AI GitHub 仓库

阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型(LLMs)和边缘AI应用,提供快速高效的推理能力。MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型(LLMs)和边缘AI应用,提供快速高效的推理能力。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

FlashInfer

AI GitHub 仓库

FlashInfer 是一个专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理,使开发者能够通过 GitHub 贡献和增强其功能。

MLOps 与模型部署
查看工具

AI GitHub 仓库

专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理,使开发者能够通过 GitHub 贡献和增强其功能。FlashInfer 是一个专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理,使开发者能够通过 GitHub 贡献和增强其功能。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

llama-modchip

AI GitHub 仓库

llama-modchip是一个GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。

MLOps 与模型部署
查看工具

AI GitHub 仓库

GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。llama-modchip是一个GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

AirLLM

AI GitHub 仓库

AirLLM是一个GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。

MLOps 与模型部署

机器学习与数据科学 排名第 73 位

查看工具

AI GitHub 仓库

GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。AirLLM是一个GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。

MLOps 与模型部署
机器学习与数据科学 排名第 73 位

llmware

AI GitHub 仓库

llmware 是一个统一框架,旨在使用小型专业模型构建企业级 RAG 管道。它简化了各种 AI 模型的集成,增强了企业应用的效率和可扩展性。

MLOps 与模型部署

AI GitHub 仓库 排名第 103 位

查看工具

AI GitHub 仓库

统一框架,旨在使用小型专业模型构建企业级 RAG 管道。它简化了各种 AI 模型的集成,增强了企业应用的效率和可扩展性。llmware 是一个统一框架,旨在使用小型专业模型构建企业级 RAG 管道。它简化了各种 AI 模型的集成,增强了企业应用的效率和可扩展性。

MLOps 与模型部署
AI GitHub 仓库 排名第 103 位

TensorFold

AI GitHub 仓库

TensorFold 是一个开源的 LLM 推理引擎,旨在为各种硬件平台提供高性能计算。它支持 Metal、CUDA 和 Vulkan,为部署大型语言模型提供灵活的解决方案。该项目强调高效执行,并提供开发和部署工具,使其适合与先进 AI 模型合作的研究人员和开发人员。

MLOps 与模型部署
查看工具

AI GitHub 仓库

开源的 LLM 推理引擎,旨在为各种硬件平台提供高性能计算。它支持 Metal、CUDA 和 Vulkan,为部署大型语言模型提供灵活的解决方案。该项目强调高效执行,并提供开发和部署工具,使其适合与先进 AI 模型合作的研究人员和开发人员。TensorFold 是一个开源的 LLM 推理引擎,旨在为各种硬件平台提供高性能计算。它支持 Metal、CUDA 和 Vulkan,为部署大型语言模型提供灵活的解决方案。该项目强调高效执行,并提供开发和部署工具,使其适合与先进 AI 模型合作的研究人员和开发人员。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250
1/8