跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

自托管AI堆栈

自托管AI堆栈是一个开源平台,允许用户在自己的基础设施上运行AI模型、聊天、文档处理和语音工具。它提供了灵活的Docker Compose部署、可选的GPU加速,并注重隐私和控制。

访问URL
分享
自托管AI堆栈 截图
自托管AI堆栈 截图

自托管AI堆栈是一个开源平台,旨在为希望在自己基础设施上运行AI模型、聊天、文档处理和语音工具的用户提供服务。该平台使用Docker Compose构建,允许在本地或基于云的Linux服务器上轻松部署。用户可以选择部署轻量级堆栈或根据特定需求自定义配置。

阅读更多

该堆栈支持使用InferCrate(由Ollama提供支持)运行本地AI模型,并通过AnythingLLM提供基于浏览器的聊天功能。文档解析和检索由ParseCrate和EmbedCrate(由Docling提供支持)促进,实现语义搜索和重新排序。

在音频处理方面,ScribeCrate提供转录服务,而SpeakCrate(由Kokoro提供支持)则提供文本转语音功能。该平台还包括GatewayCrate用于路由模型请求,以及UplinkCrate用于连接支持的工具。

安全性是优先考虑的,新的部署会生成API密钥并为AnythingLLM配置密码保护。该平台采用MIT许可证,虽然软件本身是免费的,但用户可能会产生硬件、云托管或外部提供商的费用。

自托管AI堆栈非常适合开发人员、系统管理员、家庭实验室用户和小型团队,他们寻求一个可以理解、安全和自信操作的私有AI平台。该平台的灵活性和对隐私的关注使其成为希望控制AI基础设施的用户的一个引人注目的选择。

  • 类别机器学习平台
  • 定价模式开源
  • 部署Docker Compose
  • 平台Linux

  • 开源Docker Compose项目

  • 运行本地AI模型和聊天

  • 文档解析和检索

  • 音频转录和文本转语音

  • 灵活的部署选项

  • 可选的NVIDIA GPU加速

  • MIT许可证

  • API密钥和密码保护

  1. 部署:在您的服务器上设置Docker Compose

  2. 配置:选择服务并自定义设置

  3. 运行:启动本地模型和工具

  4. 安全:实施API密钥和密码保护

  • 本地AI模型部署
  • 私有聊天应用
  • 文档智能
  • 语音处理
  • 自定义AI工具集成

自托管AI堆栈 评价

加载中...

与 自托管AI堆栈 类似的热门AI工具

Open WebUI

AI 应用

一个自托管、可扩展的人工智能平台,能够连接任何本地或云模型,完全离线运行,并可以通过Python扩展,使个人和企业对其人工智能、数据和基础设施拥有完全的控制权。

AI聊天机器人

IT经理 排名第 3 位

查看工具

AI 应用

一个自托管、可扩展的人工智能平台,能够连接任何本地或云模型,完全离线运行,并可以通过Python扩展,使个人和企业对其人工智能、数据和基础设施拥有完全的控制权。

精选AI聊天机器人
IT经理 排名第 3 位

AIMLAPI.com

AI 应用

通过单一 API 访问超过 600 个 AI 模型,包括 GPT-5.5、Claude Opus 4.7 和 Gemini 3.5。该平台提供经济高效的解决方案,与直接提供商相比,可节省高达 80% 的成本。它具有无 token 限制、免费的 Playground 以及与流行代理的兼容性,可实现无缝集成。

机器学习平台
查看工具

AI 应用

通过单一 API 访问超过 600 个 AI 模型,包括 GPT-5.5、Claude Opus 4.7 和 Gemini 3.5。该平台提供经济高效的解决方案,与直接提供商相比,可节省高达 80% 的成本。它具有无 token 限制、免费的 Playground 以及与流行代理的兼容性,可实现无缝集成。

机器学习平台
查看 AI 应用 Top 250

柠檬水是一个为文本、图像和语音设计的本地人工智能平台。它提供一个私密、灵活和社区驱动的环境,用于构建和集成人工智能应用。用户可以轻松地在本地设置和运行人工智能模型,确保数据隐私和控制。

机器学习平台

机器学习平台 排名第 73 位

查看工具

本地AI游乐场是一款免费、开源的原生应用程序,可离线和私密运行AI模型。它通过Rust后端简化了AI推理,无需GPU。轻松管理模型、验证完整性并启动流式服务器,使AI无需技术设置即可访问。

机器学习平台
查看工具

免费、开源的原生应用程序,可离线和私密运行AI模型。它通过Rust后端简化了AI推理,无需GPU。轻松管理模型、验证完整性并启动流式服务器,使AI无需技术设置即可访问。本地AI游乐场是一款免费、开源的原生应用程序,可离线和私密运行AI模型。它通过Rust后端简化了AI推理,无需GPU。轻松管理模型、验证完整性并启动流式服务器,使AI无需技术设置即可访问。

机器学习平台
查看 AI 应用 Top 250

LocalGPT 是一款免费的开源应用,允许用户在本地运行 AI 模型或连接到云 API。它支持聊天、图像、代码和音频,提供全面的 AI 解决方案,无需订阅。

AI 个人助理

AI 个人助理 排名第 127 位

查看工具

免费的开源应用,允许用户在本地运行 AI 模型或连接到云 API。它支持聊天、图像、代码和音频,提供全面的 AI 解决方案,无需订阅。LocalGPT 是一款免费的开源应用,允许用户在本地运行 AI 模型或连接到云 API。它支持聊天、图像、代码和音频,提供全面的 AI 解决方案,无需订阅。

AI 个人助理
AI 个人助理 排名第 127 位

Chutes 是一个无服务器 AI 计算平台,允许用户在几秒钟内部署、运行和扩展任何 AI 模型。它专注于开源模型,为 AI 开发者和企业提供灵活高效的环境。

MLOps 与模型部署
查看工具

无服务器 AI 计算平台,允许用户在几秒钟内部署、运行和扩展任何 AI 模型。它专注于开源模型,为 AI 开发者和企业提供灵活高效的环境。Chutes 是一个无服务器 AI 计算平台,允许用户在几秒钟内部署、运行和扩展任何 AI 模型。它专注于开源模型,为 AI 开发者和企业提供灵活高效的环境。

MLOps 与模型部署
查看 AI 应用 Top 250

Featherless 提供开源 LLM 的无服务器托管,提供一个 API 密钥即可即时访问超过 30,000 个模型。它简化了部署,为希望集成高级 AI 功能而无需处理基础设施难题的开发人员和企业确保了可靠性和可预测的成本。

MLOps 与模型部署
查看工具

提供开源 LLM 的无服务器托管,提供一个 API 密钥即可即时访问超过 30,000 个模型。它简化了部署,为希望集成高级 AI 功能而无需处理基础设施难题的开发人员和企业确保了可靠性和可预测的成本。Featherless 提供开源 LLM 的无服务器托管,提供一个 API 密钥即可即时访问超过 30,000 个模型。它简化了部署,为希望集成高级 AI 功能而无需处理基础设施难题的开发人员和企业确保了可靠性和可预测的成本。

MLOps 与模型部署
查看 AI 应用 Top 250

红帽 OpenShift AI 是一个灵活的混合云平台,集成了 MLOps、GenAIOps 和 AgentOps 功能,使组织能够加速在各种环境中部署智能 AI 应用程序。

机器学习平台

AI 平台 排名第 68 位

查看工具

灵活的混合云平台,集成了 MLOps、GenAIOps 和 AgentOps 功能,使组织能够加速在各种环境中部署智能 AI 应用程序。红帽 OpenShift AI 是一个灵活的混合云平台,集成了 MLOps、GenAIOps 和 AgentOps 功能,使组织能够加速在各种环境中部署智能 AI 应用程序。

精选机器学习平台
AI 平台 排名第 68 位
1/8