描述
自托管AI堆栈是一个开源平台,旨在为希望在自己基础设施上运行AI模型、聊天、文档处理和语音工具的用户提供服务。该平台使用Docker Compose构建,允许在本地或基于云的Linux服务器上轻松部署。用户可以选择部署轻量级堆栈或根据特定需求自定义配置。
阅读更多
该堆栈支持使用InferCrate(由Ollama提供支持)运行本地AI模型,并通过AnythingLLM提供基于浏览器的聊天功能。文档解析和检索由ParseCrate和EmbedCrate(由Docling提供支持)促进,实现语义搜索和重新排序。
在音频处理方面,ScribeCrate提供转录服务,而SpeakCrate(由Kokoro提供支持)则提供文本转语音功能。该平台还包括GatewayCrate用于路由模型请求,以及UplinkCrate用于连接支持的工具。
安全性是优先考虑的,新的部署会生成API密钥并为AnythingLLM配置密码保护。该平台采用MIT许可证,虽然软件本身是免费的,但用户可能会产生硬件、云托管或外部提供商的费用。
自托管AI堆栈非常适合开发人员、系统管理员、家庭实验室用户和小型团队,他们寻求一个可以理解、安全和自信操作的私有AI平台。该平台的灵活性和对隐私的关注使其成为希望控制AI基础设施的用户的一个引人注目的选择。
- 类别机器学习平台
- 定价模式开源
- 部署Docker Compose
- 平台Linux
自托管AI堆栈的核心功能
开源Docker Compose项目
运行本地AI模型和聊天
文档解析和检索
音频转录和文本转语音
灵活的部署选项
可选的NVIDIA GPU加速
MIT许可证
API密钥和密码保护
如何使用 自托管AI堆栈?
部署:在您的服务器上设置Docker Compose
配置:选择服务并自定义设置
运行:启动本地模型和工具
安全:实施API密钥和密码保护
自托管AI堆栈的使用案例
- 本地AI模型部署
- 私有聊天应用
- 文档智能
- 语音处理
- 自定义AI工具集成






