Descrição
A Pilha de IA Auto-Hospedada é uma plataforma de código aberto projetada para usuários que desejam executar modelos de IA, chat, processamento de documentos e ferramentas de voz em sua própria infraestrutura. A plataforma é construída usando Docker Compose, permitindo uma fácil implantação em servidores Linux locais ou baseados em nuvem.
Ler mais
Os usuários podem optar por implantar uma pilha leve ou personalizar sua configuração para atender a necessidades específicas.
A pilha suporta a execução de modelos de IA locais com InferCrate, alimentado por Ollama, e fornece capacidades de chat baseadas em navegador através do AnythingLLM. O processamento e a recuperação de documentos são facilitados pelo ParseCrate e EmbedCrate, alimentados por Docling, permitindo busca semântica e reclassificação.
Para processamento de áudio, o ScribeCrate oferece serviços de transcrição, enquanto o SpeakCrate, alimentado por Kokoro, fornece capacidades de conversão de texto em fala. A plataforma também inclui o GatewayCrate para roteamento de solicitações de modelo e o UplinkCrate para conectar ferramentas suportadas.
A segurança é uma prioridade, com implantações recentes gerando chaves de API e configurando proteção por senha para o AnythingLLM. A plataforma é licenciada sob a MIT, e embora o software em si seja gratuito, os usuários podem incorrer em custos com hardware, hospedagem em nuvem ou provedores externos.
A Pilha de IA Auto-Hospedada é ideal para desenvolvedores, administradores de sistema, usuários de homelab e pequenas equipes que buscam uma plataforma de IA privada que possam entender, proteger e operar com confiança. A flexibilidade da plataforma e o foco na privacidade a tornam uma escolha atraente para aqueles que desejam manter o controle sobre sua infraestrutura de IA.
- CategoriaPlataformas de machine learning
- Modelo de preçosCódigo Aberto
- ImplantaçãoDocker Compose
- PlataformasLinux
Recursos principais de Pilha de IA Auto-Hospedada
Projeto de código aberto com Docker Compose
Executar modelos de IA locais e chat
Processamento e recuperação de documentos
Transcrição de áudio e conversão de texto em fala
Opções de implantação flexíveis
Aceleração opcional de GPU NVIDIA
Licença MIT
Chaves de API e proteção por senha
Como usar Pilha de IA Auto-Hospedada?
Implantar: Configure o Docker Compose em seu servidor
Configurar: Escolha serviços e personalize as configurações
Executar: Inicie modelos e ferramentas locais
Proteger: Implemente chaves de API e proteção por senha
Casos de uso de Pilha de IA Auto-Hospedada
- Implantação de Modelos de IA Locais
- Aplicações de Chat Privadas
- Inteligência Documental
- Processamento de Voz
- Integração de Ferramentas de IA Personalizadas
