Descrição
KOSMO é uma plataforma de gerenciamento de IA adaptada para empresas regulamentadas, combinando governança de IA, observabilidade e um sandbox nativo de agentes de IA em uma única plataforma. Ela gerencia sistemas de IA em quatro camadas: Inventário de IA, Monitoramento e Observabilidade de IA, Governança de IA e Controle de Ação de IA. KOSMO suporta LLMs públicos, modelos privados, servidores MCP, agentes autônomos e aplicações personalizadas, fornecendo uma solução abrangente de gerenciamento.
O AI Gateway da plataforma atua como uma fronteira de políticas, roteando cada LLM, MCP e chamada de agente para agente através dele. Isso garante que as diretrizes para linguagem tóxica, PII, injeção de prompt e conformidade com políticas sejam aplicadas no nível do gateway. A Action Capsule da KOSMO oferece um tempo de execução de contenção para agentes de IA, modelos ou servidores MCP, aplicando autorização prévia, arrendamentos de execução e credenciais just-in-time.
KOSMO é projetado para reduzir o bloqueio de fornecedores e modelos, posicionando-se acima dos provedores de modelos e serviços em nuvem. Ele expõe uma API compatível com OpenAI em todos os modelos suportados, permitindo mudanças de configuração sem reescritas de código. A plataforma é implantável no Azure, AWS, GCP ou em ambientes locais, oferecendo portabilidade e flexibilidade.
KOSMO fornece suporte robusto para auditoria e conformidade, registrando cada decisão, aprovação e exceção de diretrizes como um evento com um carimbo de data/hora, ator, sistema e resultado. Essa trilha de auditoria cobre aspectos essenciais de gerenciamento de risco, documentação técnica e transparência, alinhando-se com as regulamentações emergentes de IA.
Os recursos de observabilidade da plataforma registram cada chamada de IA com detalhes de modelo, aplicativo, equipe e custo, permitindo rastreamento e otimização de custos. O roteador LLM da KOSMO automaticamente direciona prompts simples para modelos menores e mais baratos, ajudando as empresas a reduzir custos significativamente. A plataforma é agnóstica em relação a modelos, suportando tanto LLMs públicos quanto privados, assim como modelos de linguagem ajustados.
Recursos principais de KOSMO AI Platform
AI Gateway para aplicação de políticas
Roteamento de chamadas LLM, MCP e A2A
Sandbox de agentes de IA com Action Capsule
API compatível com OpenAI
Registro de auditoria e conformidade
Rastreamento e otimização de custos
Suporte agnóstico a modelos
Implantação nativa em Kubernetes
Como usar KOSMO AI Platform?
Configurar: Configurar AI Gateway e Action Capsules
Usar: Implantar modelos e agentes de IA
Monitorar: Rastrear o uso e os custos de IA
Otimizar: Ajustar configurações para eficiência de custos
Casos de uso de KOSMO AI Platform
- Governança de IA
- Otimização de Custos
- Gerenciamento de Conformidade
- Redução do Bloqueio de Fornecedores
- Monitoramento de IA
