Langroid

Descrição

Langroid é um framework Python intuitivo, leve e extensível, projetado para simplificar o desenvolvimento de aplicações baseadas em Large Language Model (LLM). Ele opera em um paradigma de programação multi-agente, inspirado no Actor Framework, onde os desenvolvedores definem agentes, os equipam com componentes como LLMs, vector stores e ferramentas, e então orquestram sua colaboração na resolução de problemas através de trocas de mensagens.

A abstração central no Langroid é o `Agent`, que encapsula o estado da conversa do LLM e pode ser aumentado com vector stores e ferramentas. Agentes atuam como transformadores de mensagens, com métodos de resposta padrão para interações com LLM, Agente e Usuário. A classe `Task` envolve um `Agent`, fornecendo instruções, gerenciando iterações e orquestrando interações multi-agente através de delegação hierárquica. Este design modular promove a reutilização e o baixo acoplamento.

Langroid suporta uma ampla gama de LLMs, incluindo modelos da OpenAI e de centenas de outros provedores (locais/abertos ou remotos/comerciais) via bibliotecas proxy e servidores de modelos locais como Ollama e LiteLLM, frequentemente imitando a API da OpenAI. Ele se integra a vários vector stores como Qdrant, Chroma, LanceDB, Pinecone e PGVector, permitindo Retrieval-Augmented-Generation (RAG) para fundamentação e citação de fontes. O framework também apresenta suporte robusto para ferramentas/plugins/function-calling, aproveitando Pydantic para definição simplificada de schema e tratamento de erros.

As principais capacidades incluem colaboração multi-agente, extração de informações estruturadas, chat com documentos (RAG) com citação de fontes e chat com dados tabulares. Langroid enfatiza a experiência do desenvolvedor, oferecendo recursos como cache de respostas de LLM, observabilidade, logging e rastreamento de linhagem de mensagens. Ele é ativamente desenvolvido com atualizações frequentes e uma comunidade crescente, tornando-o uma escolha poderosa para construir aplicações LLM sofisticadas.

Recursos principais de Langroid

• Paradigma de programação multi-agente para aplicações LLM

• Abstrações de Agente e Tarefa para orquestrar interações LLM

• Suporte para uma ampla gama de LLMs, incluindo modelos locais e proprietários

• Integração com múltiplos vector stores para capacidades RAG

• Suporte a Ferramentas/Plugins/Function-calling usando Pydantic

• Chat com documentos (RAG) com citação de fontes

• Chat com dados tabulares usando geração de código Pandas

• Cache de respostas de LLM

• Observabilidade, logging e rastreamento de linhagem de mensagens

• Framework Python extensível e leve

Primeiros passos com Langroid

1. 1

   Clone o repositório: Obtenha o código-fonte do Langroid do GitHub.

2. 2

   Instale as dependências: Configure um ambiente virtual e instale o Langroid com os extras necessários.

3. 3

   Configure as variáveis de ambiente: Configure chaves de API e outras credenciais necessárias.

4. 4

   Desenvolva agentes: Defina agentes com LLMs, vector stores e ferramentas.

5. 5

   Orquestre tarefas: Use a classe Task para gerenciar interações e fluxos de trabalho dos agentes.

6. 6

   Execute aplicações: Execute suas aplicações com LLM.

Casos de uso de Langroid

• Colaboração multi-agente
• Extração de informações
• Q&A de documentos
• Análise de dados
• Geração de código
• Sistemas RAG

Perguntas frequentes de Langroid

• O que é Langroid?

  Langroid é um framework Python para construir aplicações com LLM usando um paradigma de programação multi-agente, permitindo que agentes colaborem através de troca de mensagens.

• Quais são os componentes centrais do Langroid?

  Os componentes centrais são Agentes, que encapsulam interações e estado do LLM, e Tarefas (Tasks), que orquestram o comportamento do agente e a colaboração multi-agente.

• Quais LLMs o Langroid suporta?

  Langroid suporta LLMs da OpenAI e integra-se com centenas de outros provedores, incluindo modelos locais via servidores como Ollama e LiteLLM.

• Como o Langroid lida com a recuperação de dados?

  Langroid suporta Retrieval-Augmented-Generation (RAG) integrando-se a vários vector stores como Qdrant, Chroma e LanceDB.

• Agentes Langroid podem usar ferramentas ou funções externas?

  Sim, Langroid suporta ferramentas/plugins/function-calling, aproveitando Pydantic para fácil definição e integração.

• Qual o benefício de usar Langroid para aplicações LLM?

  Langroid simplifica o desenvolvimento de aplicações LLM, fornecendo um framework multi-agente estruturado, promovendo modularidade, reutilização e orquestração mais fácil de interações LLM complexas.

• Como posso conversar com meus documentos usando Langroid?

  Langroid fornece um `DocChatAgent` especializado que lida com ingestão de documentos, embedding, armazenamento vetorial e resposta a perguntas com recuperação aumentada.

• O Langroid suporta LLMs locais?

  Sim, Langroid suporta LLMs locais servidos através de APIs compatíveis, como as fornecidas pelo Ollama.

• Qual o papel das Tarefas (Tasks) no Langroid?

  Tarefas envolvem Agentes, fornecem instruções, gerenciam respostas de agentes e orquestram interações multi-agente através de delegação hierárquica.

• Como o Langroid garante fundamentação e citação de fontes?

  Ao integrar-se com vector stores para RAG, Langroid pode recuperar informações relevantes de documentos externos e citar as fontes usadas em suas respostas.