Descrição
LlamaIndex é um framework de dados de código aberto para construir aplicações sobre grandes modelos de linguagem. Seu objetivo é resolver um problema específico: um LLM é treinado com dados públicos, portanto, conectá-lo a informações privadas ou proprietárias requer uma camada separada para ingestão, estruturação e recuperação desses dados. O LlamaIndex fornece essa camada através de conectores de dados para fontes como APIs, PDFs, outros documentos e bancos de dados SQL, maneiras de estruturar os dados ingeridos em índices ou gráficos, e uma interface de recuperação e consulta que alimenta contexto relevante em um prompt de LLM.
Ler mais
Existem duas maneiras de começar a construir com ele em Python. O pacote inicial, llama-index, agrupa a biblioteca principal com uma seleção de integrações para uma configuração rápida. Uma construção personalizada, por sua vez, instala llama-index-core mais pacotes de integração específicos, dos quais existem mais de 300 cobrindo diferentes provedores de LLM, embedding e armazenamento vetorial. Uma API de alto nível permite que um iniciante ingresse e consulte dados em algumas linhas de código, enquanto APIs de nível inferior expõem os conectores de dados, índices, recuperadores, motores de consulta e módulos de reclassificação para personalização avançada. O LlamaIndex também se integra a frameworks externos como LangChain, Flask ou Docker, em vez de exigir que tudo funcione apenas através dele.
A empresa por trás do LlamaIndex mudou seu foco principal desde o lançamento do framework em 2023. Seu principal produto atual é o LlamaParse, uma plataforma empresarial separada para análise de documentos, OCR e extração estruturada, juntamente com um analisador leve e gratuito chamado LiteParse e esforços de benchmarking abertos (ParseBench e ExtractBench) para qualidade de análise e extração. O LlamaParse pode ser usado junto com o framework LlamaIndex ou de forma independente. O framework de código aberto em si permanece disponível e mantido como um kit de ferramentas para desenvolvedores que constroem aplicações de recuperação e agentes.
O repositório é lançado sob a licença MIT e já recebeu mais de 52.000 estrelas no GitHub e mais de 8.000 forks, tornando-se uma das ferramentas de código aberto mais amplamente utilizadas para conectar LLMs a dados externos.
- CategoriaMachine learning e ciência de dados
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Recursos principais de LlamaIndex
Conectores de dados para ingestão de APIs, PDFs, outros documentos e bancos de dados SQL
Índices e estruturas gráficas para organizar dados ingeridos para uso em LLM
Uma interface de recuperação e consulta que alimenta contexto relevante em um prompt de LLM
Uma API de alto nível para um pipeline básico de ingestão e consulta em algumas linhas de código
APIs de nível inferior para personalizar conectores de dados, índices, recuperadores, motores de consulta e módulos de reclassificação
Mais de 300 pacotes de integração para diferentes provedores de LLM, embedding e armazenamento vetorial
Interopera com frameworks externos como LangChain, Flask e Docker
Emparelhamento opcional com LlamaParse, a plataforma separada da empresa para análise e extração de documentos
Primeiros passos com LlamaIndex
Instale: execute pip install llama-index para o pacote inicial, ou llama-index-core mais integrações escolhidas para uma configuração personalizada.
Conecte seus dados: use um conector de dados para carregar documentos, APIs ou um banco de dados.
Construa um índice: estruture os dados ingeridos em um índice ou gráfico.
Consulte: envie um prompt através da interface de recuperação para obter uma resposta fundamentada nesses dados.
Casos de uso de LlamaIndex
- Geração aumentada por recuperação
- Pipelines de dados personalizados
- Aplicações de agentes
- Análise e extração de documentos
