Description
LlamaIndex est un framework de données open source pour construire des applications basées sur de grands modèles de langage. Son objectif est de résoudre un problème spécifique : un LLM est entraîné sur des données publiques, donc le connecter à des informations privées ou propriétaires nécessite une couche distincte pour ingérer, structurer et récupérer ces données. LlamaIndex fournit cette couche à travers des connecteurs de données pour des sources telles que des APIs, des PDFs, d'autres documents et des bases de données SQL, des moyens de structurer les données ingérées en indices ou en graphes, et une interface de récupération et de requête qui alimente le contexte pertinent dans une invite LLM.
Lire la suite
Il existe deux façons de commencer à construire avec lui en Python. Le package de démarrage, llama-index, regroupe la bibliothèque principale avec une sélection d'intégrations pour une configuration rapide. Une construction personnalisée installe plutôt llama-index-core plus des packages d'intégration spécifiques, dont il y en a plus de 300 couvrant différents fournisseurs de LLM, d'embeddings et de magasins de vecteurs. Une API de haut niveau permet à un débutant d'ingérer et de requêter des données en quelques lignes de code, tandis que des APIs de bas niveau exposent les connecteurs de données, les indices, les récupérateurs, les moteurs de requête et les modules de reranking pour une personnalisation avancée. LlamaIndex s'intègre également avec des frameworks externes tels que LangChain, Flask ou Docker plutôt que d'exiger que tout fonctionne uniquement à travers lui.
L'entreprise derrière LlamaIndex a recentré son attention principale depuis le lancement du framework en 2023. Son produit principal actuel est LlamaParse, une plateforme d'entreprise distincte pour le parsing de documents agentiques, l'OCR et l'extraction structurée, aux côtés d'un parser léger et gratuit appelé LiteParse et d'efforts de benchmarking ouverts (ParseBench et ExtractBench) pour la qualité de parsing et d'extraction. LlamaParse peut être utilisé avec le framework LlamaIndex ou de manière autonome. Le framework open source lui-même reste disponible et maintenu comme un outil pour les développeurs construisant des applications de récupération et d'agents.
Le dépôt est publié sous la licence MIT et a attiré plus de 52 000 étoiles sur GitHub et plus de 8 000 forks, ce qui en fait l'un des outils open source les plus largement utilisés pour connecter des LLM à des données externes.
- CatégorieMachine learning et data science
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de LlamaIndex
Connecteurs de données pour ingérer des APIs, des PDFs, d'autres documents et des bases de données SQL
Indices et structures de graphes pour organiser les données ingérées pour l'utilisation des LLM
Une interface de récupération et de requête qui alimente le contexte pertinent dans une invite LLM
Une API de haut niveau pour un pipeline d'ingestion et de requête de base en quelques lignes de code
APIs de bas niveau pour personnaliser les connecteurs de données, les indices, les récupérateurs, les moteurs de requête et les modules de reranking
Plus de 300 packages d'intégration pour différents fournisseurs de LLM, d'embeddings et de magasins de vecteurs
Interopère avec des frameworks externes tels que LangChain, Flask et Docker
Appariement optionnel avec LlamaParse, la plateforme distincte de parsing et d'extraction de documents agentiques de l'entreprise
Sous licence MIT, avec plus de 52 000 étoiles sur GitHub et plus de 8 000 forks
Premiers pas avec LlamaIndex
Installez-le : exécutez pip install llama-index pour le bundle de démarrage, ou llama-index-core plus les intégrations choisies pour une configuration personnalisée.
Connectez vos données : utilisez un connecteur de données pour charger des documents, des APIs ou une base de données.
Construisez un index : structurez les données ingérées en un index ou un graphe.
Interrogez-le : envoyez une invite à travers l'interface de récupération pour obtenir une réponse ancrée dans ces données.
Cas d'utilisation de LlamaIndex
- Génération augmentée par récupération
- Pipelines de données personnalisés
- Applications d'agents
- Parsing et extraction de documents
