Deskripsi
LlamaIndex adalah kerangka kerja data sumber terbuka untuk membangun aplikasi di atas model bahasa besar. Tujuannya adalah untuk menyelesaikan masalah spesifik: sebuah LLM dilatih pada data publik, sehingga menghubungkannya dengan informasi pribadi atau kepemilikan memerlukan lapisan terpisah untuk mengimpor, menyusun, dan mengambil data tersebut. LlamaIndex menyediakan lapisan itu melalui konektor data untuk sumber seperti API, PDF, dokumen lain, dan basis data SQL, cara untuk menyusun data yang diimpor menjadi indeks atau grafik, dan antarmuka pengambilan dan kueri yang memberikan konteks relevan ke dalam prompt LLM.
Baca Selengkapnya
Ada dua cara untuk mulai membangun dengan Python. Paket pemula, llama-index, menggabungkan pustaka inti dengan pilihan integrasi untuk pengaturan cepat. Sebuah build yang disesuaikan justru menginstal llama-index-core ditambah paket integrasi spesifik, yang jumlahnya lebih dari 300 mencakup berbagai penyedia LLM, embedding, dan penyimpanan vektor. API tingkat tinggi memungkinkan pemula untuk mengimpor dan mengkueri data dalam beberapa baris kode, sementara API tingkat rendah mengekspos konektor data, indeks, pengambil, mesin kueri, dan modul peringkat ulang untuk kustomisasi lanjutan. LlamaIndex juga terintegrasi dengan kerangka kerja luar seperti LangChain, Flask, atau Docker daripada mengharuskan semuanya berjalan melalui itu sendiri.
Perusahaan di balik LlamaIndex telah mengalihkan fokus utamanya sejak peluncuran kerangka kerja ini pada tahun 2023. Produk utama saat ini adalah LlamaParse, sebuah platform perusahaan terpisah untuk pemrosesan dokumen agen, OCR, dan ekstraksi terstruktur, bersama dengan parser ringan gratis bernama LiteParse dan upaya benchmarking terbuka (ParseBench dan ExtractBench) untuk kualitas pemrosesan dan ekstraksi. LlamaParse dapat digunakan bersama dengan kerangka kerja LlamaIndex atau secara mandiri. Kerangka kerja sumber terbuka itu sendiri tetap tersedia dan dikelola sebagai toolkit untuk pengembang yang membangun aplikasi pengambilan dan agen.
Repositori dirilis di bawah lisensi MIT dan telah menarik lebih dari 52.000 bintang GitHub dan lebih dari 8.000 fork, menjadikannya salah satu alat sumber terbuka yang lebih banyak digunakan untuk menghubungkan LLM dengan data eksternal.
- KategoriMachine Learning & Ilmu Data
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Fitur Inti LlamaIndex
Konektor data untuk mengimpor API, PDF, dokumen lain, dan basis data SQL
Indeks dan struktur grafik untuk mengorganisir data yang diimpor untuk penggunaan LLM
Antarmuka pengambilan dan kueri yang memberikan konteks relevan ke dalam prompt LLM
API tingkat tinggi untuk pipeline pengimporan dan kueri dasar dalam beberapa baris kode
API tingkat rendah untuk menyesuaikan konektor data, indeks, pengambil, mesin kueri, dan modul peringkat ulang
Lebih dari 300 paket integrasi untuk berbagai penyedia LLM, embedding, dan penyimpanan vektor
Interoperasi dengan kerangka kerja luar seperti LangChain, Flask, dan Docker
Pasangan opsional dengan LlamaParse, platform pemrosesan dan ekstraksi dokumen agen terpisah dari perusahaan
Lisensi MIT, dengan lebih dari 52.000 bintang GitHub dan lebih dari 8.000 fork
Memulai dengan LlamaIndex
Instal: jalankan pip install llama-index untuk paket pemula, atau llama-index-core ditambah integrasi yang dipilih untuk pengaturan kustom.
Hubungkan data Anda: gunakan konektor data untuk memuat dokumen, API, atau basis data.
Bangun indeks: susun data yang diimpor menjadi indeks atau grafik.
Kueri: kirim prompt melalui antarmuka pengambilan untuk mendapatkan jawaban yang didasarkan pada data tersebut.
Kasus Penggunaan LlamaIndex
- Generasi yang ditingkatkan pengambilan
- Pipeline data kustom
- Aplikasi agen
- Pemrosesan dan ekstraksi dokumen
