Langroid

Deskripsi

Langroid adalah framework Python yang intuitif, ringan, dan dapat diperluas yang dirancang untuk menyederhanakan pengembangan aplikasi bertenaga Large Language Model (LLM). Framework ini beroperasi pada paradigma pemrograman multi-agen, terinspirasi oleh Actor Framework, di mana pengembang mendefinisikan agen, melengkapinya dengan komponen seperti LLM, penyimpanan vektor, dan alat, lalu mengorkestrasi pemecahan masalah kolaboratif mereka melalui pertukaran pesan.

Abstraksi inti di Langroid adalah `Agent`, yang mengenkapsulasi status percakapan LLM dan dapat diperkaya dengan penyimpanan vektor dan alat. Agen bertindak sebagai transformer pesan, dengan metode responder default untuk interaksi LLM, Agen, dan Pengguna. Kelas `Task` membungkus `Agent`, menyediakan instruksi, mengelola iterasi, dan mengorkestrasi interaksi multi-agen melalui delegasi hierarkis. Desain modular ini mendorong penggunaan kembali dan keterkaitan yang longgar.

Langroid mendukung berbagai macam LLM, termasuk model OpenAI dan model dari ratusan penyedia lain (lokal/terbuka atau jarak jauh/komersial) melalui pustaka proxy dan server model lokal seperti Ollama dan LiteLLM, sering kali meniru API OpenAI. Framework ini terintegrasi dengan berbagai penyimpanan vektor seperti Qdrant, Chroma, LanceDB, Pinecone, dan PGVector, memungkinkan Retrieval-Augmented-Generation (RAG) untuk pembumian dan kutipan sumber. Framework ini juga menampilkan dukungan yang kuat untuk alat/plugin/pemanggilan fungsi, memanfaatkan Pydantic untuk definisi skema dan penanganan kesalahan yang disederhanakan.

Kemampuan utama meliputi kolaborasi multi-agen, ekstraksi informasi terstruktur, obrolan dokumen (RAG) dengan kutipan sumber, dan obrolan dengan data tabular. Langroid menekankan pengalaman pengembang, menawarkan fitur seperti caching respons LLM, observabilitas, pencatatan, dan pelacakan garis keturunan pesan. Framework ini dikembangkan secara aktif dengan pembaruan yang sering dan komunitas yang berkembang, menjadikannya pilihan yang kuat untuk membangun aplikasi LLM yang canggih.

Fitur Inti Langroid

• Paradigma pemrograman multi-agen untuk aplikasi LLM

• Abstraksi Agen dan Tugas untuk mengorkestrasi interaksi LLM

• Dukungan untuk berbagai macam LLM, termasuk model lokal dan proprietary

• Integrasi dengan berbagai penyimpanan vektor untuk kemampuan RAG

• Dukungan Alat/Plugin/Pemanggilan Fungsi menggunakan Pydantic

• Obrolan dokumen (RAG) dengan kutipan sumber

• Obrolan dengan data tabular menggunakan pembuatan kode Pandas

• Caching respons LLM

• Observabilitas, pencatatan, dan pelacakan garis keturunan pesan

• Framework Python yang dapat diperluas dan ringan

Memulai dengan Langroid

1. 1

   Kloning repositori: Dapatkan basis kode Langroid dari GitHub.

2. 2

   Instal dependensi: Siapkan lingkungan virtual dan instal Langroid dengan tambahan yang diperlukan.

3. 3

   Konfigurasi variabel lingkungan: Siapkan kunci API dan kredensial lain yang diperlukan.

4. 4

   Kembangkan agen: Definisikan agen dengan LLM, penyimpanan vektor, dan alat.

5. 5

   Orkestrasi tugas: Gunakan kelas Task untuk mengelola interaksi agen dan alur kerja.

6. 6

   Jalankan aplikasi: Jalankan aplikasi bertenaga LLM Anda.

Kasus Penggunaan Langroid

• Kolaborasi multi-agen
• Ekstraksi informasi
• Tanya Jawab Dokumen
• Analisis data
• Pembuatan kode
• Sistem RAG

FAQ dari Langroid

• Apa itu Langroid?

  Langroid adalah framework Python untuk membangun aplikasi bertenaga LLM menggunakan paradigma pemrograman multi-agen, memungkinkan agen untuk berkolaborasi melalui pertukaran pesan.

• Apa saja komponen inti Langroid?

  Komponen intinya adalah Agen, yang mengenkapsulasi interaksi dan status LLM, dan Tugas, yang mengorkestrasi perilaku agen dan kolaborasi multi-agen.

• LLM apa saja yang didukung Langroid?

  Langroid mendukung LLM OpenAI dan terintegrasi dengan ratusan penyedia lain, termasuk model lokal melalui server seperti Ollama dan LiteLLM.

• Bagaimana Langroid menangani pengambilan data?

  Langroid mendukung Retrieval-Augmented-Generation (RAG) dengan berintegrasi dengan berbagai penyimpanan vektor seperti Qdrant, Chroma, dan LanceDB.

• Bisakah agen Langroid menggunakan alat atau fungsi eksternal?

  Ya, Langroid mendukung alat/plugin/pemanggilan fungsi, memanfaatkan Pydantic untuk kemudahan definisi dan integrasi.

• Apa manfaat menggunakan Langroid untuk aplikasi LLM?

  Langroid menyederhanakan pengembangan aplikasi LLM dengan menyediakan framework multi-agen yang terstruktur, mendorong modularitas, penggunaan kembali, dan orkestrasi interaksi LLM yang kompleks dengan lebih mudah.

• Bagaimana cara saya mengobrol dengan dokumen saya menggunakan Langroid?

  Langroid menyediakan `DocChatAgent` khusus yang menangani penyerapan dokumen, penyematan, penyimpanan vektor, dan tanya jawab yang ditingkatkan pengambilan.

• Apakah Langroid mendukung LLM lokal?

  Ya, Langroid mendukung LLM lokal yang disajikan melalui API yang kompatibel, seperti yang disediakan oleh Ollama.

• Apa peran Tugas dalam Langroid?

  Tugas membungkus Agen, memberikan instruksi, mengelola respons agen, dan mengorkestrasi interaksi multi-agen melalui delegasi hierarkis.

• Bagaimana Langroid memastikan pembumian dan kutipan sumber?

  Dengan berintegrasi dengan penyimpanan vektor untuk RAG, Langroid dapat mengambil informasi yang relevan dari dokumen eksternal dan mengutip sumber yang digunakan dalam responsnya.