Description
LMQL, ou Langage de Requête de Modèle de Langage, est un langage de programmation spécialisé développé pour interagir avec de grands modèles de langage (LLMs). Créé par le SRI Lab à l'ETH Zurich et des contributeurs, LMQL fournit un cadre robuste et modulaire pour l'invite LLM. Il utilise des types, des modèles, des contraintes et un runtime optimisé pour rationaliser le processus de construction et d'exécution des requêtes.
Lire la suite
Une des caractéristiques clés de LMQL est son support pour les requêtes imbriquées, qui introduit la programmation procédurale dans le domaine de l'invite. Cela permet des instructions locales modulaires et la réutilisation des composants d'invite, améliorant la flexibilité et la réutilisabilité du code. La conception de LMQL garantit que le code LLM est portable à travers plusieurs backends, y compris llama.cpp, OpenAI et Transformers, permettant aux utilisateurs de passer de l'un à l'autre avec une seule ligne de code.
La construction et la génération d'invites de LMQL sont mises en œuvre à travers un flux de contrôle Python expressif et une interpolation de chaînes. Cette approche permet la création d'invites complexes qui peuvent inclure un flux de contrôle et un comportement de branchement, offrant un haut degré de personnalisation dans la manière dont les invites sont construites et exécutées.
Le langage prend également en charge des clauses de contrainte, qui permettent aux utilisateurs de spécifier des contraintes logiques et de haut niveau sur la sortie. Ces contraintes sont automatiquement traduites en contraintes au niveau des caractères qui peuvent être appliquées lors de la génération de texte, garantissant que la sortie respecte les exigences spécifiées.
LMQL est conçu pour les développeurs et les chercheurs qui ont besoin d'interagir avec les LLM de manière structurée et efficace. Il fournit un ensemble d'outils puissant pour créer et gérer des requêtes LLM, en faisant une ressource inestimable pour ceux qui travaillent dans des domaines nécessitant des interactions avancées avec les modèles de langage.
- CatégoriePlateformes de machine learning
- Modèle tarifaireFreemium
- DéploiementLocal, basé sur le web
- Plateformesllama.cpp, OpenAI, Transformers
Fonctionnalités principales de Langage de Programmation LMQL
Invites LLM robustes
Conception de requêtes modulaires
Support des requêtes imbriquées
Portable à travers les backends
Flux de contrôle Python expressif
Interpolation de chaînes pour les invites
Clauses de contrainte de haut niveau
Runtime optimisé
Comment utiliser Langage de Programmation LMQL ?
Installer : Configurez LMQL localement ou utilisez l'IDE Playground basé sur le web
Écrire une requête : Créez une simple déclaration d'invite avec des contraintes
Étendre : Ajoutez une logique complexe et différents algorithmes de décodage
Explorer : Utilisez des exemples dans l'IDE Playground pour vous inspirer
Cas d'utilisation de Langage de Programmation LMQL
- Interaction LLM
- Optimisation des Invites
- Portabilité des Backends
- Application des Contraintes
- Invites Procédurales
