Description
Revalvo est un banc d'évaluation local-first conçu pour évaluer les grands modèles de langage (LLMs) en exécutant des invites sur plusieurs modèles simultanément. Il fournit un environnement complet où les utilisateurs peuvent écrire, exécuter, versionner et évaluer des invites avant qu'elles n'atteignent la production. Contrairement aux interfaces de chat traditionnelles, Revalvo offre un contrôle total sur les invites, les modèles et les variables, garantissant transparence et traçabilité avec des scores, des différences et un historique des versions.
La plateforme n'est pas un SaaS typique ; elle ne nécessite pas de création de compte, et toutes les données restent dans le navigateur de l'utilisateur, garantissant la confidentialité et la sécurité. Les utilisateurs peuvent connecter leurs fournisseurs en utilisant des clés, OAuth ou des environnements d'exécution locaux, et créer des espaces de travail séparés pour chaque fournisseur. La fonctionnalité de terrain de jeu permet aux utilisateurs d'écrire une fois et d'exécuter partout, avec des modèles répondant à la même invite en parallèle, fournissant des métriques telles que la latence, les tokens et le coût par réponse.
Le système de contrôle de version de Revalvo traite les invites comme du code, avec des instantanés immuables, un historique des versions de style Git et la possibilité de revenir à n'importe quelle version précédente. Les utilisateurs peuvent exporter des versions sous forme de snippets API ou d'invites d'agent et dupliquer des invites à travers les espaces de travail pour de nouvelles évaluations.
La plateforme prend en charge les tests à grande échelle avec des ensembles de données, offrant 40 évaluateurs exécutables par lot pour la structure, le jugement AI, la performance et la sécurité. Les rapports générés à partir des exécutions par lot incluent des taux de réussite, de latence et de coût par modèle, fournissant un reçu détaillé de la préparation à l'expédition.
Revalvo est optimisé pour l'efficacité, avec des valeurs par défaut réfléchies et un temps de configuration minimal. Il équilibre la rapidité des terrains de jeu de chat avec la rigueur des plateformes d'évaluation complètes, le rendant adapté tant aux utilisateurs novices qu'aux ingénieurs d'invites expérimentés.
Fonctionnalités principales de Revalvo
Évaluation LLM local-first
Scoring en temps réel et contrôle de version
Aucun compte requis
Transparence totale avec scores et différences
Connexion via clés, OAuth ou environnements d'exécution locaux
Évaluation des réponses des modèles en parallèle
Historique des versions de style Git
Tests par lot avec 40 évaluateurs
Comment utiliser Revalvo ?
Configurer : Connectez votre fournisseur en utilisant des clés ou OAuth
Utiliser : Exécutez des invites sur plusieurs modèles en parallèle
Optimiser : Enregistrez et versionnez vos invites avec un historique de style Git
Tester : Exécutez des tests par lot avec des ensembles de données et des évaluateurs
Cas d'utilisation de Revalvo
- Évaluation des Invites
- Contrôle de Version
- Tests par Lot
- Comparaison de Modèles
- Confidentialité des Données
