Description
Spikee, développé par Reversec, est un Kit d'Injection de Prompt Simple pour l'Évaluation et l'Exploitation. Il est conçu pour évaluer la susceptibilité des grands modèles de langage (LLM) et de leurs applications aux attaques ciblées par injection de prompt. Contrairement aux outils existants qui se concentrent sur des scénarios de jailbreak génériques, Spikee privilégie les menaces en cybersécurité telles que l'exfiltration de données, le cross-site scripting (XSS) et l'épuisement des ressources. Ces scénarios sont basés sur des résultats du monde réel et des pratiques de pentesting.
Spikee fournit un outil pratique pour les testeurs afin de générer des ensembles de données personnalisables, d'appliquer des plugins d'évasion statiques ou des stratégies d'attaque dynamiques, et de tester des cibles incluant des LLM, des garde-fous et des applications entières. Il s'intègre avec des outils comme Burp Suite, permettant aux utilisateurs d'analyser les résultats et les taux de faux positifs pour les garde-fous.
L'outil peut être appliqué à travers le pipeline de sécurité des applications LLM pour évaluer et améliorer la résilience contre les attaques par injection de prompt. Les cas d'utilisation clés incluent le test des LLM en isolation, l'utilisation d'ensembles de données personnalisés, l'évaluation des garde-fous individuels et l'évaluation de l'ensemble du pipeline d'application piloté par LLM.
La version v0.2 de Spikee ajoute le support pour des stratégies d'attaque dynamiques et un système de jugement flexible pour évaluer le succès des attaques. Il offre également des instructions détaillées de configuration et d'utilisation, y compris la génération d'ensembles de données, le test des cibles et l'analyse des résultats. Les utilisateurs peuvent générer des ensembles de données à partir de graines, les personnaliser avec des plugins et des filtres, et exécuter des tests contre des cibles comme GPT-4o en utilisant des attaques dynamiques.
Les développements futurs pour Spikee incluent l'intégration avec des outils de pentesting, l'activation d'attaques visuelles, l'amélioration du système de jugement, et l'expansion des bibliothèques avec de nouveaux jailbreaks et techniques d'attaque. Les contributions de la communauté sont les bienvenues pour aider à faire évoluer l'outil en fonction des recherches émergentes et des retours.
Fonctionnalités principales de Spikee
Génération d'ensembles de données personnalisables
Plugins d'évasion statiques
Stratégies d'attaque dynamiques
Intégration avec Burp Suite
Analyse des faux positifs des garde-fous
Système de jugement flexible
Scénarios axés sur la cybersécurité
Tests basés sur des résultats du monde réel
Évaluation du pipeline de sécurité des applications LLM
Support pour des stratégies d'attaque dynamiques
Comment utiliser Spikee ?
Initialiser : Installer Spikee via PyPI et configurer l'espace de travail
Générer un ensemble de données : Personnaliser avec des graines, des plugins et des filtres
Tester la cible : Exécuter des tests contre des LLM ou des garde-fous
Analyser les résultats : Calculer des métriques et générer des rapports
Cas d'utilisation de Spikee
- Test d'Isolement des LLM
- Test d'Ensemble de Données Personnalisé
- Évaluation des Garde-fous
- Évaluation du Pipeline
- Analyse des Menaces en Cybersécurité
