Beschreibung
Spikee, entwickelt von Reversec, ist ein einfaches Prompt Injection Kit zur Bewertung und Ausnutzung. Es wurde entwickelt, um die Anfälligkeit von großen Sprachmodellen (LLMs) und deren Anwendungen gegenüber gezielten Prompt Injection-Angriffen zu bewerten. Im Gegensatz zu bestehenden Tools, die sich auf generische Jailbreak-Szenarien konzentrieren, priorisiert Spikee Cybersecurity-Bedrohungen wie Datenexfiltration, Cross-Site-Scripting (XSS) und Ressourcenerschöpfung. Diese Szenarien basieren auf realen Ergebnissen und Pentesting-Praktiken.
Weiterlesen
Spikee bietet ein praktisches Tool für Tester, um anpassbare Datensätze zu generieren, statische Evasion-Plugins oder dynamische Angriffsstrategien anzuwenden und Ziele einschließlich LLMs, Guardrails und ganzer Anwendungen zu testen. Es integriert sich mit Tools wie Burp Suite, sodass Benutzer Ergebnisse und falsch-positive Raten für Guardrails analysieren können.
Das Tool kann im gesamten Sicherheitsprozess von LLM-Anwendungen angewendet werden, um die Widerstandsfähigkeit gegen Prompt Injection-Angriffe zu bewerten und zu verbessern. Zu den wichtigsten Anwendungsfällen gehören das Testen von LLMs in Isolation, die Verwendung von benutzerdefinierten Datensätzen, die Bewertung einzelner Guardrails und die Beurteilung der gesamten LLM-gesteuerten Anwendungs-Pipeline.
Spikees v0.2 fügt Unterstützung für dynamische Angriffsstrategien und ein flexibles Bewertungssystem zur Beurteilung des Angriffserfolgs hinzu. Es bietet auch detaillierte Anweisungen zur Einrichtung und Nutzung, einschließlich der Datensatzgenerierung, Zieltests und Ergebnisanalyse. Benutzer können Datensätze aus Seeds generieren, sie mit Plugins und Filtern anpassen und Tests gegen Ziele wie GPT-4o mit dynamischen Angriffen durchführen.
Zukünftige Entwicklungen für Spikee umfassen die Integration mit Pentester-Tools, die Ermöglichung von Vision-Angriffen, die Verbesserung des Bewertungssystems und die Erweiterung der Bibliotheken mit neuen Jailbreaks und Angriffstechniken. Beiträge aus der Community sind willkommen, um das Tool basierend auf neuen Forschungen und Feedback weiterzuentwickeln.
- KategorieKI-Cybersicherheits-Tools
- BereitstellungCloud
- PlattformenWeb
Spikee's Kernfunktionen
Anpassbare Datensatzgenerierung
Statische Evasion-Plugins
Dynamische Angriffsstrategien
Integration mit Burp Suite
Analyse von falsch-positiven Guardrail-Ergebnissen
Flexibles Bewertungssystem
Szenarien mit Fokus auf Cybersecurity
Tests basierend auf realen Ergebnissen
Bewertung der Sicherheitspipeline von LLM-Anwendungen
Unterstützung für dynamische Angriffsstrategien
Wie verwendet man Spikee?
Initialisieren: Spikee über PyPI installieren und Arbeitsbereich einrichten
Datensatz generieren: Mit Seeds, Plugins und Filtern anpassen
Ziel testen: Tests gegen LLMs oder Guardrails durchführen
Ergebnisse analysieren: Metriken berechnen und Berichte erstellen
Spikee's Anwendungsfälle
- LLM-Isolationstest
- Testen mit benutzerdefinierten Datensätzen
- Bewertung von Guardrails
- Pipeline-Bewertung
- Analyse von Cybersecurity-Bedrohungen
