Spikee - Prompt Injection Kit

Beschreibung

Spikee, entwickelt von Reversec, ist ein einfaches Prompt Injection Kit zur Bewertung und Ausnutzung. Es wurde entwickelt, um die Anfälligkeit von großen Sprachmodellen (LLMs) und deren Anwendungen gegenüber gezielten Prompt Injection-Angriffen zu bewerten. Im Gegensatz zu bestehenden Tools, die sich auf generische Jailbreak-Szenarien konzentrieren, priorisiert Spikee Cybersecurity-Bedrohungen wie Datenexfiltration, Cross-Site-Scripting (XSS) und Ressourcenerschöpfung. Diese Szenarien basieren auf realen Ergebnissen und Pentesting-Praktiken.

Spikee bietet ein praktisches Tool für Tester, um anpassbare Datensätze zu generieren, statische Evasion-Plugins oder dynamische Angriffsstrategien anzuwenden und Ziele einschließlich LLMs, Guardrails und ganzer Anwendungen zu testen. Es integriert sich mit Tools wie Burp Suite, sodass Benutzer Ergebnisse und falsch-positive Raten für Guardrails analysieren können.

Das Tool kann im gesamten Sicherheitsprozess von LLM-Anwendungen angewendet werden, um die Widerstandsfähigkeit gegen Prompt Injection-Angriffe zu bewerten und zu verbessern. Zu den wichtigsten Anwendungsfällen gehören das Testen von LLMs in Isolation, die Verwendung von benutzerdefinierten Datensätzen, die Bewertung einzelner Guardrails und die Beurteilung der gesamten LLM-gesteuerten Anwendungs-Pipeline.

Spikees v0.2 fügt Unterstützung für dynamische Angriffsstrategien und ein flexibles Bewertungssystem zur Beurteilung des Angriffserfolgs hinzu. Es bietet auch detaillierte Anweisungen zur Einrichtung und Nutzung, einschließlich der Datensatzgenerierung, Zieltests und Ergebnisanalyse. Benutzer können Datensätze aus Seeds generieren, sie mit Plugins und Filtern anpassen und Tests gegen Ziele wie GPT-4o mit dynamischen Angriffen durchführen.

Zukünftige Entwicklungen für Spikee umfassen die Integration mit Pentester-Tools, die Ermöglichung von Vision-Angriffen, die Verbesserung des Bewertungssystems und die Erweiterung der Bibliotheken mit neuen Jailbreaks und Angriffstechniken. Beiträge aus der Community sind willkommen, um das Tool basierend auf neuen Forschungen und Feedback weiterzuentwickeln.

Spikee's Kernfunktionen

• Anpassbare Datensatzgenerierung

• Statische Evasion-Plugins

• Dynamische Angriffsstrategien

• Integration mit Burp Suite

• Analyse von falsch-positiven Guardrail-Ergebnissen

• Flexibles Bewertungssystem

• Szenarien mit Fokus auf Cybersecurity

• Tests basierend auf realen Ergebnissen

• Bewertung der Sicherheitspipeline von LLM-Anwendungen

• Unterstützung für dynamische Angriffsstrategien

Wie verwendet man Spikee?

1. 1

   Initialisieren: Spikee über PyPI installieren und Arbeitsbereich einrichten

2. 2

   Datensatz generieren: Mit Seeds, Plugins und Filtern anpassen

3. 3

   Ziel testen: Tests gegen LLMs oder Guardrails durchführen

4. 4

   Ergebnisse analysieren: Metriken berechnen und Berichte erstellen

Spikee's Anwendungsfälle

• LLM-Isolationstest
• Testen mit benutzerdefinierten Datensätzen
• Bewertung von Guardrails
• Pipeline-Bewertung
• Analyse von Cybersecurity-Bedrohungen

FAQ von Spikee

• Wofür wird Spikee verwendet?

  Spikee wird verwendet, um Verwundbarkeiten in LLM-Anwendungen gegenüber gezielten Prompt Injection-Angriffen zu bewerten und auszunutzen.

• Wie unterscheidet sich Spikee von anderen Tools?

  Spikee konzentriert sich auf Cybersecurity-Bedrohungen wie Datenexfiltration und XSS, im Gegensatz zu Tools, die generische Jailbreaks anvisieren.

• Kann Spikee mit anderen Tools integriert werden?

  Ja, Spikee integriert sich mit Tools wie Burp Suite für umfassende Tests und Analysen.

• Was sind die Hauptmerkmale von Spikee v0.2?

  Spikee v0.2 umfasst dynamische Angriffsstrategien und ein flexibles Bewertungssystem zur Beurteilung des Angriffserfolgs.

• Was sind die Anwendungsfälle für Spikee?

  Anwendungsfälle umfassen das Testen von LLMs in Isolation, das Testen mit benutzerdefinierten Datensätzen, die Bewertung von Guardrails und die Beurteilung der gesamten Pipeline.

• Wie geht Spikee mit falsch-positiven Ergebnissen um?

  Spikee analysiert die falsch-positiven Raten für Guardrails mithilfe harmloser Datensätze.

• Welche zukünftigen Entwicklungen sind für Spikee geplant?

  Zukünftige Pläne umfassen die Integration von Pentester-Tools, Vision-Angriffe, fortgeschrittene Bewertungsmechanismen und die Erweiterung der Bibliotheken.

• Ist Spikee offen für Beiträge aus der Community?

  Ja, Spikee begrüßt Beiträge aus der Community, um das Tool basierend auf Feedback und Forschung weiterzuentwickeln.