説明
Spikeeは、Reversecによって開発された評価と悪用のためのシンプルなプロンプトインジェクションキットです。これは、大規模言語モデル（LLM）とそのアプリケーションがターゲットプロンプトインジェクション攻撃に対してどれほど脆弱であるかを評価するために設計されています。一般的な脱獄シナリオに焦点を当てた既存のツールとは異なり、Spikeeはデータ流出、クロスサイトスクリプティング（XSS）、リソース枯渇などのサイバーセキュリティ脅威を優先します。これらのシナリオは、実際の結果とペンテストの実践に基づいています。
Spikeeは、テスターがカスタマイズ可能なデータセットを生成し、静的回避プラグインや動的攻撃戦略を適用し、LLM、ガードレール、全体のアプリケーションを含むターゲットをテストするための実用的なツールを提供します。Burp Suiteなどのツールと統合されており、ユーザーはガードレールの結果と誤検知率を分析できます。
このツールは、プロンプトインジェクション攻撃に対する耐性を評価し、強化するためにLLMアプリケーションセキュリティパイプライン全体に適用できます。主なユースケースには、LLMの単独テスト、カスタムデータセットの使用、個々のガードレールの評価、全体のLLM駆動アプリケーションパイプラインの評価が含まれます。
Spikeeのv0.2は、動的攻撃戦略と攻撃成功を評価するための柔軟なジャッジシステムのサポートを追加しました。また、データセット生成、ターゲットテスト、結果分析を含む詳細なセットアップと使用手順を提供します。ユーザーはシードからデータセットを生成し、プラグインやフィルターでカスタマイズし、動的攻撃を使用してGPT-4oなどのターゲットに対してテストを実行できます。
Spikeeの今後の開発には、ペンテスター用ツールとの統合、ビジョン攻撃の有効化、ジャッジシステムの改善、新しい脱獄や攻撃技術を持つライブラリの拡張が含まれます。コミュニティからの貢献は、出現する研究やフィードバックに基づいてツールを進化させるために歓迎されます。
Spikeeの主要機能
カスタマイズ可能なデータセット生成
静的回避プラグイン
動的攻撃戦略
Burp Suiteとの統合
ガードレールの誤検知分析
柔軟なジャッジシステム
サイバーセキュリティに焦点を当てたシナリオ
実世界の結果に基づくテスト
LLMアプリケーションセキュリティパイプラインの評価
動的攻撃戦略のサポート
Spikeeの使い方は？
初期設定: PyPIからSpikeeをインストールし、ワークスペースを設定します
データセット生成: シード、プラグイン、フィルターでカスタマイズします
ターゲットテスト: LLMまたはガードレールに対してテストを実行します
結果分析: メトリクスを計算し、レポートを生成します
Spikeeの使用例
- LLM単独テスト
- カスタムデータセットテスト
- ガードレール評価
- パイプライン評価
- サイバーセキュリティ脅威分析
