설명
Spikee는 Reversec에서 개발한 평가 및 악용을 위한 간단한 프롬프트 인젝션 키트입니다. 이는 대형 언어 모델(LLM)과 그 애플리케이션이 목표로 하는 프롬프트 인젝션 공격에 얼마나 취약한지를 평가하기 위해 설계되었습니다. 기존 도구들이 일반적인 탈옥 시나리오에 초점을 맞추는 것과 달리, Spikee는 데이터 유출, 크로스 사이트 스크립팅(XSS), 자원 고갈과 같은 사이버 보안 위협을 우선시합니다. 이러한 시나리오는 실제 결과와 침투 테스트 관행을 기반으로 합니다.
Spikee는 테스터가 사용자 정의 가능한 데이터 세트를 생성하고, 정적 회피 플러그인 또는 동적 공격 전략을 적용하며, LLM, 가드레일 및 전체 애플리케이션을 포함한 대상을 테스트할 수 있는 실용적인 도구를 제공합니다. Burp Suite와 같은 도구와 통합되어 사용자가 가드레일에 대한 결과 및 허위 긍정 비율을 분석할 수 있도록 합니다.
이 도구는 LLM 애플리케이션 보안 파이프라인 전반에 걸쳐 프롬프트 인젝션 공격에 대한 저항력을 평가하고 향상시키는 데 적용될 수 있습니다. 주요 사용 사례에는 LLM을 독립적으로 테스트하고, 사용자 정의 데이터 세트를 사용하며, 개별 가드레일을 평가하고, 전체 LLM 기반 애플리케이션 파이프라인을 평가하는 것이 포함됩니다.
Spikee의 v0.2는 동적 공격 전략과 공격 성공을 평가하기 위한 유연한 판단 시스템을 지원합니다. 또한 데이터 세트 생성, 대상 테스트 및 결과 분석을 포함한 자세한 설정 및 사용 지침을 제공합니다. 사용자는 시드에서 데이터 세트를 생성하고, 플러그인 및 필터로 사용자 정의하며, 동적 공격을 사용하여 GPT-4o와 같은 대상을 테스트할 수 있습니다.
Spikee의 향후 개발에는 침투 테스트 도구와의 통합, 비전 공격 활성화, 판단 시스템 개선, 새로운 탈옥 및 공격 기술로 라이브러리 확장이 포함됩니다. 커뮤니티의 기여를 환영하여 새로운 연구 및 피드백에 기반하여 도구를 발전시키는 데 도움을 주시기 바랍니다.
Spikee의 핵심 기능
사용자 정의 가능한 데이터 세트 생성
정적 회피 플러그인
동적 공격 전략
Burp Suite와의 통합
가드레일 허위 긍정 분석
유연한 판단 시스템
사이버 보안 중심 시나리오
실제 결과 기반 테스트
LLM 애플리케이션 보안 파이프라인 평가
동적 공격 전략 지원
Spikee 사용 방법은?
초기화: PyPI를 통해 Spikee를 설치하고 작업 공간을 설정합니다.
데이터 세트 생성: 시드, 플러그인 및 필터로 사용자 정의합니다.
대상 테스트: LLM 또는 가드레일에 대해 테스트를 실행합니다.
결과 분석: 메트릭을 계산하고 보고서를 생성합니다.
Spikee의 사용 사례
- LLM 독립 테스트
- 사용자 정의 데이터 세트 테스트
- 가드레일 평가
- 파이프라인 평가
- 사이버 보안 위협 분석
