설명
VeriSpoof는 고급 음성 딥페이크 포렌스를 위해 개발된 선구적인 오디오 언어 모델입니다. 이 모델은 음성이 딥페이크인지 여부를 판단하고, 이를 생성한 시스템을 식별하며, 두 녹음이 공통 출처를 공유하는지 평가하고, 채널 효과를 분석하며, 투명하고 검증 가능한 방식으로 결론을 설명하는 포괄적인 솔루션을 제공합니다.
더 읽기
이 모델은 14개의 Speech-DF-Arena 세트에서 2.14%의 집합 동등 오류율(EER)을 달성하여 최고 순위의 오픈 웨이트 탐지기로 자리 잡았습니다. 그 아키텍처는 녹음을 발화 및 프레임 토큰으로 처리하는 오디오 LLM(대형 언어 모델)을 중심으로 구축되어 있으며, 이는 LoRA가 적용된 MiniCPM5-2B 모델에 의해 읽혀집니다. VeriSpoof는 전통적인 시스템과 달리 별도의 작업 헤드에 의존하지 않으며, 모든 답변은 점수로 직접 작용하는 문장으로, 어떤 운영 지점에서도 유연한 임계값 설정이 가능합니다.
VeriSpoof의 근거는 핵심 강점으로, 각 주장은 파형 측정, 기록된 조건, 레이블이 지정된 범위 및 생성자 메타데이터에 대해 독립적으로 확인됩니다. 이는 관찰, 채널 상태, 합성된 세그먼트의 위치 및 출처 프로필이 철저하게 검증되도록 보장합니다. 이 시스템은 또한 반사실 훈련을 통합하여, 결정이 명시된 증거를 따르도록 훈련되며, 위치가 의도적으로 반전되더라도 강력하고 논리적으로 일관된 추론을 보장합니다.
주로 딥페이크 탐지, 출처 추적 및 설명 가능한 포렌스를 위한 연구를 목적으로 하는 VeriSpoof는 오디오 판결을 감사하는 강력한 도구를 제공합니다. 최종 포렌식 결정을 위해서는 다른 증거 및 인간 검토와 함께 점수를 결합하는 것이 권장됩니다. 이 프로젝트는 Base 모델과 Plus 모델을 포함하며, VeriSpoof-Plus는 다양한 평가 메트릭 및 데이터 세트에서 우수한 성능을 보여줍니다. VeriSpoof의 가중치와 코드는 CC BY-NC 4.0 라이센스 하에 공개되며, 기본 모델인 MiniCPM5-2B 및 Qwen3-ASR-1.7B는 Apache-2.0 하에 운영됩니다.
- 카테고리AI 콘텐츠 탐지기
- 요금제Free (Open-Weight)
- 배포Local (Inference Package)
- 플랫폼Windows, macOS, Linux
VeriSpoof의 핵심 기능
음성 딥페이크 탐지: 음성이 딥페이크인지 여부를 식별합니다.
출처 검증: 딥페이크를 생성한 시스템을 결정합니다.
출처 귀속: 두 녹음이 동일한 생성기에서 유래했는지 확인합니다.
채널 설명: 오디오에 대한 채널 효과를 분석하고 설명합니다.
설명 가능한 결정: 결론을 설명하는 짧고 검증 가능한 문장을 제공합니다.
근거 있는 논리: 각 주장은 파형 측정 및 데이터 세트 레이블에 대해 확인됩니다.
높은 정확도: Speech-DF-Arena에서 2.14%의 집합 EER을 달성하여 오픈 웨이트 탐지기 중 1위를 차지했습니다.
통합 오디오 LLM: 하나의 모델이 별도의 작업 헤드 없이 모든 포렌식 질문을 처리합니다.
점수 기반 답변: 답변은 점수로 작용하는 가능성을 가진 문장입니다.
반사실 테스트: 명시된 위치를 변경하여 결정을 재평가할 수 있습니다.
오프라인 추론: 실제 테스트 녹음을 오프라인에서 실행할 수 있습니다.
오픈 웨이트 모델: 연구 및 개발을 위해 제공됩니다.
다국어 자막: 영화 시연에는 중국어 및 영어 자막이 포함됩니다.
연구 지향: 딥페이크 탐지, 출처 추적 및 설명 가능한 포렌스 연구를 위해 설계되었습니다.
감사 가능한 판결: 감사할 수 있는 판결을 위한 네 줄의 설명을 제공합니다.
VeriSpoof 사용 방법은?
오디오 입력: 모델에 단일 오디오 녹음 또는 녹음 쌍을 제공합니다.
LLM으로 처리: 오디오 구성 요소가 입력을 발화 및 프레임 토큰으로 변환합니다.
즉시 답변 받기: 딥페이크 상태 또는 출처 유사성에 대한 즉각적인 답변을 얻습니다.
근거 있는 논리 검토: 모델의 결정에 대한 자세한 설명을 한 줄씩 검토합니다.
주장 검증: 근거의 각 주장을 파형 측정 및 데이터 세트 레이블에 대해 확인합니다.
반사실 테스트 수행: 선택적으로 위치와 같은 매개변수를 수정하고 모델을 재실행하여 결정 변화를 관찰합니다.
VeriSpoof의 사용 사례
- 딥페이크 탐지 연구
- 오디오 출처 추적
- 설명 가능한 포렌스
- 오디오 채널 분석
- 합성 음성 분석
- 딥페이크 탐지기 벤치마킹








