Descripción
VeriSpoof es un modelo de lenguaje de audio pionero desarrollado para la forensia avanzada de deepfakes de voz. Proporciona una solución integral para determinar si el habla es un deepfake, identificar el sistema que lo generó, evaluar si dos grabaciones comparten un origen común, analizar los efectos del canal y explicar sus conclusiones de manera transparente y verificable.
Leer más
Este modelo LLM (Modelo de Lenguaje Grande) de audio unificado opera más allá de simples clasificaciones de real o falso, ofreciendo información detallada sobre el origen y la manipulación del audio.
El modelo ha demostrado un rendimiento excepcional, logrando un 2.14% de EER agrupada en 14 conjuntos de Speech-DF-Arena, posicionándose como el detector de peso abierto mejor clasificado. Su arquitectura se basa en un LLM de audio que procesa grabaciones en tokens de enunciado y de marco, que luego son leídos por un modelo MiniCPM5-2B con LoRA. A diferencia de los sistemas tradicionales, VeriSpoof no depende de cabezales de tarea separados; en su lugar, cada respuesta es una oración cuya probabilidad sirve directamente como la puntuación, permitiendo un umbral flexible en cualquier punto operativo.
La fundamentación de VeriSpoof es una fortaleza central, con cada línea de su razonamiento verificada de manera independiente contra mediciones de forma de onda, condiciones registradas, intervalos etiquetados y metadatos del generador. Esto asegura que las observaciones, el estado del canal, la localización de segmentos sintetizados y los perfiles de origen sean rigurosamente validados. El sistema también incorpora entrenamiento contrafactual, donde las decisiones se entrenan para seguir la evidencia declarada, incluso cuando la localización se invierte intencionalmente, asegurando un razonamiento robusto y lógicamente consistente.
Destinado principalmente a la investigación en detección de deepfakes, rastreo de origen y forensia explicable, VeriSpoof proporciona una herramienta poderosa para auditar veredictos de audio. Se recomienda que sus puntuaciones se combinen con otras evidencias y revisiones humanas para decisiones forenses finales. El proyecto incluye tanto un modelo Base como un modelo Plus, siendo VeriSpoof-Plus el que demuestra un rendimiento superior en diversas métricas de evaluación y conjuntos de datos. Los pesos y el código de VeriSpoof se publican bajo una licencia CC BY-NC 4.0, mientras que sus modelos base, MiniCPM5-2B y Qwen3-ASR-1.7B, operan bajo Apache-2.0.
- CategoríaDetectores de contenido de IA
- Modelo de preciosFree (Open-Weight)
- ImplementaciónLocal (Inference Package)
- PlataformasWindows, macOS, Linux
Características principales de VeriSpoof
Detección de Deepfakes de Voz: Identifica si el habla es un deepfake.
Verificación de Origen: Determina qué sistema generó el deepfake.
Atribución de Origen: Establece si dos grabaciones provienen del mismo generador.
Descripción del Canal: Analiza y describe los efectos del canal en el audio.
Decisiones Explicables: Proporciona líneas cortas y verificables que explican sus conclusiones.
Razonamiento Fundamentado: Cada afirmación se verifica contra mediciones de forma de onda y etiquetas de conjunto de datos.
Alta Precisión: Alcanzó un 2.14% de EER agrupada en Speech-DF-Arena, ocupando el puesto #1 entre los detectores de peso abierto.
LLM de Audio Unificado: Un modelo maneja todas las preguntas forenses sin cabezales de tarea separados.
Respuestas Basadas en Puntuaciones: Las respuestas son oraciones cuya probabilidad sirve como la puntuación.
Pruebas Contrafactuales: Permite reemplazar la localización declarada para reevaluar decisiones.
Inferencia Offline: Soporta la ejecución de grabaciones de prueba reales sin conexión.
Modelo de Peso Abierto: Disponible para investigación y desarrollo.
Subtítulos Multilingües: Las demostraciones en video incluyen subtítulos en chino e inglés.
Orientado a la Investigación: Diseñado para la detección de deepfakes, rastreo de origen y forensia explicable.
Veredictos Auditables: Cuatro líneas para un veredicto que puede ser auditado.
¿Cómo usar VeriSpoof?
Entrada de Audio: Proporcionar una única grabación de audio o un par de grabaciones al modelo.
Procesar con LLM: Los componentes de audio convierten la entrada en tokens de enunciado y de marco para el LLM.
Recibir Respuesta en un Paso: Obtener una respuesta inmediata sobre el estado de deepfake o la similitud de origen.
Revisar Razonamiento Fundamentado: Examinar la explicación detallada, línea por línea, de la decisión del modelo.
Verificar Afirmaciones: Comprobar cada afirmación en el razonamiento contra mediciones de forma de onda y etiquetas de conjunto de datos.
Realizar Pruebas Contrafactuales: Opcionalmente, modificar parámetros como la localización y volver a ejecutar el modelo para observar cambios en las decisiones.
Casos de uso de VeriSpoof
- Investigación de Detección de Deepfakes
- Rastreo de Origen de Audio
- Forensia Explicable
- Análisis de Canal de Audio
- Análisis de Voz Sintética
- Evaluación de Detectores de Deepfake








