Descrição
VeriSpoof é um modelo de linguagem de áudio pioneiro desenvolvido para forense avançada de deepfake de fala. Ele fornece uma solução abrangente para determinar se a fala é um deepfake, identificando o sistema que o gerou, avaliando se duas gravações compartilham uma origem comum, analisando os efeitos do canal e explicando suas conclusões de maneira transparente e verificável.
Ler mais
Este único LLM de áudio (Modelo de Linguagem Grande) opera além de simples classificações de real ou falso, oferecendo insights detalhados sobre a origem e manipulação do áudio.
O modelo demonstrou desempenho excepcional, alcançando uma taxa de erro igual (EER) de 2,14% em 14 conjuntos do Speech-DF-Arena, posicionando-o como o detector de peso aberto mais bem classificado. Sua arquitetura é construída em torno de um LLM de áudio que processa gravações em tokens de enunciado e quadro, que são então lidos por um modelo MiniCPM5-2B com LoRA. Ao contrário dos sistemas tradicionais, o VeriSpoof não depende de cabeçotes de tarefa separados; em vez disso, cada resposta é uma frase cuja probabilidade serve diretamente como a pontuação, permitindo uma flexibilidade de limiar em qualquer ponto de operação.
A fundamentação do VeriSpoof é uma força central, com cada linha de sua justificativa verificada independentemente contra medições de forma de onda, condições registradas, intervalos rotulados e metadados do gerador. Isso garante que as observações, o status do canal, a localização de segmentos sintetizados e os perfis de origem sejam rigorosamente validados. O sistema também incorpora treinamento contrafactual, onde as decisões são treinadas para seguir as evidências declaradas, mesmo quando a localização é intencionalmente revertida, garantindo um raciocínio robusto e logicamente consistente.
Destinado principalmente à pesquisa em detecção de deepfake, rastreamento de origem e forense explicável, o VeriSpoof fornece uma ferramenta poderosa para auditoria de veredictos de áudio. Recomenda-se que suas pontuações sejam combinadas com outras evidências e revisão humana para decisões forenses finais. O projeto inclui tanto um modelo Base quanto um Plus, com o VeriSpoof-Plus demonstrando desempenho superior em várias métricas de avaliação e conjuntos de dados. Os pesos e o código do VeriSpoof são liberados sob uma licença CC BY-NC 4.0, enquanto seus modelos base, MiniCPM5-2B e Qwen3-ASR-1.7B, operam sob Apache-2.0.
- CategoriaDetectores de conteúdo de IA
- Modelo de preçosFree (Open-Weight)
- ImplantaçãoLocal (Inference Package)
- PlataformasWindows, macOS, Linux
Recursos principais de VeriSpoof
Detecção de Deepfake de Fala: Identifica se a fala é um deepfake.
Verificação de Origem: Determina qual sistema gerou o deepfake.
Atribuição de Origem: Verifica se duas gravações se originam do mesmo gerador.
Descrição do Canal: Analisa e descreve os efeitos do canal no áudio.
Decisões Explicáveis: Fornece linhas curtas e verificáveis explicando suas conclusões.
Justificativa Fundamentada: Cada afirmação é verificada contra medições de forma de onda e rótulos de conjunto de dados.
Alta Precisão: Alcançou 2,14% de EER em Speech-DF-Arena, classificando-se em 1º lugar entre os detectores de peso aberto.
LLM de Áudio Unificado: Um modelo lida com todas as questões forenses sem cabeçotes de tarefa separados.
Respostas Baseadas em Pontuação: As respostas são frases cuja probabilidade serve como a pontuação.
Teste Contrafactual: Permite substituir a localização declarada para reavaliar decisões.
Inferência Offline: Suporta a execução de gravações de teste reais offline.
Modelo de Peso Aberto: Disponível para pesquisa e desenvolvimento.
Legendas Multilíngues: Demonstrações em filme incluem legendas em chinês e inglês.
Orientado para Pesquisa: Projetado para detecção de deepfake, rastreamento de origem e pesquisa forense explicável.
Veredictos Auditáveis: Quatro linhas para um veredicto que pode ser auditado.
Como usar VeriSpoof?
Entrada de Áudio: Forneça uma única gravação de áudio ou um par de gravações ao modelo.
Processar com LLM: Os componentes de áudio convertem a entrada em tokens de enunciado e quadro para o LLM.
Receber Resposta em Uma Etapa: Obtenha uma resposta imediata sobre o status de deepfake ou similaridade de origem.
Revisar Justificativa Fundamentada: Examine a explicação detalhada, linha por linha, para a decisão do modelo.
Verificar Afirmações: Verifique cada afirmação na justificativa contra medições de forma de onda e rótulos de conjunto de dados.
Realizar Testes Contrafactuais: Opcionalmente, modifique parâmetros como localização e reexecute o modelo para observar mudanças nas decisões.
Casos de uso de VeriSpoof
- Pesquisa em Detecção de Deepfake
- Rastreamento de Fonte de Áudio
- Forense Explicável
- Análise de Canal de Áudio
- Análise de Fala Sintética
- Benchmarking de Detectores de Deepfake








