Описание
VeriSpoof — это новаторская аудиомодель языка, разработанная для продвинутой судебной экспертизы речевых дипфейков. Она предоставляет комплексное решение для определения, является ли речь дипфейком, идентификации системы, которая его сгенерировала, оценки, имеют ли две записи общий источник, анализа эффектов канала и объяснения своих выводов прозрачным, проверяемым образом.
Читать далее
Эта единая, унифицированная аудиомодель LLM (Large Language Model) работает не только с простыми классификациями «реально» или «фальшиво», но и предлагает детализированные сведения о происхождении и манипуляциях с аудио.
Модель продемонстрировала исключительную производительность, достигнув 2,14% объединенной частоты ошибок (EER) на 14 наборах Speech-DF-Arena, что ставит её на первое место среди детекторов с открытыми весами. Её архитектура построена вокруг аудиомодели LLM, которая обрабатывает записи в токены высказываний и кадров, которые затем считываются моделью MiniCPM5-2B с LoRA. В отличие от традиционных систем, VeriSpoof не полагается на отдельные задачи; вместо этого каждый ответ представляет собой предложение, вероятность которого напрямую служит оценкой, что позволяет гибко устанавливать пороги на любом рабочем уровне.
Основная сила VeriSpoof заключается в её обосновании, где каждая строка её аргументации проверяется независимо на основе измерений формы волны, зарегистрированных условий, помеченных диапазонов и метаданных генератора. Это гарантирует, что наблюдения, статус канала, локализация синтезированных сегментов и профили источников строго валидируются. Система также включает контрфактическое обучение, где решения обучаются следовать заявленным доказательствам, даже когда локализация намеренно изменена, что обеспечивает надежное и логически последовательное рассуждение.
Предназначенная в первую очередь для исследований в области обнаружения дипфейков, отслеживания источников и объяснимой судебной экспертизы, VeriSpoof предоставляет мощный инструмент для аудита аудиовынесений. Рекомендуется комбинировать её оценки с другими доказательствами и человеческой проверкой для окончательных судебных решений. Проект включает как базовую, так и расширенную модели, при этом VeriSpoof-Plus демонстрирует превосходные результаты по различным оценочным метрикам и наборам данных. Веса и код для VeriSpoof выпущены под лицензией CC BY-NC 4.0, в то время как её базовые модели, MiniCPM5-2B и Qwen3-ASR-1.7B, работают под Apache-2.0.
- КатегорияДетекторы AI-контента
- Модель ценообразованияFree (Open-Weight)
- РазвёртываниеLocal (Inference Package)
- ПлатформыWindows, macOS, Linux
Основные функции VeriSpoof
Обнаружение речевых дипфейков: Определяет, является ли речь дипфейком.
Проверка источника: Устанавливает, какая система сгенерировала дипфейк.
Атрибуция источника: Определяет, имеют ли две записи общий генератор.
Описание канала: Анализирует и описывает эффекты канала на аудио.
Объяснимые решения: Предоставляет короткие, проверяемые строки, объясняющие свои выводы.
Обоснованная аргументация: Каждое утверждение проверяется на основе измерений формы волны и меток набора данных.
Высокая точность: Достигнуто 2,14% объединенной EER на Speech-DF-Arena, занимая 1-е место среди детекторов с открытыми весами.
Унифицированная аудиомодель LLM: Одна модель обрабатывает все судебные вопросы без отдельных задач.
Ответы на основе оценок: Ответы — это предложения, вероятность которых служит оценкой.
Контрфактическое тестирование: Позволяет изменять заявленную локализацию для повторной оценки решений.
Оффлайн-инференс: Поддерживает выполнение реальных тестовых записей в оффлайн-режиме.
Модель с открытыми весами: Доступна для исследований и разработки.
Многоязычные субтитры: Демонстрации фильмов включают китайские и английские субтитры.
Ориентированность на исследования: Разработана для исследований в области обнаружения дипфейков, отслеживания источников и объяснимой судебной экспертизы.
Аудируемые вердикты: Четыре строки к вердикту, которые можно проверить.
Как использовать VeriSpoof?
Ввод аудио: Предоставьте одну аудиозапись или пару записей модели.
Обработка с помощью LLM: Аудиокомпоненты преобразуют ввод в токены высказываний и кадров для LLM.
Получите ответ в один шаг: Получите немедленный ответ о статусе дипфейка или схожести источников.
Просмотрите обоснование: Изучите детальное объяснение, строка за строкой, для решения модели.
Проверьте утверждения: Проверьте каждое утверждение в обосновании на основе измерений формы волны и меток набора данных.
Проведите контрфактические тесты: При желании измените параметры, такие как локализация, и повторно запустите модель, чтобы наблюдать изменения в решениях.
Варианты использования VeriSpoof
- Исследование обнаружения дипфейков
- Отслеживание источников аудио
- Объяснимая судебная экспертиза
- Анализ аудиоканала
- Анализ синтетической речи
- Бенчмаркинг детекторов дипфейков








