説明
VeriSpoofは、高度な音声ディープフェイクフォレンジック用に開発された先駆的な音声言語モデルです。音声がディープフェイクであるかどうかを判断し、それを生成したシステムを特定し、2つの録音が共通のソースから来ているかどうかを評価し、チャネル効果を分析し、その結論を透明で検証可能な方法で説明するための包括的なソリューションを提供します。この単一の統一音声LLM(大規模言語モデル)は、単純な真偽の分類を超えて、音声の起源と操作に関する詳細な洞察を提供します。
続きを読む
このモデルは、14のSpeech-DF-Arenaセットで2.14%のプールされた等誤差率(EER)を達成し、オープンウェイト検出器の中でトップランクに位置しています。そのアーキテクチャは、録音を発話トークンとフレームトークンに処理する音声LLMを中心に構築されており、これらはMiniCPM5-2BモデルとLoRAによって読み取られます。従来のシステムとは異なり、VeriSpoofは別々のタスクヘッドに依存せず、すべての回答はその可能性がスコアとして直接機能する文であり、任意の操作ポイントで柔軟なしきい値設定を可能にします。
VeriSpoofの根拠はコアの強みであり、その合理性の各行は、波形測定、記録された条件、ラベル付きスパン、および生成者メタデータに対して独立してチェックされます。これにより、観察、チャネルの状態、合成セグメントのローカリゼーション、およびソースプロファイルが厳密に検証されます。このシステムはまた、反事実的トレーニングを取り入れており、決定が述べられた証拠に従うようにトレーニングされ、ローカリゼーションが意図的に逆転される場合でも、堅牢で論理的に一貫した推論を保証します。
主にディープフェイク検出、ソーストレーシング、および説明可能なフォレンジックの研究を目的としているVeriSpoofは、音声の判決を監査するための強力なツールを提供します。そのスコアは、最終的なフォレンジック決定のために他の証拠や人間のレビューと組み合わせることが推奨されます。このプロジェクトには、ベースモデルとプラスモデルの両方が含まれており、VeriSpoof-Plusはさまざまな評価指標とデータセットで優れたパフォーマンスを示しています。VeriSpoofの重みとコードはCC BY-NC 4.0ライセンスの下で公開されており、そのベースモデルであるMiniCPM5-2BとQwen3-ASR-1.7BはApache-2.0の下で動作します。
- カテゴリーAIコンテンツ判定ツール
- 料金モデルFree (Open-Weight)
- デプロイLocal (Inference Package)
- プラットフォームWindows, macOS, Linux
VeriSpoofの主要機能
音声ディープフェイク検出: 音声がディープフェイクであるかどうかを特定します。
ソース検証: どのシステムがディープフェイクを生成したかを判断します。
ソース帰属: 2つの録音が同じ生成者からのものであるかどうかを確認します。
チャネル説明: 音声に対するチャネル効果を分析し、説明します。
説明可能な決定: 結論を説明する短い検証可能なラインを提供します。
根拠のある合理性: 各主張は波形測定とデータセットラベルに対してチェックされます。
高精度: Speech-DF-Arenaで2.14%のプールされたEERを達成し、オープンウェイト検出器の中で1位にランクインしています。
統一音声LLM: 1つのモデルがすべてのフォレンジック質問を処理し、別々のタスクヘッドはありません。
スコアベースの回答: 回答は、その可能性がスコアとして機能する文です。
反事実的テスト: 記載されたローカリゼーションを置き換えて決定を再評価することができます。
オフライン推論: 実際のテスト録音をオフラインで実行することをサポートします。
オープンウェイトモデル: 研究と開発のために利用可能です。
多言語キャプション: 映画のデモには中国語と英語のキャプションが含まれています。
研究指向: ディープフェイク検出、ソーストレーシング、および説明可能なフォレンジック研究のために設計されています。
監査可能な判決: 監査可能な判決に至る4行があります。
VeriSpoofの使い方は?
音声入力: モデルに単一の音声録音またはペアの録音を提供します。
LLMで処理: 音声コンポーネントが入力を発話トークンとフレームトークンに変換します。
ワンステップ回答を受け取る: ディープフェイクの状態またはソースの類似性に関する即時の回答を取得します。
根拠のある合理性を確認: モデルの決定に対する詳細な行ごとの説明を確認します。
主張を検証: 合理性の各主張を波形測定とデータセットラベルに対してチェックします。
反事実的テストを実施: 必要に応じて、ローカリゼーションなどのパラメータを変更し、モデルを再実行して決定の変化を観察します。
VeriSpoofの使用例
- ディープフェイク検出研究
- 音声ソーストレーシング
- 説明可能なフォレンジック
- 音声チャネル分析
- 合成音声分析
- ディープフェイク検出器のベンチマーキング








