説明
Youtu-Parsing-Omniは、文書ページ、自然画像、チャート、フローチャート、幾何学的図形、音声クリップ、動画など、幅広い入力を処理するために設計されたコンパクトなオムニモーダルパーシングモデルです。このモデルは、知覚および認知タスクを含む構造化されたJSON出力を生成します。知覚タスクには、レイアウト要素、テキスト、表、数式、バウンディングボックス、タイムスタンプ、ASR、OCR、音響イベント、カメラの動きが含まれます。認知タスクには、キャプション、ナarrティブ、レポートの生成が含まれます。
続きを読む
このモデルは、OmniSchemaとして知られる統一スキーマを使用しており、異なるタスク間で一貫した出力形式を実現します。従来のピクセルと音声のための別々のタワーを置き換える単一のYoutu-Omni-Encoderを特徴としており、テキスト読み取り能力を向上させています。モデルは、事前学習されたテキスト言語モデルから初期化され、薄いモダリティ特有のステムを使用してピクセルとログメルフレームをトークンにマッピングします。共有双方向トランスフォーマーが入力を文脈化し、モダリティ特有のマージャーとプロジェクターがトークンをYoutu-LLMデコーダーに供給します。
Youtu-Parsing-Omniは、その小さなサイズにもかかわらず強力なパフォーマンスで知られており、OmniDocBench v1.6で最先端の結果を達成し、OmniParsingBenchでも競争力のある結果を出しています。特に、化学構造認識や楽譜認識などの専門的なタスクにおいて効果的です。このモデルは、vLLMプラグインとピン留めされたサービング設定が含まれており、簡単に提供できます。
モデルの音声視覚融合機能により、エンコーダ内でのクロスモーダルアラインメントが可能になり、フレームと音声チャンクが時間的順序で処理されます。このアプローチにより、音声と視覚要素が同期した動画のような複雑な入力を処理する能力が向上します。Youtu-Parsing-Omniは、Hugging FaceやModelScopeなどのプラットフォームでダウンロード可能であり、堅牢なパーシングソリューションを求める開発者や研究者にとってアクセス可能です。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
Youtu-Parsing-Omniのハイライト
オムニモーダルパーシングモデル
JSON出力のための統一スキーマ
単一のYoutu-Omni-Encoder
最先端のパフォーマンス
音声視覚融合機能
コンパクトなモデルサイズ
vLLMプラグインによる簡単な提供
多様な入力タイプをサポート
Youtu-Parsing-Omniをはじめる
モデルにアクセス: Hugging Faceを訪問
認証: 資格情報を設定
環境を設定: 依存関係をインストール
API経由で統合: 提供された例を使用
最適化: パフォーマンスのために設定を調整
Youtu-Parsing-Omniの使用例
- 文書パーシング
- 画像分析
- チャート解釈
- 音声処理
- 動画分析
