説明
DepthPro2は、正確なメトリック単眼深度推定のためにAppleが設計した高度なAIモデルです。このモデルは、単一の写真、全体の動画シーケンス、ライブカメラフィードなど、さまざまな視覚入力を処理し、入力のネイティブ解像度で各ピクセルの深度情報を生成します。DepthPro2の主な強みは、特に物体のエッジ周辺でシャープな深度推定を提供し、優れた時間的一貫性を維持する能力にあります。これにより、動画コンテンツのフレーム間で安定した深度測定が保証されます。
続きを読む
このモデルは、速度と精度に対する特定のニーズに基づいてユーザーが選択できるように、各モデルサイズごとに独自のリポジトリと重みを持つ複数のサイズで利用可能です。大きなモデル(L、H+)は、よりシャープで安定した深度結果を提供し、小さなバージョン(S、B)は、より迅速な処理を優先します。すべてのDepthPro2モデルは、焦点距離が提供されていない場合に自動的に焦点距離を予測する共有焦点距離推定器「apple/DepthPro2-focal」を統合しており、モデルの柔軟性を高めています。
DepthPro2は、複数のフレームを共同で処理するマルチビュー変換器アーキテクチャを採用しています。この変換器は、初期ブロックの後に個々のフレーム内およびフレーム間で注意メカニズムを交互に切り替えます。DPTデコーダーは、さまざまなブロックからトークンを組み合わせて異なる解像度(入力解像度の1/32から1/4)で特徴マップを生成し、各フレームの逆深度マップを予測します。この高度な方法論により、DepthPro2は、SintelやSpringなどのデータセットにおいて、シャープさ(Boundary F1スコアで測定)と時間的一貫性(ジッターで測定)の両方で以前の作業を上回ることができます。
DepthPro2は、Apple Machine Learning Research Modelライセンスの下でリリースされており、非商業的な科学研究および学術開発のための使用が許可されています。これにより、高度な深度推定技術を探求する研究者や開発者にとって貴重なリソースとなります。このモデルはHugging Faceにホストされており、ユーザーはファイルをダウンロードし、探索し、実行することができ、画像および動画処理のためのクイックスタート例も提供されています。深度は、空のような無限に遠いシーンでは無限と見なされることに注意することが重要です。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームHugging Face
DepthPro2のハイライト
メトリック単眼深度推定
単一の写真、動画、ライブフィードを処理
フル解像度の深度出力
物体のエッジでのシャープな深度
フレーム間での時間的一貫性のある深度
複数のモデルサイズ(S、B、L、H+)で利用可能
統合された焦点距離推定器
マルチビュー変換器アーキテクチャ
逆深度マップ予測のためのDPTデコーダー
シャープさと時間的一貫性で以前の作業を上回る
研究用ライセンスのみ
コマンドラインおよびライブフィードの例が利用可能
簡単にアクセスできるHugging Faceにホスト
DepthPro2をはじめる
モデルにアクセス: Hugging FaceのDepthPro2ページにアクセスします。
モデルサイズを選択: パフォーマンスニーズに基づいて希望のモデルサイズ(S、B、L、H+)を選択します。
重みをダウンロード: リポジトリから特定のモデルの重みをダウンロードします。
環境を設定: 必要な依存関係で開発環境を準備します。
コードを介して統合: 画像または動画処理のための提供されたコード例を使用します。
推論を実行: 入力データに対してモデルを実行し、深度マップを生成します。
DepthPro2の使用例
- ロボティクスナビゲーション
- 拡張現実(AR)
- 3D再構築
- 自律走行車
- 医療画像分析
- ビデオ監視
- コンテンツ制作








