Beschreibung
DepthPro2 ist ein anspruchsvolles KI-Modell von Apple, das für präzise metrische monokulare Tiefenschätzungen entwickelt wurde. Dieses Modell kann verschiedene visuelle Eingaben verarbeiten, einschließlich einzelner Fotografien, vollständiger Videosequenzen und Live-Kamerafeeds, und generiert Tiefeninformationen für jedes Pixel in der nativen Auflösung des Eingangs. Eine der Hauptstärken von DepthPro2 liegt in seiner Fähigkeit, scharfe Tiefenschätzungen, insbesondere an Objektkanten, zu liefern und eine hervorragende zeitliche Konsistenz aufrechtzuerhalten, um stabile Tiefenmessungen von einem Frame zum nächsten in Videoinhalten zu gewährleisten.
Weiterlesen
Das Modell ist in mehreren Größen erhältlich, jede mit ihrem eigenen Repository und Gewichten, sodass Benutzer basierend auf ihren spezifischen Anforderungen an Geschwindigkeit und Genauigkeit wählen können. Größere Modelle (L, H+) bieten schärfere und stabilere Tiefenergebnisse, während kleinere Versionen (S, B) schnellere Verarbeitung priorisieren. Alle DepthPro2-Modelle integrieren einen gemeinsamen Schärfeneinsteller, `apple/DepthPro2-focal`, der automatisch die Brennweite vorhersagt, wenn sie nicht angegeben ist, was die Vielseitigkeit des Modells erhöht.
Im Hintergrund verwendet DepthPro2 eine Multi-View-Transformer-Architektur, die ein oder mehrere Frames gemeinsam verarbeitet. Dieser Transformer wechselt die Aufmerksamkeitsmechanismen innerhalb einzelner Frames und über Frames hinweg nach seinen ersten Blöcken. Ein DPT-Decoder sagt dann eine inverse Tiefenkarte für jeden Frame voraus, indem er Tokens aus verschiedenen Blöcken in Merkmalskarten bei unterschiedlichen Auflösungen (1/32 bis 1/4 der Eingangsauflösung) zusammenstellt. Diese fortschrittliche Methodik ermöglicht es DepthPro2, frühere Arbeiten sowohl in der Schärfe (gemessen am Boundary F1-Score) als auch in der zeitlichen Konsistenz (gemessen an Jitter) über Datensätze wie Sintel und Spring zu übertreffen.
DepthPro2 wird unter der Apple Machine Learning Research Model-Lizenz veröffentlicht, die die Nutzung für nicht-kommerzielle wissenschaftliche Forschung und akademische Entwicklung erlaubt. Dies macht es zu einer wertvollen Ressource für Forscher und Entwickler, die fortschrittliche Tiefenschätzungstechniken erkunden. Das Modell wird auf Hugging Face gehostet, wo Benutzer es herunterladen, seine Dateien erkunden und ausführen können, wobei schnelle Startbeispiele sowohl für die Bild- als auch für die Videoverarbeitung bereitgestellt werden. Es ist wichtig zu beachten, dass die Tiefe für unendlich weit entfernte Szenen, wie den Himmel, als unendlich betrachtet wird.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenHugging Face
DepthPro2 im Überblick
Metrische monokulare Tiefenschätzung
Verarbeitet einzelne Fotos, Videos und Live-Feeds
Tiefenausgabe in voller Auflösung
Scharfe Tiefe an Objektkanten
Zeitlich konsistente Tiefe über Frames hinweg
In mehreren Modellgrößen erhältlich (S, B, L, H+)
Integrierter Schärfeneinsteller
Multi-View-Transformer-Architektur
DPT-Decoder zur Vorhersage inverser Tiefenkarten
Übertrifft frühere Arbeiten in Schärfe und zeitlicher Konsistenz
Lizenz nur für Forschungszwecke
Beispiele für die Befehlszeile und Live-Feeds verfügbar
Auf Hugging Face für einfachen Zugriff gehostet
Erste Schritte mit DepthPro2
Zugriff auf das Modell: Besuchen Sie die DepthPro2-Seite auf Hugging Face.
Modellgröße auswählen: Wählen Sie die gewünschte Modellgröße (S, B, L, H+) basierend auf den Leistungsanforderungen.
Gewichte herunterladen: Laden Sie die spezifischen Modellgewichte aus dem Repository herunter.
Umgebung einrichten: Bereiten Sie Ihre Entwicklungsumgebung mit den erforderlichen Abhängigkeiten vor.
Integration über Code: Verwenden Sie die bereitgestellten Codebeispiele für die Bild- oder Videoverarbeitung.
Inference ausführen: Führen Sie das Modell mit Ihren Eingabedaten aus, um Tiefenkarten zu generieren.
DepthPro2's Anwendungsfälle
- Roboternavigation
- Erweiterte Realität (AR)
- 3D-Rekonstruktion
- Autonome Fahrzeuge
- Analyse medizinischer Bildgebung
- Videoüberwachung
- Inhaltserstellung








