Description
DepthPro2 est un modèle d'IA sophistiqué d'Apple conçu pour une estimation précise de profondeur monoculaire métrique. Ce modèle peut traiter divers types d'entrées visuelles, y compris des photographies uniques, des séquences vidéo complètes et des flux de caméra en direct, générant des informations de profondeur pour chaque pixel à la résolution native de l'entrée.
Lire la suite
Une force clé de DepthPro2 réside dans sa capacité à fournir des estimations de profondeur nettes, en particulier autour des bords des objets, et à maintenir une excellente cohérence temporelle, garantissant des mesures de profondeur stables d'une image à l'autre dans le contenu vidéo.
Le modèle est disponible en plusieurs tailles, chacune avec son propre référentiel et ses poids, permettant aux utilisateurs de choisir en fonction de leurs besoins spécifiques en matière de vitesse et de précision. Les modèles plus grands (L, H+) offrent des résultats de profondeur plus nets et plus stables, tandis que les versions plus petites (S, B) privilégient un traitement plus rapide. Tous les modèles DepthPro2 intègrent un estimateur de longueur focale partagé, `apple/DepthPro2-focal`, qui prédit automatiquement la longueur focale lorsqu'elle n'est pas fournie, améliorant ainsi la polyvalence du modèle.
Sous le capot, DepthPro2 utilise une architecture de transformateur multi-vues qui traite conjointement une ou plusieurs images. Ce transformateur alterne les mécanismes d'attention au sein des images individuelles et entre les images après ses blocs initiaux. Un décodeur DPT prédit ensuite une carte de profondeur inverse pour chaque image en assemblant des tokens de divers blocs en cartes de caractéristiques à différentes résolutions (1/32 à 1/4 de la résolution d'entrée). Cette méthodologie avancée permet à DepthPro2 de surpasser les travaux antérieurs tant en netteté (mesurée par le score Boundary F1) qu'en cohérence temporelle (mesurée par le Jitter) à travers des ensembles de données comme Sintel et Spring.
DepthPro2 est publié sous la licence Apple Machine Learning Research Model, qui permet son utilisation pour la recherche scientifique non commerciale et le développement académique. Cela en fait une ressource précieuse pour les chercheurs et les développeurs explorant des techniques avancées d'estimation de profondeur. Le modèle est hébergé sur Hugging Face, où les utilisateurs peuvent le télécharger, explorer ses fichiers et l'exécuter, avec des exemples de démarrage rapide fournis pour le traitement d'images et de vidéos. Il est important de noter que la profondeur est considérée comme infinie pour les scènes infiniment éloignées, comme le ciel.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesHugging Face
Points forts de DepthPro2
Estimation de profondeur monoculaire métrique
Traite des photos uniques, des vidéos et des flux en direct
Sortie de profondeur à pleine résolution
Profondeur nette aux bords des objets
Profondeur temporellement cohérente entre les images
Disponible en plusieurs tailles de modèle (S, B, L, H+)
Estimateur de longueur focale intégré
Architecture de transformateur multi-vues
Décodeur DPT pour la prédiction de carte de profondeur inverse
Surpasse les travaux antérieurs en netteté et en cohérence temporelle
Licence d'utilisation uniquement pour la recherche
Exemples en ligne de commande et de flux en direct disponibles
Hébergé sur Hugging Face pour un accès facile
Premiers pas avec DepthPro2
Accéder au modèle : Visitez la page DepthPro2 sur Hugging Face.
Sélectionner la taille du modèle : Choisissez la taille de modèle souhaitée (S, B, L, H+) en fonction des besoins de performance.
Télécharger les poids : Téléchargez les poids spécifiques du modèle depuis son référentiel.
Configurer l'environnement : Préparez votre environnement de développement avec les dépendances nécessaires.
Intégrer via le code : Utilisez les exemples de code fournis pour le traitement d'images ou de vidéos.
Exécuter l'inférence : Exécutez le modèle sur vos données d'entrée pour générer des cartes de profondeur.
Cas d'utilisation de DepthPro2
- Navigation Robotique
- Réalité Augmentée (AR)
- Reconstruction 3D
- Véhicules Autonomes
- Analyse d'Imagerie Médicale
- Surveillance Vidéo
- Création de Contenu








