설명
DepthPro2는 Apple에서 개발한 정밀한 메트릭 단안 깊이 추정을 위한 정교한 AI 모델입니다. 이 모델은 단일 사진, 전체 비디오 시퀀스 및 실시간 카메라 피드를 포함한 다양한 시각적 입력을 처리하여 입력의 원래 해상도에서 모든 픽셀에 대한 깊이 정보를 생성합니다. DepthPro2의 주요 강점은 특히 객체의 가장자리 주변에서 선명한 깊이 추정을 제공하고, 비디오 콘텐츠의 프레임 간에 안정적인 깊이 측정을 보장하는 뛰어난 시간적 일관성을 유지하는 능력에 있습니다.
더 읽기
이 모델은 여러 크기로 제공되며, 각 모델은 고유한 저장소와 가중치를 가지고 있어 사용자가 속도와 정확성에 대한 특정 요구 사항에 따라 선택할 수 있습니다. 더 큰 모델(L, H+)은 더 선명하고 안정적인 깊이 결과를 제공하는 반면, 더 작은 버전(S, B)은 더 빠른 처리를 우선시합니다. 모든 DepthPro2 모델은 공유 초점 거리 추정기인 `apple/DepthPro2-focal`을 통합하여 제공되지 않은 경우 자동으로 초점 거리를 예측하여 모델의 다재다능성을 향상시킵니다.
DepthPro2는 다중 뷰 변환기 아키텍처를 사용하여 하나 이상의 프레임을 공동으로 처리합니다. 이 변환기는 초기 블록 후 개별 프레임 내 및 프레임 간의 주의 메커니즘을 번갈아 가며 적용합니다. 그런 다음 DPT 디코더가 다양한 블록에서 토큰을 조합하여 서로 다른 해상도(입력 해상도의 1/32에서 1/4까지)의 특징 맵으로 구성하여 각 프레임에 대한 역 깊이 맵을 예측합니다. 이 고급 방법론은 DepthPro2가 Sintel 및 Spring과 같은 데이터 세트에서 선명도(경계 F1 점수로 측정)와 시간적 일관성(지터로 측정) 모두에서 이전 작업을 능가할 수 있게 합니다.
DepthPro2는 비상업적 과학 연구 및 학술 개발을 위한 사용을 허가하는 Apple 기계 학습 연구 모델 라이센스 하에 출시됩니다. 이는 고급 깊이 추정 기술을 탐구하는 연구자와 개발자에게 귀중한 자원이 됩니다. 이 모델은 Hugging Face에 호스팅되어 있으며, 사용자는 파일을 다운로드하고 탐색하며 실행할 수 있으며, 이미지 및 비디오 처리에 대한 빠른 시작 예제가 제공됩니다. 깊이는 하늘과 같은 무한히 먼 장면에 대해 무한대로 간주된다는 점도 중요합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼Hugging Face
DepthPro2 하이라이트
메트릭 단안 깊이 추정
단일 사진, 비디오 및 실시간 피드 처리
전체 해상도 깊이 출력
객체 가장자리에서 선명한 깊이
프레임 간 시간적으로 일관된 깊이
여러 모델 크기(S, B, L, H+)로 제공
통합 초점 거리 추정기
다중 뷰 변환기 아키텍처
역 깊이 맵 예측을 위한 DPT 디코더
선명도 및 시간적 일관성에서 이전 작업을 초월
연구 사용 전용 라이센스
명령줄 및 실시간 피드 예제 제공
Hugging Face에서 쉽게 접근 가능
DepthPro2 시작하기
모델 접근: Hugging Face의 DepthPro2 페이지를 방문하세요.
모델 크기 선택: 성능 요구 사항에 따라 원하는 모델 크기(S, B, L, H+)를 선택하세요.
가중치 다운로드: 해당 저장소에서 특정 모델 가중치를 다운로드하세요.
환경 설정: 필요한 종속성으로 개발 환경을 준비하세요.
코드 통합: 이미지 또는 비디오 처리를 위한 제공된 코드 예제를 사용하세요.
추론 실행: 입력 데이터에서 깊이 맵을 생성하기 위해 모델을 실행하세요.
DepthPro2의 사용 사례
- 로봇 내비게이션
- 증강 현실(AR)
- 3D 재구성
- 자율 주행 차량
- 의료 영상 분석
- 비디오 감시
- 콘텐츠 제작








