설명
daVinci-MagiHuman은 단일 사진에서 입술 동기화된 대화 비디오를 생성하는 150억 매개변수의 오픈 소스 AI 모델입니다. 초상화를 업로드하고 스크립트나 오디오를 추가하면, 오디오와 비디오가 별도의 파이프라인에서 조합되는 것이 아니라 함께 생성된 자연스러운 대화 클립을 얻을 수 있습니다. 이 모델은 Sand.ai와 GAIR Lab(상하이 교통대학교)에서 개발하였으며 Apache 2.0 라이선스 하에 공개되어, 가중치를 검사하고 로컬에서 실행하며 라이선스 내에서 상업적으로 사용할 수 있습니다.
더 읽기
이 모델은 단일 스트림 Transformer를 사용하여 참조 이미지 잠재값으로 비디오와 오디오 토큰을 공동으로 노이즈 제거하며, 얼굴 사진과 텍스트 또는 오디오를 결합하여 통합된 오디오-비디오 출력을 생성합니다. 단일 NVIDIA H100 GPU에서 약 2초의 벽 시간으로 약 2초 길이의 256p 클립을 생성할 수 있으며, 발표된 평가에서는 Ovi 1.1 및 LTX 2.3와 같은 기준 모델에 비해 높은 단어 오류율과 높은 인간 선호도를 보고하고 있습니다.
사용자는 무료 온라인 데모를 통해 사용해 보거나 Hugging Face에서 체크포인트를 다운로드하거나 GitHub 리포지토리를 클론하여 자체 호스팅하고 최대 1080p의 사용자 지정 설정과 해상도로 추론을 실행할 수 있습니다. 립 싱크를 위한 여러 언어를 지원하며, 이는 공개된 훈련 데이터에 따라 달라집니다.
호스팅 서비스는 시작 및 일일 체크인 크레딧(15일 임시 저장소)을 포함한 무료 티어와 HD 생성, 우선 처리, 영구 자산 저장소 및 상업적 사용 권리를 추가하는 Basic, Pro 및 Max 크레딧 플랜을 제공합니다.
- 카테고리AI 모델 및 LLM
- 요금제부분 무료
- 배포클라우드, 셀프 호스팅
- 플랫폼웹
daVinci-MagiHuman 하이라이트
입술 동기화된 단일 사진 대화 비디오 생성
하나의 모델 패스에서 함께 생성된 통합 오디오 및 비디오
150억 매개변수의 단일 스트림 Transformer 아키텍처
Apache 2.0 라이선스 하에 오픈 소스
빠른 추론 (~2초의 H100에서 약 2초 길이의 256p 클립)
훈련 데이터에 따라 다국어 립 싱크 지원
Hugging Face 및 GitHub를 통한 자체 호스팅 또는 호스팅된 온라인 데모
최대 1080p의 출력 해상도
daVinci-MagiHuman 시작하기
초상화 업로드: 선명하고 정면을 바라보는 얼굴 사진을 추가합니다.
스크립트 또는 오디오 추가: 텍스트를 입력하거나 음성 생성을 위한 오디오 파일을 업로드합니다.
해상도 선택: 256p, 720p 또는 1080p와 같은 출력 해상도를 선택합니다.
생성: 모델을 실행하여 입술 동기화된 클립을 생성합니다.
다운로드: 완성된 대화 비디오를 저장하거나 Hugging Face 또는 GitHub에서 자체 호스팅합니다.
daVinci-MagiHuman의 사용 사례
- 대화 아바타 비디오
- 자체 호스팅 생성
- 다국어 더빙
- 연구 및 벤치마킹
- 콘텐츠 생성
