설명
Sand.ai는 비디오 생성 기술 및 제품에 전문화된 AI 회사입니다. 자율 회귀 비디오 모델인 Magi-1과 동시 오디오-비주얼 생성을 위한 GAGA-1을 독립적으로 개발하였으며, 대규모 오픈 소스 Mixture-of-Experts 비디오 생성 모델로 설명되는 MAGI-2 Preview를 출시하였습니다.
MAGI-2 Preview는 114B 매개변수를 가진 통합 오디오-비디오 생성 모델로, 토큰당 6B 매개변수만 활성화합니다. MagiMoE를 기반으로 하여 아키텍처, 시스템 및 데이터 전반에 걸쳐 공동 설계되었으며, 자연스러운 입술 동기화, 표정, 눈 움직임 및 신체 언어의 조정으로 대화, 노래 및 감정 변화를 생성합니다. 시각과 오디오는 단일 모델에 의해 공동으로 생성되기 때문에 대화와 입술 움직임, 행동과 음향 효과, 환경 변화와 오디오 피드백이 정확하게 일치합니다. 이 모델은 샷 스케일, 구성, 원근감 및 카메라 움직임 의도를 이해하여 줌, 추적 및 궤도 비행과 같은 촬영 같은 시각적 리듬을 생성합니다.
개발자는 Sand.ai의 기능에 API 플랫폼을 통해 접근할 수 있습니다. Magi 계정으로 로그인한 후, 사용자는 크레딧을 구매하고, API 키를 생성하며, Authorization 헤더를 통해 호출을 인증할 수 있습니다. 플랫폼과 Magi 청구는 별도로 유지되므로 API 사용이 Magi 계정 크레딧을 소모하지 않습니다.
Sand.ai의 핵심 기능
114B 매개변수를 가진 MAGI-2 Preview, 통합 오디오-비디오 생성 모델
정확한 입술 동기화 정렬을 통한 공동 오디오 및 비디오 생성
캐릭터 성능: 대화, 노래 및 감정 변화
샷 스케일, 구성 및 카메라 움직임에 대한 촬영 제어
Magi-1 자율 회귀 비디오 모델 및 GAGA-1 오디오-비주얼 모델
크레딧 및 API 키 관리가 포함된 개발자 API 플랫폼
Sand.ai 사용 방법은?
계정 생성: Magi 계정을 사용하여 플랫폼에 로그인합니다.
크레딧 구매: API 사용을 위한 크레딧 패키지를 구매합니다.
API 키 생성: API 키 관리 페이지에서 키를 생성하고 안전하게 저장합니다.
API 호출: Authorization 헤더를 통해 키로 인증하여 오디오-비디오 콘텐츠를 생성합니다.
Sand.ai의 사용 사례
- 대화하는 캐릭터 비디오
- 영화 같은 비디오 생성
- 오디오-비주얼 콘텐츠 생성
- 개발자 통합
