설명
Hy-Nomas는 텍스트 지침과 카메라 제어를 통해 자유형 다중 턴 상호작용을 촉진하도록 설계된 고급 비디오 세계 생성 모델입니다. 이 모델은 비디오 세그먼트를 하나씩 생성하여 사용자가 객체를 도입하고 스타일을 변경하며 생성이 진행됨에 따라 장면과 카메라 각도를 제어할 수 있게 합니다. 모델 아키텍처는 세그먼트 자가 회귀 확산 변환기(DiT), Qwen 텍스트 인코더, 카메라 조건 모듈 및 PixelUMM 비디오 디코더를 통합합니다. 지속적인 키/값 캐시는 세그먼트 간의 맥락을 유지하여 세계 생성의 연속성을 보장합니다.
더 읽기
이 모델은 표준 시퀀스-병렬 구성 및 단일 GPU 구성을 포함한 유연한 배포 옵션을 지원하여 다양한 하드웨어 설정에서 접근할 수 있습니다. 사용자는 웹 데모를 통해 모델과 상호작용할 수 있으며, 이는 실시간으로 기능을 보여줍니다. Hy-Nomas는 또한 지속적인 세계 생성 동안 상호작용 가능성과 일관성을 평가하기 위해 설계된 벤치마크 모음인 Hy-Nomas-Bench를 포함합니다.
Hy-Nomas는 압축된 비디오 잠재 공간에서 확산을 수행하고 비디오 세그먼트 간 자가 회귀를 수행합니다. 텍스트, 카메라 움직임 및 캐시된 기록이 각 새로운 세그먼트의 생성을 조건화하여 동적이고 상호작용적인 비디오 제작을 가능하게 합니다. 모델의 아키텍처는 54개의 이중 스트림 MMDiT 블록으로 구성되어 있으며, 텍스트와 비디오는 세그먼트별 인과적 공동 주의를 통해 상호작용합니다.
모델의 비디오 잠재는 DCAE-V 잠재로 표현되며, 기본 추론 파이프라인은 이를 세밀하게 조정된 PixelUMM 디코더로 디코딩합니다. 이 설정은 고품질 출력을 가진 효율적인 비디오 생성을 가능하게 합니다. Hy-Nomas는 Apache-2.0 라이센스 하에 있으며, 사용자는 Hugging Face 플랫폼을 통해 모델과 그 구성 요소에 접근할 수 있습니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드, 셀프 호스팅
- 플랫폼웹
Hy-Nomas 하이라이트
텍스트 및 카메라 제어를 통한 자유형 상호작용
세그먼트 자가 회귀 확산 변환기 아키텍처
맥락 유지를 위한 지속적인 키/값 캐시
표준 및 단일 GPU 구성으로 유연한 배포
상호작용 가능성 평가를 위한 Hy-Nomas-Bench
압축된 비디오 잠재 공간 확산
54개의 이중 스트림 MMDiT 블록
세밀하게 조정된 PixelUMM 비디오 디코더
Hy-Nomas 시작하기
모델 접근: Hugging Face 방문
인증: 계정 설정
환경 설정: 하드웨어 및 소프트웨어 준비
API를 통한 통합: 제공된 엔드포인트 사용
최적화: 원하는 출력을 위한 설정 조정
Hy-Nomas의 사용 사례
- 상호작용 비디오 제작
- 게임 개발
- 가상 현실
- 영화 제작
- 교육 콘텐츠










