설명
Invoker-Render는 inclusionAI에 의해 개발된 정교한 비디오-비디오 AI 모델로, 매우 제어 가능한 비디오 생성을 가능하게 합니다. 331억 2천만 개의 매개변수를 가진 이 모델은 구조적 프록시, 단일 외관 참조 이미지 및 텍스트 프롬프트를 기반으로 비디오 외관을 생성하는 데 중점을 둡니다. 이 모델은 시각적 프록시가 카메라 경로, 장면 레이아웃 및 객체 움직임과 같은 요소를 정의하는 상위 엔진에서 세계 상태를 유지하는 원칙에 따라 작동하며, 비디오 모델은 시각적 렌더링을 처리합니다.
더 읽기
Invoker-Render의 핵심은 그 causal streaming DiT 가중치에 있으며, 이는 저장소에 호스팅됩니다. 이 모델은 companion CodeWorldModel 추론 코드와 함께 작동하도록 설계되어, 인과적 4단계 스트리밍 생성을 용이하게 합니다. 이 설정은 MiniMax-H3, SGLang 및 SGLang-Omni와 같은 강력한 프레임워크를 기반으로 구축되어 효율적이고 확장 가능한 작동을 보장합니다.
Invoker-Render의 주요 특징 중 하나는 장기 스트리밍 기능으로, 프록시 프레임이 제공되는 한 세션이 무한정 실행될 수 있습니다. 이는 고정된 외관 앵커와 제한된 역사 창을 통해 달성되어, 장기간에 걸쳐 시각적 일관성을 유지합니다. 또한, 이 모델은 다중 세분화 제어를 제공하여, 의미 맵, 희소 3D 박스, 주제 마스크, 음영 기하학 및 골격이 있는 박스와 같은 다양한 구조적 입력을 수용하여 사용자가 생성된 비디오 콘텐츠에 대해 정밀한 제어를 할 수 있도록 합니다.
인터랙티브 배포를 위해 companion 코드는 WebSocket 세션 서비스, 파일 클라이언트 및 브라우저 클라이언트를 제공하여 다양한 애플리케이션에서 모델을 접근할 수 있게 합니다. 모델의 가중치는 29개의 safetensors 조각에 걸쳐 FP32 형식으로 저장되어 있으며, 총 약 132.5GB입니다. 저장소에는 주요 인과적 스트리밍 DiT 가중치가 포함되어 있지만, 사용자는 추론을 위해 VAE, Qwen, 인과적 디코더 및 침묵 텐서와 같은 일치하는 자산을 별도로 준비해야 합니다. 추론을 위한 기본 생산 프로필은 일반적으로 단일 노드에서 8개의 NVIDIA GPU를 필요로 하며, 1344×768 RGB 첫 번째 이미지, 24 FPS 프록시 비디오 및 텍스트 프롬프트와 같은 입력을 처리합니다.
- 카테고리AI 모델 및 LLM
- 배포클라우드
- 플랫폼웹
Invoker-Render 하이라이트
비디오-비디오 모델: 구조적 프록시 및 입력으로부터 비디오 외관을 생성합니다.
330억 개의 매개변수: 고급 비디오 생성 기능을 위한 대형 모델입니다.
프록시 조건 렌더링: 시각적 프록시를 사용하여 카메라 경로, 장면 레이아웃 및 객체 움직임을 제어합니다.
외관 참조 이미지 입력: 시각적 스타일을 안내하기 위해 하나의 이미지를 사용합니다.
텍스트 프롬프트 입력: 콘텐츠 생성을 위한 텍스트 설명을 수용합니다.
인과적 스트리밍 DiT 가중치: 스트리밍 생성을 위한 특정 모델 가중치를 활용합니다.
장기 스트리밍: 프록시 프레임이 도착하는 동안 지속적인 비디오 생성을 지원합니다.
고정된 외관 앵커: 긴 세션 동안 일관된 외관을 유지합니다.
다중 세분화 제어: 의미 맵, 3D 박스 및 주제 마스크와 같은 다양한 구조적 입력을 수용합니다.
인터랙티브 배포: companion 코드는 WebSocket, 파일 및 브라우저 클라이언트를 제공합니다.
FP32 가중치: 모델 가중치는 전체 정밀도로 저장됩니다.
MiniMax-H3 기본 모델: MiniMax-H3 아키텍처를 기반으로 구축되었습니다.
Apache-2.0 라이선스: 저장소 사용을 규정합니다.
CC BY-NC 4.0 라이선스: 비상업적 사용에 적용됩니다.
Invoker-Render 시작하기
모델 가중치 접근: 저장소 루트에서 주요 인과적 스트리밍 DiT 가중치를 다운로드합니다.
자산 준비: VAE, Qwen 및 인과적 디코더와 같은 일치하는 자산을 별도로 획득하고 준비합니다.
환경 설정: companion CodeWorldModel 저장소의 README.md 및 docs/INFERENCE.md를 따릅니다.
번들 준비: companion 저장소의 지침에 따라 추론 번들을 생성합니다.
서비스 시작 또는 추론 실행: WebSocket 세션 서비스를 시작하거나 invoker_render.py를 사용하여 파일 추론을 실행합니다.
입력 제공: 1344×768 RGB 첫 번째 이미지, 24 FPS 프록시 비디오 및 텍스트 프롬프트를 제공합니다.
Invoker-Render의 사용 사례
- 제어 가능한 비디오 생성
- 장기 비디오 제작
- 의미 기반 비디오 편집
- 3D 장면 렌더링
- 인터랙티브 비디오 애플리케이션




