설명
WeVisCut는 장편 스크립트에서 비디오 제작을 위한 포괄적인 AI 에이전트로, 도구 실행과 고급 정책 학습을 통합합니다. 3,750개의 완료된 비디오 프로젝트에서 파생된 134,771개의 예제로 구성된 방대한 데이터셋으로 훈련되었으며, 단일 9B 정책을 활용합니다. 이러한 강력한 훈련을 통해 시스템은 실행 가능한 감독을 통해 스크립트에서 비디오 제작을 학습하며, 편집 반전, 검증된 재생 및 100개 작업 벤치마크를 포함합니다.
더 읽기
WeVisCut의 핵심 기능은 반복적인 관찰-사고-행동 사이클에 중점을 둡니다. 초기 비디오 컷이 생성된 후, 감독은 에이전트와 채팅하여 특정 수정 요청을 할 수 있으며, 예를 들어 샷의 소스를 교체하거나 음악을 변경하거나 자막 스타일을 수정하는 등의 요청을 할 수 있습니다. 그러면 정책은 지능적으로 로컬에서 재계획하고 수정된 콘텐츠를 다시 제공하여 이미 성공적인 요소가 보존되고 재촬영되지 않도록 합니다.
작동의 핵심은 '편집 반전'과 '검증된 재생'입니다. 이 시스템은 완성된 내레이션 기반 비디오에서 편집 의도를 회복한 다음, 이 의도를 사용하여 제작 도구로 재생합니다. 이 과정은 관찰, 제한된 수리 및 궤적 구현을 포함하는 4단계 파이프라인을 포함하여 AI를 위한 실행 가능한 감독을 생성합니다. WeVisCut는 모든 도구 호출 간에 공유된 제작 상태를 유지하여 런타임 피드백이 후속 결정, 검사, 제한된 수리 및 재계획에 정보를 제공하여 고정된 개방 루프 워크플로를 넘어섭니다.
WeVisCut 프레임워크는 데이터 구축, 훈련 및 추론을 포함하며, 모두 폐쇄 루프 도구 실행에 의해 지원됩니다. 현재 제작 상태에 따라 적절한 도구를 지능적으로 선택하고, 계획, 실행, 검사 및 전달을 조정합니다. 에이전트는 스크립트 및 샷 계획을 생성하고, 시각 및 오디오 자산을 검색하며, 내레이션, 장식 및 타임라인 편집을 구성할 수 있습니다. 또한 반환된 아티팩트를 품질 차원에 따라 검사하고, 실패를 식별하며, 목표 수리를 라우팅합니다. 검증된 도구 반환은 정Canonical 상태와 아티팩트를 업데이트하여 각 후속 작업이 최신 실행 상태를 활용하도록 보장합니다. 로컬 수리는 성공적인 작업을 보존하기 위해 우선시되며, 검사 증거는 정책에 피드백되어 의사 결정을 개선합니다.
성능 벤치마크는 WeVisCut의 효과성을 입증하며, 일반 목적의 기준선 및 Qwen, Gemini와 같은 참조 모델에 비해 우수한 결과를 보여줍니다. WeVisCut는 출력 분당 사용되는 토큰과 호출 수가 현저히 적으면서도 Claude Opus 5와 동등한 성능을 발휘합니다. 네이티브 시스템 비교는 WeVisCut의 속도와 비용 효율성의 이점을 강조하며, Crayotter 및 VideoAgent와 같은 경쟁자보다 4.1배에서 5.0배 더 빠르고 6.4배에서 10.8배 더 낮은 비용으로 실행됩니다. 인간 평가 또한 WeVisCut의 품질을 확인하며, 다양한 차원에서 주제, 풍부함, 내레이션, 부드러움 및 시각적 영향과 같은 요소에서 더 높은 평균 의견 점수를 달성합니다.
- 카테고리AI 동영상 편집기
- 배포클라우드
- 플랫폼웹
WeVisCut의 핵심 기능
장편 스크립트에서 비디오 제작
134,771개의 예제로 훈련된 단일 9B 정책
반복적인 관찰-사고-행동 편집 사이클
컷 후 수정을 위한 감독-채팅
의도 회복을 위한 편집 반전
제작 도구와 함께하는 검증된 재생
실행 가능한 감독을 위한 4단계 파이프라인
공유된 제작 상태를 가진 상태 기반 도구 실행
동적 의사 결정을 위한 런타임 피드백
계획, 검색, 구성, 검사 및 수리 기능
자동화된 스크립트 및 샷 계획 생성
시각 및 오디오 자산 검색
내레이션, 장식 및 타임라인 편집 구성
품질 검사 및 목표 수리
성공적인 작업을 보존하기 위한 로컬 수리
WeVisCut 사용 방법은?
스크립트 제공: 비디오 제작 프로세스를 시작하기 위해 장편 스크립트를 입력합니다.
초기 컷 생성: WeVisCut 에이전트가 스크립트를 기반으로 비디오의 초안을 생성합니다.
검토 및 채팅: 에이전트의 컷을 시청하고 피드백이나 변경 요청을 채팅 인터페이스를 통해 제공합니다.
수정 요청: 샷 소스, 음악 또는 자막 스타일과 같은 수정을 지정합니다.
재계획 수신: 정책이 로컬에서 재계획하고 요청된 변경 사항으로 비디오를 다시 제공합니다.
반복 및 수정: 원하는 최종 영화를 달성할 때까지 검토 및 수정 사이클을 계속합니다.
WeVisCut의 사용 사례
- 장편 비디오 제작
- 내레이션 기반 콘텐츠
- 교육 비디오 제작
- 다큐멘터리 영화 편집
- 콘텐츠 반복 및 수정
- 스크립트에서 영화로의 자동화
