설명
Linum P-JiT는 생성 비디오 모델을 처음부터 훈련하는 데 전념하는 두 사람 연구실 Linum이 개발한 실험적인 텍스트-이미지 모델입니다. 이 특정 모델인 2B-파라미터 Pyramid-JiT (P-JiT)는 비용 효율적이고 제어 가능한 생성 도구를 통해 애니메이션 접근을 민주화하려는 지속적인 연구의 개념 증명 역할을 합니다. 이 모델의 훈련 비용은 약 $21,038로, 상대적으로 낮은 계산 비용으로 고품질 결과를 얻을 수 있는 가능성을 보여줍니다.
더 읽기
P-JiT의 핵심 혁신은 전통적인 변분 오토인코더(VAE)를 확산 모델 아키텍처에서 제거하여 더 공격적인 압축과 빠른 학습을 달성하는 능력입니다. 대신, 확산 모델은 사용 사례에 맞게 특별히 설계된 잠재 공간을 학습하여 더 큰 압축과 개선된 생성을 가능하게 합니다. 이 픽셀 공간 모델은 Linum v2보다 11배 적은 샘플로 수렴하며, 256x256 이미지에 사용된 것과 동일한 수의 토큰으로 512x512 이미지를 나타내는 4배 더 공격적인 토큰 감소를 제공합니다. 이는 주의 컨텍스트 창을 4배 줄여 훈련 및 추론 비용을 크게 절감합니다.
P-JiT 아키텍처는 텍스트 및 이미지 처리 파이프라인을 통합하여 각 모달리티가 단일 모달리티 "정제기" DiT 블록을 통과한 후 22개의 동일한 DiT 블록 스트림으로 병합됩니다. 텍스트 표현은 고정된 Qwen3.5-4B 모델에서 파생되며, 이미지는 32x32 패치로 분할되어 1024차원 공간으로 압축됩니다. 이 모델은 또한 DINOv3-L에 정렬된 PixelREPA 출력과 수렴을 가속화하기 위해 최종 이미지의 저해상도 버전을 예측하는 추가 선형 출력 헤드를 특징으로 합니다.
훈련은 여러 단계로 진행되었으며, 610백만 샘플에 대해 512x512 해상도에서 시작한 후 50백만 샘플에 대해 1024x1024 해상도로 전환되었습니다. 기본 구조를 학습하기 위해 처음에는 높은 노이즈에 집중하고, 세부 사항을 위해 분포를 넓히는 커리큘럼 노이즈 스케줄이 사용되었습니다. 훈련 후에는 JEV-Image와 인간이 포함된 평가자를 사용한 유한 차분 흐름 최적화(FDFO)의 변형이 포함되었습니다. 모델은 유망한 결과를 보여주지만, 전체 신체 생성, 여러 개체, 다인 상호작용 및 세계 지식과 관련하여 한계가 있으며, 이는 이 크기의 모델에서 일반적입니다. 렌더링된 텍스트 이미지로 훈련되지 않았기 때문에 텍스트나 포스터를 생성할 수 없습니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
Linum P-JiT의 핵심 기능
Pyramid-JiT (P-JiT) 아키텍처: 효율적인 생성을 위한 새로운 픽셀 공간 모델
2B-파라미터 DiT: 핵심 확산 변환기 모델 크기
4B 텍스트 인코더: 텍스트 표현을 위해 고정된 Qwen3.5-4B 모델을 활용
VAE 없는 설계: 더 공격적인 압축과 빠른 학습을 위해 VAE 제거
4배 토큰 감소: Linum v2보다 4배 적은 토큰으로 512x512 이미지 표현
11배 빠른 수렴: 훨씬 적은 훈련 샘플로 결과 달성
다단계 훈련: 512x512에서 1024x1024 해상도로 진행
커리큘럼 노이즈 스케줄: 구조 및 세부 사항 학습을 위한 노이즈 분포 조정
PixelREPA 출력: 개선된 세부 사항 학습을 위해 DINOv3-L에 잠재 공간 정렬
선형 출력 헤드: 수렴 가속화를 위해 1/4 및 1/2 해상도에서 깨끗한 이미지 예측
유한 차분 흐름 최적화(FDFO): 훈련 후 정제를 위해 사용
Apache 2.0 라이센스: 가중치는 오픈 소스 라이센스 하에 공개됨
비용 효율적인 훈련: 약 $21K로 고품질 결과 달성
생성 비디오 연구에 집중: 미래 비디오 모델을 향한 한 걸음
Linum P-JiT 사용 방법은?
아키텍처 이해: 텍스트 및 이미지 처리 흐름을 포함한 P-JiT 아키텍처 세부 사항 검토.
훈련 체계 검토: 다단계 훈련 과정, 노이즈 스케줄 및 해상도 전환에 대해 알아보기.
모델 한계 탐색: 전체 신체 생성, 여러 개체 및 텍스트 생성과 관련된 현재 한계 이해.
훈련 설정 접근: 부록 A에서 상세한 훈련 매개변수 및 구성 참조.
비용 분석: 훈련 전후의 계산 비용 내역 보기.
예제 실패 분석: 제공된 모델 실패 예제를 연구하여 현재 능력 및 개선 영역 파악.
Linum P-JiT의 사용 사례
- 텍스트-이미지 생성 연구
- 비용 효율적인 모델 훈련
- 생성 비디오 모델 개발
- 아키텍처 혁신 테스트
- 오픈 소스 AI 실험






