跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Linum P-JiT

Linum P-JiT 是由 Linum 开发的实验性 2B 参数文本到图像模型,Linum 是一个专注于生成视频模型的两人研究实验室。这个概念验证模型展示了一种新颖的 Pyramid-JiT 架构,以大幅降低约 21K 美元的训练成本实现高质量图像生成。它代表了朝着更高效和可及的动画创作工具迈出的重要一步。

访问URL
分享
Linum P-JiT 截图
Linum P-JiT 截图

Linum P-JiT 是由 Linum 开发的实验性文本到图像模型,Linum 是一个致力于从零开始训练生成视频模型的两人研究实验室。这个特定模型是一个 2B 参数的 Pyramid-JiT(P-JiT),作为他们正在进行的研究的概念验证,旨在通过经济高效和可控的生成工具实现动画的民主化。该模型的训练成本约为 21,038 美元,展示了在相对较低的计算开销下获得高质量结果的潜力。

阅读更多

P-JiT 的核心创新在于其通过消除传统的变分自编码器(VAE)来实现更激进的压缩和更快的学习,从而改变了扩散模型架构。相反,扩散模型学习一个专门为其用例构建的潜在空间,从而实现更大的压缩和改进的生成。该像素空间模型在比 Linum v2 少 11 倍的样本中收敛,并提供了四倍更激进的令牌减少,代表了一个 512x512 的图像,使用的令牌数量与之前用于 256x256 图像的相同。这意味着注意力上下文窗口减少了四倍,显著降低了训练和推理成本。

P-JiT 架构包含一个文本和图像处理管道,每种模态在合并到 22 个相同的 DiT 块流之前,都会经过单模态的 "精炼" DiT 块。文本表示来自一个冻结的 Qwen3.5-4B 模型,而图像被分割成 32x32 的补丁并压缩到一个 1024 维空间。该模型还具有与 DINOv3-L 对齐的 PixelREPA 读出,以及沿主干的额外线性读出头,以通过预测最终图像的低分辨率版本来加速收敛。

训练分为几个阶段进行,首先在 512x512 分辨率下进行 610 万个样本的训练,然后过渡到 1024x1024 分辨率进行 500 万个样本的训练。采用了噪声调度的课程,最初集中在高噪声上以学习基本结构,然后扩大分布以获取细粒度细节。训练后涉及有限差分流优化(FDFO)的变体,结合 JEV-Image 和人类参与的评审。尽管该模型显示出良好的结果,但在全身生成、多个实体、多个人交互和世界知识方面存在局限性,这些都是其规模模型的常见问题。它没有使用渲染文本的图像进行训练,因此无法生成文本或海报。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • Pyramid-JiT(P-JiT)架构:新颖的像素空间模型,实现高效生成

  • 2B 参数 DiT:核心扩散变换器模型大小

  • 4B 文本编码器:利用冻结的 Qwen3.5-4B 模型进行文本表示

  • 无 VAE 设计:消除 VAE,实现更激进的压缩和更快的学习

  • 4 倍令牌减少:以比 Linum v2 少 4 倍的令牌表示 512x512 图像

  • 11 倍更快收敛:以显著更少的训练样本获得结果

  • 多阶段训练:从 512x512 进展到 1024x1024 分辨率

  • 课程噪声调度:调整噪声分布以学习结构和细节

  • PixelREPA 读出:将潜在空间与 DINOv3-L 对齐,以改善细节学习

  • 线性读出头:在四分之一和二分之一分辨率下预测清晰图像,以加速收敛

  • 有限差分流优化(FDFO):用于训练后精炼

  • Apache 2.0 许可证:权重在开源许可证下发布

  • 经济高效的训练:以约 21K 美元实现高质量结果

  • 专注于生成视频研究:朝着未来视频模型迈出的一步

  1. 理解架构:查看 P-JiT 架构的详细信息,包括文本和图像处理流程。

  2. 检查训练方案:了解多阶段训练过程、噪声调度和分辨率过渡。

  3. 探索模型局限性:理解当前在全身生成、多个实体和文本生成方面的局限性。

  4. 访问训练设置:参考附录 A 获取详细的训练参数和配置。

  5. 审查成本细目:查看训练前和训练后的计算成本细目。

  6. 分析示例失败:研究提供的模型失败示例,以掌握当前能力和改进领域。

  • 文本到图像生成研究
  • 经济高效的模型训练
  • 生成视频模型开发
  • 架构创新测试
  • 开源 AI 实验

Linum P-JiT 评价

加载中...

与 Linum P-JiT 类似的热门AI工具

Wan 2.2

AI 应用

来自阿里巴巴Tongyi实验室的开源混合专家视频生成模型,用于文本到视频和图像到视频的创作,支持最高720p的分辨率,具备电影级控制和可下载的模型权重。

AI 视频生成器媒体与娱乐

AI 视频生成器 排名第 194 位

查看工具

AI 应用

来自阿里巴巴Tongyi实验室的开源混合专家视频生成模型,用于文本到视频和图像到视频的创作,支持最高720p的分辨率,具备电影级控制和可下载的模型权重。

AI 视频生成器媒体与娱乐
AI 视频生成器 排名第 194 位

生成性人工智能云提供超过500个模型用于图像、视频和音频创作。它提供统一的API、降低的成本以及零日模型访问,以实现更快、更顺畅的创意工作流程。

机器学习平台媒体与娱乐
查看工具

提供超过500个模型用于图像、视频和音频创作。它提供统一的API、降低的成本以及零日模型访问,以实现更快、更顺畅的创意工作流程。生成性人工智能云提供超过500个模型用于图像、视频和音频创作。它提供统一的API、降低的成本以及零日模型访问,以实现更快、更顺畅的创意工作流程。

机器学习平台媒体与娱乐
查看 AI 应用 Top 250

HunyuanImage 3.0 是一个强大的本地多模态模型,专为图像生成而设计。它在文本到图像和图像到图像任务中表现出色,提供了先进的创意编辑和智能提示增强能力。

AI 模型与大语言模型
查看工具

强大的本地多模态模型,专为图像生成而设计。它在文本到图像和图像到图像任务中表现出色,提供了先进的创意编辑和智能提示增强能力。HunyuanImage 3.0 是一个强大的本地多模态模型,专为图像生成而设计。它在文本到图像和图像到图像任务中表现出色,提供了先进的创意编辑和智能提示增强能力。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

FluxPicture 提供免费的 AI 图像和视频生成器,采用 FLUX AI 实现多样化的图像风格和照片级真实感效果。它还集成了 Krea 用于生成高质量图像,以及 Wan 2.2 用于视频生成,让用户能够根据文本提示创作出令人惊叹的视觉内容。

AI 图像生成器
查看工具

提供免费的 AI 图像和视频生成器,采用 FLUX AI 实现多样化的图像风格和照片级真实感效果。它还集成了 Krea 用于生成高质量图像,以及 Wan 2.2 用于视频生成,让用户能够根据文本提示创作出令人惊叹的视觉内容。FluxPicture 提供免费的 AI 图像和视频生成器,采用 FLUX AI 实现多样化的图像风格和照片级真实感效果。它还集成了 Krea 用于生成高质量图像,以及 Wan 2.2 用于视频生成,让用户能够根据文本提示创作出令人惊叹的视觉内容。

AI 图像生成器
查看 AI 应用 Top 250

Imgex.ai

AI 应用

Imgex.ai 是一个 AI 图像和视频工作室,您可以在一个基于积分的工作空间中生成、编辑和动画化视觉内容,涵盖多种模型——从文本到图像、参考编辑到图像到视频。

AI 图像生成器媒体与娱乐
查看工具

AI 应用

AI 图像和视频工作室,您可以在一个基于积分的工作空间中生成、编辑和动画化视觉内容,涵盖多种模型——从文本到图像、参考编辑到图像到视频。Imgex.ai 是一个 AI 图像和视频工作室,您可以在一个基于积分的工作空间中生成、编辑和动画化视觉内容,涵盖多种模型——从文本到图像、参考编辑到图像到视频。

AI 图像生成器媒体与娱乐
查看 AI 应用 Top 250

Yolly AI

AI 应用

Yolly AI 是一个一体化的 AI 视频和图像生成器,结合了领先的模型,从文本、图像或现有视频中创建影院级 4K 视频和高分辨率图像。

AI 视频生成器媒体与娱乐

AI 视频生成器 排名第 225 位

查看工具

AI 应用

一体化的 AI 视频和图像生成器,结合了领先的模型,从文本、图像或现有视频中创建影院级 4K 视频和高分辨率图像。Yolly AI 是一个一体化的 AI 视频和图像生成器,结合了领先的模型,从文本、图像或现有视频中创建影院级 4K 视频和高分辨率图像。

AI 视频生成器媒体与娱乐
AI 视频生成器 排名第 225 位

Vidofy

AI 应用

一个集成的AI工作室,通过500多个AI模型(如Veo、Runway、Kling和Seedance)从提示生成视频、图像和声音,所有功能均在一个账户中共享积分。

AI 视频生成器媒体与娱乐

创建动画 排名第 129 位

查看工具

AI 应用

一个集成的AI工作室,通过500多个AI模型(如Veo、Runway、Kling和Seedance)从提示生成视频、图像和声音,所有功能均在一个账户中共享积分。

AI 视频生成器媒体与娱乐
创建动画 排名第 129 位

Flux Lora

AI 应用

Flux Lora 是一个独立的平台,专注于图像生成、模型比较和管理的 LoRA 训练。它提供了一个通用的 AI 工作室,用于图像和视频模型,并计划推出专用工作流程和策划的模型库。

AI 图像生成器
查看工具

AI 应用

独立的平台,专注于图像生成、模型比较和管理的 LoRA 训练。它提供了一个通用的 AI 工作室,用于图像和视频模型,并计划推出专用工作流程和策划的模型库。Flux Lora 是一个独立的平台,专注于图像生成、模型比较和管理的 LoRA 训练。它提供了一个通用的 AI 工作室,用于图像和视频模型,并计划推出专用工作流程和策划的模型库。

AI 图像生成器
查看 AI 应用 Top 250
1/8