多模态AI工作流：将文本、图像、语音与视频串联成一条流水线

你的多模态流水线不会因为模型幻觉而崩溃，而会因为Sora的下载URL在渲染完成61分钟后过期，或者因为90分钟的播客触碰了OpenAI的25 MB转录上限——而AssemblyAI本可以一次接收整个5 GB文件。

模型之间的每个节点都有一份合约：确切的文件格式、解锁该格式所需的套餐等级、过期窗口，以及当供应商下线模型时的降级方案。大多数教程把这四点全都略过了。

本文给你合约本身、三条实战流水线，以及你在OpenAI于2026年9月24日关闭Videos API及两款Sora 2模型（无任何替代方案）前所需的迁移计划——距今只剩19天。

为什么多模态流水线在交接节点而非模型本身崩溃

链路中的每个模型都正常运行。转录准确，图像正确，语音听起来像真人，视频成功渲染。崩溃发生在一个模型的输出要成为下一个模型的输入的那一刻——而没有人写下那个输出应该长什么样。

一个具体案例：Sora生成资产的下载URL在生成后最多保持一小时有效，输出为MP4加一张WebP缩略图和一张JPG精灵图（OpenAI）。如果你的流水线将渲染任务排队，90分钟后才执行复制步骤，渲染结果就已消失。模型本身完美地完成了工作。

交接合约：格式、套餐、过期、降级

把每个节点视为一份包含四个条款的合约，在动手构建之前就写清楚。

格式是下一个节点所要求的精确文件规格，精确到采样率和像素尺寸，而不是宽高比加一个希望。套餐是解锁该格式所需的计划等级或单个API参数，因为你所需的许多格式都隐藏在付费订阅或旧版模型名称背后。过期是制品在供应商存储中保持可访问的时长，超过则由你承担损失。降级是当供应商下线模型时你替换的方案——而这目前并非假设。

每个节点写下这四行，大部分调试问题在你开始之前就消失了。

四种会在流水线中途杀死任务的失败模式

• 上游节点输出的格式被下游节点静默降级或直接拒绝。
• 你以为API支持的功能实际上隐藏在更高套餐或旧版模型版本背后。
• 任务仍在排队时，制品在供应商存储中已过期。
• 你所依赖的模型收到下线日期，而供应商未列出任何推荐替代方案。

以下三条流水线都是同一份合约的实例：播客转节目笔记、脚本转旁白视频、产品图转广告素材集。每条流水线都在每个节点标注了格式、套餐、过期窗口和降级方案。

本文面向的是需要交付成果的人，而非在比较融合架构的人。你可以从我们目录中的18,982款在用AI工具中挑选各个组件，把它们串联起来才是无人记录的部分。

流水线1：博客文章转旁白视频

拿一篇1,200字的文章，想从另一端得到一段两分钟的旁白视频。四个节点：拆分文本、生成静态图、让静态图动起来、为其配音。每个节点都有规格要求，前一个节点必须满足，而大部分规格在你发出第一个API调用之前就要设定好。

在任何生成调用之前完成脚本分段

分段不是最后才做的格式化步骤，而是所有下游步骤继承的参数，因为你选择的语音模型决定了每次请求能发送多少内容。Eleven Flash v2.5支持40,000个字符，Multilingual v2支持10,000个，v3上限为5,000个（ElevenLabs）。选v3做表现力旁白，1,200字的脚本一次调用就能完成；选它处理9,000字的解说，你就要切分成两段，还得藏好拼接处的痕迹。

按场景边界而非句数分段。每个片段需要一个视觉概念、以秒为单位的目标时长，以及附加在元数据中的目标像素分辨率。最后一个字段就是图像节点读取的内容。

图像节点：精确匹配视频节点的像素尺寸

Sora的图像转视频路径要求参考图像与目标视频分辨率完全一致，格式为image/jpeg、image/png或image/webp（OpenAI）。完全一致指的是像素，而不是"16:9"。被要求生成宽屏静图的图像生成器会愉快地给你1792x1024，而视频调用需要的是1280x720，任务会在提交时而非渲染时失败。因此图像提示模板要带上从视频节点配置中取出的实际整数宽高值，并在排队任何其他任务之前验证返回文件的尺寸和MIME类型。在我们目录中追踪的324款AI模型中，那些允许你指定任意像素尺寸而非命名预设的模型，才是值得接入这里的选择。

视频节点：16秒和20秒片段的链式调用

sora-2和sora-2-pro都生成16秒或20秒的片段。每次延伸最多增加20秒，上限为六次延伸共120秒（OpenAI）。你的两分钟片段需要六次链式调用。

这六次调用之间的连贯性是你的问题。模型不记得第3次延伸和第4次延伸之间的叙事脉络，因此每次调用的提示词都必须重新说明场景、主体和镜头行为。为拼接处的重试预留预算。

语音节点与混流

按片段而非按视频生成旁白，这样一条失败的录音只花费一次调用。然后对齐：第4段的音频必须适配你为第4段渲染的20秒片段，通常意味着要裁剪脚本文案而非拉伸音频时长。用ffmpeg逐段混流，然后拼接。

流水线2：播客单集转短片与节目笔记

输入一个58分钟的WAV文件，输出一份逐字稿、带时间戳的章节、六个竖屏字幕短片，以及一页节目笔记。音频在第一个节点之后就不再改变格式，这正是本流水线比视频那条更简单的原因。决定它能否跑通的，是你把转录任务路由到哪个供应商，以及在请求中设置哪三个参数。

25 MB的墙，以及如何绕过它

OpenAI的转录端点上传限制为25 MB，接受mp3、mp4、mpeg、mpga、m4a、wav和webm（OpenAI）。一个58分钟的48kHz WAV文件约300 MB。你要么转码成低码率MP3然后碰运气，要么切分文件——而在任意字节边界切分音频会把单词切成两半，并使接缝之后的每个时间戳都偏移。

AssemblyAI在/v2/transcript端点每次请求最多接受5 GB（本地文件通过/v2/upload上传时为2.2 GB），处理时长从160毫秒到10小时不等（AssemblyAI）。这大约是200倍的上限。对于长音频，把整集送到那里处理，把你的LLM供应商留给下游的推理节点。

词级时间戳是剪辑的基本单元

无法从只有段落边界的逐字稿中自动剪切短片。你需要知道"好的"这个词从00:41:12.340开始，才能让剪辑点落在它之前，而不是穿过它。

OpenAI一侧有两个注意事项。SRT和VTT输出加上timestamp_granularities[]参数只在whisper-1上有效，在gpt-transcribe或gpt-4o-transcribe上均不支持（OpenAI）。如果你的流水线需要烧录字幕或按时间码剪辑，你要在链路中特意保留旧版模型，而不是将其视为技术债。ElevenLabs Scribe v2在单次响应中提供词级时间戳、说话人分离和跨90+语言的实体检测（ElevenLabs），如果你已经为TTS节点付费，这是更简洁的选择。

说话人分离只有主动开启才会生效

对于超过30秒的音频，说话人标签需要将chunking_strategy设为auto，而gpt-4o-transcribe-diarize只做说话人识别（OpenAI）。省略该参数，请求照样成功。你会得到一段流畅、清晰、完全没有标签的文字墙，而响应中没有任何地方告诉你一场双主持人访谈刚刚被折叠成了一个声音。在验证步骤中检查说话人字段，而不是靠眼睛看。

逐字稿转节目笔记、章节与社交文案

一份带词级时间戳的逐字稿可以衍生出四种制品，无需任何进一步的音频处理：从话题转换中提取章节标记、为节目笔记页生成摘要段落和链接列表、按引用密度评分的短片候选排名，以及根据这些入出点实际渲染的竖屏短片。把同一份逐字稿并行发送给各自，使用不同的提示词。如果你在构建前需要格式参考，我们目录中有201个AI播客正在使用大致相同的技术栈发布内容。

流水线3：产品图转广告变体

一张鞋子的棚拍照片变成十二张符合品牌调性的静态图，再变成四个8秒的付费社交动态广告。节点是图像输入、图像输出、视频输出，有趣的工程点在第二和第三节点之间——视觉模型检查图像生成器的产出，并决定是否可以发布。

以视觉模型审核作为质检关卡

生成的产品图以无聊的方式失败：logo位置错误、鞋孔六个而不是五个、阴影与主光源方向矛盾。你不想让人工逐一盯着120个变体看，所以你把它们连同原始照片和品牌规格说明一起发给视觉模型，要求给出通过/失败判断及原因字符串。

Claude在200k上下文模型上每次请求最多处理100张图像，在其他模型上最多600张，claude.ai上每条消息限20张，单张图像上限为8000x8000像素和10 MB（Claude文档）。咬你的不是这些数字。

咬你的是32 MB的标准请求大小限制。十二张4K PNG在你接近100张图像之前就会突破这个限制，这就是为什么Anthropic建议通过Files API上传并用file_id引用每张图像，而不是内联base64（Claude文档）。从第一天起就用这种方式构建审核节点。等批量规模增长后再改造，意味着要同时重写请求构造器和重试逻辑。

帧采样是直接的成本杠杆

Claude按28x28像素的视觉token计费，计算方式为⌈宽度/28⌉ × ⌈高度/28⌉。一帧3840x2160的图像在高分辨率档消耗4,784个视觉token，降分辨率后在标准档消耗1,560个，以Claude Opus 5的$5/M输入价格计算，每千帧4K图像约$23.92（Claude文档）。发送前先降分辨率，除非质检依赖针脚或小字号等精细细节。

同样的算法适用于视频分析节点。以24fps审核四个8秒广告，如果不加考虑就是768帧。以2fps采样，检查64帧，你的审核费用下降十二倍，同时不遗漏任何一个场景切换。

批量处理图像而不触碰请求上限

按载荷字节数而非图像数量分块。把变体排序分组，使每组的引用总量保持在约25 MB以内，在每个批次中都保留原始照片作为比对锚点，并以全分辨率单独重发失败项，这样原因字符串才有参考价值。我们目录AI图像与照片工具中列有727款图像生成器和342款图片编辑工具，几乎没有一款暴露了你在这里需要的批处理机制。那部分始终是你自己的代码。

交接规格表：在每个节点应要求什么

先写合约，再写代码。链路中的每个节点有三件事需要确定：你要求的精确输出格式、解锁它的套餐等级或参数，以及制品在消失之前的存活时长。搞错这些，问题会在两个节点之后以无从追溯的质量投诉形式浮现。

音频：决定广播级输出的套餐门槛

ElevenLabs将pcm_44100、pcm_48000、wav_44100和wav_48000置于Pro订阅后，将mp3_44100_192置于Creator套餐后（ElevenLabs API参考）。因此在免费或入门套餐下，无论语音模型质量多好，你的视频编辑收到的都是128kbps或以下的有损MP3。这是一道由计费而非推理决定的质量上限。

如果你的交付物是需要达到-16 LKFS、真实峰值不超过-1 dBFS的播客（Apple Podcasts），你需要无损输入，最后统一编码一次。对128kbps MP3进行响度归一化再重新编码，等于叠加了两次有损生成。把Pro套餐作为生产成本列入预算，而不是作为升级选项。

视频：过期URL与附属资产

Sora不会只给你一个文件。一次完成的渲染给你MP4、WebP缩略图和JPG精灵图，下载URL最多保持一小时有效（OpenAI视频指南）。该节点的工作是在收到完成事件时立即复制到你自己的对象存储，而不是等到夜间批次。错过窗口，渲染结果就无法恢复。

文本与时序：下游步骤所必需的字段

下游步骤硬性依赖特定字段，而涉及时序的字段正是那些静默崩溃的根源。SRT和VTT输出加上timestamp_granularities[]只在whisper-1上有效，在较新的转录模型上不支持（OpenAI语音转文本）。任何需要剪辑或烧录字幕的场景，都必须在合约中要求词级时间戳。

无论你从我们目录中的128款AI框架中选择哪个编排工具，都先用二进制节点测试它。在模型之间传递JSON才是简单的部分。

自动化平台还是手动胶水

规则很简单：让平台决定发生什么以及何时发生，让你自己的代码负责字节的移动。任何涉及大文件或需要赶在过期窗口前完成的事情，都应该放在一个有对象存储支撑的脚本中。

平台的优势所在

触发器、廉价步骤的重试、审批关卡，以及最后的扇出分发。Zapier宣称拥有9,000+款应用集成，接入了Zaps、Tables、Forms和Zapier MCP，这个目录才是使用它的真正理由。将完成的节目笔记推送到你的CMS、将短片链接排入内容日历，这是连接器的工作，自己写这些连接器对你毫无帮助。

人工介入也适合放在这里。一个把四个广告变体发到Slack、等待点赞、再放行发布步骤的Zap，需要二十分钟搭建，却是阻止幻觉产品声明进入你付费社交预算的唯一屏障。

二进制媒体让它失效的地方

无代码节点传JSON很顺畅，传文件很糟糕。一个58分钟的WAV文件在OpenAI转录端点接受前必须切成每块25 MB以下的分段（OpenAI）。一段两分钟的Sora渲染需要最多六次链式延伸调用，每次20秒（OpenAI），而下载URL在生成后最多一小时内有效（OpenAI）。在制品倒计时的情况下跨六次调用处理重试逻辑，这是一个程序，不是一块画布。

有两个平台确实能处理媒体。n8n在节点之间以二进制数据形式保留文件，而不是强制进行base64往返，其代码节点就在代理节点旁边（n8n）。Descript通过API而非GUI暴露转录、短片和字幕功能（Descript）。

中间路线：平台负责控制流，代码负责字节

每个节点写入你自己的存储桶并返回一个键。平台传递键和状态码，而非文件本身。这样分段处理也能降低计算消耗：OnePiece系统报告，将整体式流水线拆解为分阶段服务后，Wan2.1图像转视频的GPU消耗降低了16倍（arXiv）。

如果你在挑选组件，我们目录追踪了550款AI代理与编排工具以及301个开源AI仓库。负责字节搬运的胶水代码通常就在这些仓库里，因为没有供应商出售那部分。

交付规格：在发布平台处满足其要求

最后一个节点不是渲染，而是上传，而上传也有一份规格表。

视频：上传所需的码率和音频指标

YouTube公布了按分辨率推荐的交付码率：1080p SDR为8 Mbps，1440p为16 Mbps，4K为35–45 Mbps，音频以48 kHz、384 kbps立体声的AAC-LC、Opus或Eclipsa格式交付（YouTube帮助）。如果你的视频节点交给你的文件码率远低于这些数字，不要在导出时提升码率，那只是在浪费编码时间来填充压缩伪像。你应该做的是让编码步骤读取源分辨率并选择对应的目标值，这样一个1080p的Sora渲染就不会因为六个月前有人硬编码在配置里而被强制套用4K梯度。

对于旁白内容，音频指标比视频指标更重要。一个从44.1 kHz源生成的48 kHz 384 kbps AAC音轨意味着某处要做重采样，而你希望这次重采样在你自己的ffmpeg调用中发生，在你看得见的地方。

音频：编码前的响度预处理

Apple Podcasts要求-16 dB LKFS ±1 dB，真实峰值不超过-1 dB FS，按ITU-R BS.1770-5测量，并明确指出应在编码前将音频预处理到该目标（面向创作者的Apple Podcasts）。这是操作顺序，不是偏好。对完成的MP3进行响度归一化，意味着你在以不同电平烘焙的有损伪像上推动增益，而解码后的MP3真实峰值可能已经超过编码器所见的值。先对WAV做响度处理，再编码。

这就是为什么链路早期的TTS格式套餐一直很重要。把128 kbps MP3交给响度归一化器，比交给它PCM的起点差得多，而下游再精心处理也无法弥补这一点。

生成资产的来源记录与标注

在设计流水线时就决定来源记录方案，不要等到平台来问才想。Google的SynthID在创建时为生成的媒体添加水印，这意味着它只有在你的流水线不将其剥除或重编码的情况下才能随资产传播。从生成到上传之间的每一次ffmpeg处理都有可能丢失这个信号，因此要追踪哪个节点引入了这个文件，并在你自己的元数据存储中保留模型、提示词和时间戳的记录，而不是寄希望于容器来携带这些信息。

为替换做准备：每个视频节点下的弃用悬崖

如果你的视频节点调用Sora，你有19天时间。OpenAI于2026年3月24日宣布，Videos API以及sora-2和sora-2-pro两款模型（含快照sora-2-2025-10-06、sora-2-2025-12-08和sora-2-pro-2025-10-06）将于2026年9月24日关闭，无任何推荐替代模型（OpenAI弃用说明）。替代方案一栏为空，意味着你自己选择继任者，而且要在截止日期之前选好，而不是之后。

抽象节点，使替换成为一次配置变更

解决方案是为每个生成节点封装一个薄适配器。你的流水线向适配器传递一个标准化的任务：提示词、参考图像路径、目标分辨率、以秒为单位的时长、输出存储桶键。适配器负责所有供应商相关的细节。Sora要求参考图像与视频分辨率完全匹配的规则、16秒和20秒片段以20秒步长延伸至120秒上限的规则、1小时下载过期的规则（OpenAI视频生成）——这些都不会泄露到你的编排代码中。

这样替换供应商就是改一个配置值，而不是重写代码。现在就对照Runway的模型文档验证第二个适配器，用相同的十条提示词跑两个，并让输掉的那个保持待机状态。

图像和音频系列也有各自的日期，所以把这当作周期性维护而非一次性应急处理。我们的目录存在的部分原因就是让你能追踪324款已收录模型的发布与下线情况。

针对当前运行流水线的迁移检查清单

1. 1在每个代码库和工作流JSON中grep查找sora-2、sora-2-pro和Videos API的基础路径。包括定时任务和一次性脚本——被遗忘的调用往往就在那里。
2. 2在更换供应商之前，用你自己的任务schema对每个命中点封装适配器，这样替换和重构不会发生在同一次提交中。
3. 3用十条真实提示词跑备选供应商，并在分辨率、片段时长和运动质量上对比输出结果。
4. 4为每个供应商、每个模型系列的已发布下线日期提前两周设置日历提醒。
5. 5在每次渲染时记录模型ID和快照，这样在模型下线后你依然能回答"是什么生成了这个资产"。

常见问题

多模态AI工作流，实际上是什么意思？

它是一串API调用，其中一个模型的输出文件成为下一个模型的输入文件，每个节点都有你必须满足的格式合约。一条典型的链路是：逐字稿→脚本→静态图→视频→旁白→最终渲染，每个箭头都是一个错误分辨率或编解码器会打断运行的地方。Sora的图像转视频节点很好地说明了这些合约有多字面：参考图像必须与目标视频分辨率完全一致，且格式为image/jpeg、image/png或image/webp，因此上游的图像步骤需要视频步骤的像素尺寸，而不只是宽高比（OpenAI视频生成文档）。把流水线想成一组交接，而不是一组工具。

如何在步骤之间串联AI工具而不损失质量？

把每个节点的输出规格固定到链路最后一步所需的标准，然后向前倒推。质量损失通常来自套餐等级或默认参数，而非模型本身：ElevenLabs将pcm_44100、pcm_48000、wav_44100和wav_48000置于Pro订阅后，将mp3_44100_192置于Creator套餐后，因此入门套餐账户无论你是否有意，都会给你的编辑一个有损MP3（ElevenLabs语音合成参考）。每个生成制品都要立即复制到你自己的对象存储，因为Sora的下载URL在生成后最多一小时内有效（OpenAI视频生成文档）。采样率也是成本杠杆，不只是质量因素：Claude在高分辨率档将一帧4K图像定价为4,784个视觉token，在标准档为1,560个，以Opus 5的$5/M输入价格计算，每千帧4K图像约$23.92（Claude视觉文档）。

从文本转语音步骤到视频编辑器，应该传递什么音频格式？

无压缩的48 kHz WAV或PCM，在ElevenLabs上对应wav_48000或pcm_48000，需要Pro套餐或以上（ElevenLabs语音合成参考）。把128 kbps MP3交给编辑器，等于把压缩伪像烘焙进去，之后的每次编码都会保留它。如果目标是YouTube，最终交付格式为AAC-LC、Opus或Eclipsa，48 kHz，384 kbps立体声（YouTube上传编码设置）；如果是播客，Apple要求在编码前将响度预处理到-16 dB LKFS ±1 dB，真实峰值不超过-1 dB FS，按ITU-R BS.1770-5测量（Apple Podcasts音频要求）。从有损中间格式出发，这两个目标都无法可靠达到。

为什么我的播客转录在处理完整单集时会失败？

OpenAI的转录端点上传限制为25 MB，接受mp3、mp4、mpeg、mpga、m4a、wav和webm，因此任何在合理码率下超过约半小时的内容都必须切成每块25 MB以下的分段（OpenAI语音转文本文档）。这就是为什么长音频流水线通常会把转录任务路由到LLM供应商之外：AssemblyAI在/v2/transcript端点每次请求最多接受5 GB（本地上传为2.2 GB），处理时长从160毫秒到10小时，大约是OpenAI上限的200倍（AssemblyAI预录音频文档）。另有两种看起来成功的失败模式：说话人分离在不将chunking_strategy设为'auto'的情况下对超过30秒的音频会静默返回无标签文本；SRT/VTT输出加timestamp_granularities[]只在whisper-1上有效，在gpt-transcribe或gpt-4o-transcribe上均不支持（OpenAI语音转文本文档）。如果你需要词级时间戳用于自动剪辑，ElevenLabs Scribe v2支持90+语言的词级时间戳和说话人分离（ElevenLabs模型）。

AI内容流水线应该在n8n还是Zapier中搭建，还是自己写代码？

任何移动二进制媒体的节点都要写代码，周边的触发器、审批和通知使用自动化平台。Zapier的优势是广度，供应商声称9,000+款应用集成，外加Zaps、Tables、Forms和Zapier MCP（Zapier开发者平台），这正是你想要的"Airtable新建行→触发渲染→把链接发到Slack"场景的正确选择。对于一个带一小时过期URL的200 MB MP4，它就是错误的层级。n8n介于两者之间，其代理节点和二进制直通处理让你可以在工作流内部保留文件（n8n Tools Agent文档），而且把链路拆分成阶段而非单体架构有真实的基础设施理由：OnePiece论文报告显示，将AIGC流水线分解为Wan2.1图像转视频的分阶段微服务后，GPU消耗降低了16倍（arXiv）。

2026年9月关闭后，视频流水线中用什么替代Sora？

OpenAI于2026年3月24日宣布，Videos API以及sora-2和sora-2-pro模型（快照sora-2-2025-10-06、sora-2-2025-12-08和sora-2-pro-2025-10-06）将于2026年9月24日关闭，未列出任何推荐替代模型（OpenAI弃用说明）。从2026年9月5日起还有19天，实际可行的做法是今天就把你的视频节点放在一个薄接口后面，并指向另一个供应商，以Runway的API作为最直接的替代候选进行评估（Runway模型文档）。同时要为分块逻辑的重写预留预算，因为Sora的限制塑造了很多流水线：16秒和20秒片段、每次延伸最多增加20秒、最多六次延伸共120秒上限，这使得一段两分钟的旁白片段需要六次链式调用（OpenAI视频生成文档）。如果你在寻找替代方案，我们目录目前追踪了452款AI视频生成工具。