开源AI与SaaS的选择取决于两个数字：你的月度支出和并发请求量。人员规模对这两者而言都是糟糕的代理指标。DoiT自家工程师在使用量计费的Claude Code上平均每位开发者每月花费$2,200，这意味着大约7到12个重度用户就能触发一个月费$15K–$25K的节点。但在任意时刻，一个团队中只有10%–20%的成员有请求在处理中，所以10名开发者同时产生的并发会话不过两三个，半个节点的容量就白白闲置了。
在你考虑GPU价格之前，先检查一下那个没有人拿来做基准的第三选项：DeepInfra以每百万token $0.10输入/$0.32输出提供Llama-3.3-70B服务。权重完全相同，多租户规模带来的成本优势你根本无法复制。下文的测算会针对文本、图像、语音转写和向量层四种场景分别进行。
盈亏平衡是支出水平与并发量的交集
决定是否应该自托管的是两个数字，团队规模不在其中。第一个是你目前每月在AI上的实际支出，第二个是同一时刻有多少请求在并发处理。其他一切，包括模型选择，都是这两者的下游结果。
在模型选择之前，决定一切的两个数字
无论你让节点满载还是让它在凌晨三点闲置，GPU节点的费用都一样。这就是整个对比的核心不对称性：SaaS按token计费，节点按小时计费。所以问题在于：你的月度账单是否已经超过了一个你能让其保持忙碌的服务器的固定成本。
DoiT工程团队在使用量计费的Claude Code企业版上平均每位开发者每月约$2,200，这意味着自托管的盈亏平衡点（月费$15K–$25K）大约对应7到12个重度AI席位。这个门槛远低于大多数TCO指南反复提到的"你需要数百名工程师"。这是一个支出门槛，而非人员门槛。12个几乎不用AI助手的开发者达不到，而7个整天运行AI代理的开发者却可以。
并发量是第二个数字，也是团队最容易搞错的一个。DoiT的论点是：在任意时刻，一个开发团队中只有10%–20%的成员有请求在处理，所以10名开发者代表两到三个并发会话，最多占半个节点的容量。你为8块H100付了钱，实际只用了三四块。应该按峰值并发请求数和目标token吞吐量来规划，然后再确认这是否能装进一个节点，之后才考虑价格。
为什么"我们有50名工程师"是错误的触发条件
只有当每人的使用量均匀时，人员规模才与支出相关，而这种情况从来不会发生。一个50人团队，其中8人持续运行编程代理、42人偶尔使用聊天，其节点需求与一个8人重度用户团队完全相同，账单也大致相当。数清重度用户的席位。
在对比我们目录中收录的开放权重模型与任何其他选项之前，先把这两个数字算清楚。在确认节点能否保持繁忙之后再选模型——在满载的服务器上，一个落后前沿6个百分点的模型是合理的权衡；而在只有四分之一负载的服务器上，则是代价高昂的错误。
开源AI与SaaS：2026年自托管的真实成本
从价目表开始，因为这是唯一你能直接查到的数字。自托管预算中的其他一切都是你需要在电子表格中自行论证的估算。
租用GPU价目表：可用于推理的芯片价格相差约7倍
RunPod公开定价列出：H100 SXM 80GB在安全云为$3.29/hr、在社区云为$2.69/hr；H200 141GB为$4.59/$3.59；A100 PCIe 80GB为$1.39/$1.19；L40S 48GB为$0.99/$0.79；B200 180GB为$6.79/$5.98（RunPod）。最便宜到最贵的可用于推理的显卡之间约有7倍差距。如果你的工作负载是7B或8B模型且上下文适中，L40S系列是最值得参考的价格，而大多数TCO文章根本不提它。
Lambda对单张H100 SXM按需收费$4.29/hr，8卡节点降至每GPU $3.99/hr，H100 PCIe为$3.29/hr，B200 SXM6为$6.69–$6.99/hr（Lambda）。按此价格，一个8xH100节点约$31.92/hr，以100%正常运行时间计算，730小时的月费约为$23,300。没有人能做到100%正常运行时间，这正是下一个数字的意义所在。
承诺期折扣是你能掌控的最大单一杠杆。Together AI对HGX H100按需收费$3.99/GPU·hr，7至180天以上的预留期为$3.19–$3.69/GPU·hr（Together AI）。约打八折，但只有在你对负载有足够把握愿意签约时才能享受。
供应商倍数：同一个8xH100节点一个月的费用从$12,600到$71,800
DoiT对相同的8xH100节点730小时月费在各供应商之间进行了定价：Nebius spot约$12,600，Nebius按需约$22,500，AWS约$40,200，GCP约$64,100，Azure约$71,800（DoiT）。完全相同的硅片，5.7倍的价差。你选择哪个供应商对迁移测算的影响，比你选择哪个模型更大。所以如果你因为有承诺消费而用超大云厂商的标价做评估，你比较的是自托管最差版本与SaaS的对比。
| 供应商 / 显卡 | 每小时价格 | 备注 |
|---|---|---|
| RunPod L40S 48GB | $0.99 / $0.79 | 安全云 vs 社区云 |
| RunPod H100 SXM 80GB | $3.29 / $2.69 | 安全云 vs 社区云 |
| Lambda H100 SXM（8卡节点） | $3.99 per GPU | ~$23,300 / 730小时月费 |
| Together AI HGX H100 | $3.99按需，$3.19–$3.69预留 | 7–180天以上期限 |
没人计算的费用项：闲置时间、冗余和维护人力
租用节点按时钟时间计费。你的API账单跟着token走，而你的GPU账单跟着你可能从未使用的小时数走。如果你的流量集中在工作日的工作时间，你为730小时中约168小时的有效容量付费，剩余的全部白白消耗，所以在与API账单对比之前，你实际的token成本要乘以四倍。如果服务面向用户，还要加一个备用节点或备用API密钥，因为单节点没有故障转移。再加上负责给vLLM打补丁、轮换模型版本、监控KV缓存压力、在凌晨两点响应告警的工程师。我们机器学习平台目录中的供应商会以一定利润管理其中部分工作，通常比你为此额外花半个人力成本更划算。
所以一个可以答辩的月度数字是：按供应商实际价格计算的节点使用时数，除以你的实际正常运行率，再加上冗余成本，再加上摊销后的工程师时间。把这四项都算完再做对比。
消灭大多数自托管方案的第三选项
几乎所有对比开源与SaaS的文章都把GPU账单放在前沿API账单旁边然后宣布获胜者。这种对比跳过了大多数团队应该选择的选项：让别人替你在多租户环境下运行开放权重模型，按token计费。
DeepInfra以每百万token $0.10输入/$0.32输出提供Llama-3.3-70B-Instruct-Turbo，Meta-Llama-3.1-8B为$0.02/$0.04（DeepInfra）。完全相同的检查点，你自己下载也是这些。相同的许可条款。区别在于他们的H100在数千名客户中接近满载运行，而你的H100只能在周日凌晨三点跑着你那点流量。
完全相同的开放权重，别人的利用率曲线
把算术拿去和DeepInfra自家的专用层对比，差距就尴尬了。一块专用H100 80GB在那里的价格是$2.20/hr（DeepInfra），730小时月费为$1,606。按$0.32每百万输出token计算，同样的$1,606在无服务器端点上可以买到约50亿个输出token。分摊到该月的43,800分钟，你的单块H100每分钟必须持续输出约115,000个token，每分钟如此，才能在价格上与API持平。而真实部署中，有相当多的时间是闲置的。
购买专用容量是出于单价以外的原因：数据驻留、无第三方留存、你可以控制的延迟底线、自定义LoRA、没有人托管的模型。这些理由都是真实的。它们是采购决策层面的理由，而非电子表格层面的理由，当你提案时应该直接说清楚。
租用权重不再更便宜的时候
小模型市场已经内卷到一起。GPT-5-nano的价格是每百万token $0.05/$0.40，GPT-5是$1.25/$10.00（OpenAI），这意味着一个专有模型现在比你自己在硬件上维持一个8B开放模型的成本还低。廉价开放权重API和廉价专有API在同一维度竞争，而自托管正在输给两者。
仔细选择你的基准，因为它决定答案。Anthropic的价格区间从Fable 5.1的$10/$50每百万token，到Haiku 4.5的$1/$5（Anthropic）。拿自托管与该区间的顶端对比，它看起来很划算。拿它与Haiku或DeepInfra的Llama对比，GPU节点就必须在控制权而非成本上证明自己的价值。
四种模态，四个完全不同的盈亏平衡点
自托管语音转写的团队几乎从不自托管文本推理，原因就是算术。每种工作负载有其自己的SaaS底价、自己的GPU负载模式和自己的许可规则。用一个盈亏平衡模型套用全部四种，你会有三次得出错误答案。
文本推理：翻转点最宽、最难预测
这种模态的翻转点变动最大，因为你参照的API价格本身就跨越一个数量级。Anthropic对Sonnet 5收取每百万输入/输出token $2/$10，Haiku 4.5为$1/$5（Claude定价），而OpenAI列出GPT-5-mini为$0.25/$2.00，GPT-5-nano为$0.05/$0.40（OpenAI API定价）。选择不同的基准层，盈亏平衡点就从每月数亿token摆到数十亿token之间。
DeepInfra上一块专用H100以$2.20/hr全时运行，月费约$1,606（DeepInfra定价）。与GPT-5-nano的混合价格对比，你需要的体量是大多数团队永远达不到的。与Fable 5.1的$10/$50每百万token对比（Claude定价），同一个节点回本要快得多。在建模之前，先确定你的工作负载需要哪个层级，如果还在筛选开放权重，可以浏览模型与LLM列表。
图像生成：许可证在GPU之前就做了决定
这里GPU的算术是容易的部分，许可证才是陷阱。据广泛报道，FLUX.1 [dev]的权重采用非商业许可证，这意味着你和商业产品之间还隔着一个需要付费的Black Forest Labs许可证，所以在预算硬件之前，先自己阅读条款。没有人在对比开放图像模型和Midjourney时提到这一点，而这恰恰是能扭转决策的那个费用项。
突发性的图像工作最难通过测试。营销团队在每周二批量生成，其余时间显卡闲置，而闲置时间与忙碌时间的计费相同。RunPod社区云上的L40S以$0.79/hr（RunPod定价）足够便宜，使得稳定批量作业能轻松越过盈亏平衡点，这就是为什么定时管道是这里有效的形态。我们目录中有727个图像生成工具，许可条款的差异比输出质量的差异更大。
语音转写：翻转最快的模态
但实际上通常不是，原因是AssemblyAI。OpenAI对Whisper和gpt-4o-transcribe收取$0.006/分钟，gpt-4o-mini-transcribe为$0.003/分钟，即每音频小时$0.36和$0.18（OpenAI API定价）。与$0.36/小时对比，一台$0.79/hr的L40S在假设批量吞吐量超过实时速度的前提下，大约每月几百个音频小时即可盈亏平衡。这个门槛确实很低。然后AssemblyAI把Universal-2定价为$0.15/小时，Universal-3.5 Pro为$0.21/小时（AssemblyAI定价），你的盈亏平衡点就往上移了2倍多。
自托管仍然完胜的唯一场景是流式传输。AssemblyAI按WebSocket会话持续时间计费，包括空闲连接时间（AssemblyAI定价）。如果你在会议中保持开放的socket连接，而人们并没有在说话，你就在为沉默付费。自托管端点按GPU秒而非时钟时间计费。
RAG和向量层按查询量计算
向量搜索的盈亏平衡以每月查询量来衡量，流传的数字大约在6000万到8000万次查询之前，自托管无法胜过托管定价。把这当作经验法则而非价目表，因为它随索引大小、副本数量和你愿意花费的延迟预算而变化。在此范围以下，你让一名工程师看守一个索引，而托管服务的费用比他的工资还低。嵌入生成是另一个单独的计算，也是这里讨论的所有内容中最容易自托管的，因为模型小且工作可以完美批处理。
四种工作负载，四个门槛，没有理由同时迁移所有内容。
购买硬件？2026年内存危机说：租用
你读到的任何在2026年中之前写成的回报率计算，都是基于已不复存在的价格。当时的建议是合理的：买一台服务器，三年摊销，在第14个月击败租用价格。然后内存市场崩了。
同一款GPU价格上涨约87%
NVIDIA RTX PRO 6000 Blackwell 96GB是最清晰的例证，因为产品本身没有变化。它在2025年初某零售商标价$8,565（预售最低价$7,673），2026年6月涨至$13,250，2026年8月达到$16,000（igor'sLAB）。大约18个月内涨幅约87%，NVIDIA没有发布任何官方解释。
把这个代入2025年的电子表格，回本月份大约翻倍。你当初估算$12,000全配的单卡工作站，现在还没买RAM就已经接近$20,000了。
为什么HBM吃掉了DRAM产能
GPU需求只是故事的一半。真正重要的是这种需求对内存晶圆厂做了什么：高带宽内存目前占全球DRAM晶圆产能的估计23%，而2024年这一比例只有8%，因为HBM每片晶圆带来的收入是传统DDR5的3–5倍（DatacenterDisk）。晶圆厂把产能转移到钱多的地方。结果是服务器DDR5 ECC RDIMM价格在2025年Q1到2026年Q1之间上涨了约100%到116%，所以GPU周围的主机内存受到的打击和加速器本身一样严重。你在一次购买中两次感受到这种冲击：显卡，以及坐在它下面的1TB系统内存。
2026年制定的折旧计划应该假设什么
假设这种扭曲比你的购买决策持续更久。高盛在2026年5月预测全年DRAM全球短缺4.9%，是15年来最大缺口，HBM供应缺口为5.1%，大多数分析师预计在2027年底之前不会有实质性缓解（Wccftech）。今天开始的三年折旧计划，头两年都在短缺期内度过。
因此，用2026年8月的采购成本而非仍在排名页面上的2025年数字来评估购买方案，且不要假设第二年会有更便宜的换代产品。如果数字只在2025年硬件价格下才成立，就租用。租用是让你保留2028年再考虑购买选项的方式。
控制权与合规：电子表格遗漏的部分
有些保证只有自己运行权重才能获得。但大多数团队声称自托管理由的那些保证，现在都可以购买到。
自托管真正买到的，以及它看似买到的
自行运行推理给你四件任何合同条款都无法复制的东西：不会因供应商的弃用计划而在你脚下改变的模型权重、没有任何每次请求的数据离开你的VPC、没有他人容量规划强加给你的速率限制、以及无需申请许可即可微调或量化的能力。如果你的风险台账中有一条关于模型版本在审计中途被退休的，那就是持有该制品的真实论据。
自托管看似买到但实则没有的事项更多。数据驻留、静态加密、不以你的数据训练的承诺、SOC 2证据、审计日志、区域处理：所有这些都可以作为合同条款加区域选择器购买，而且已经可以购买一段时间了。为这些支付GPU溢价是在双重付费。推动这些讨论的风险敞口是处罚数学，而处罚数学不在乎是谁在机架里插的硬件。监管机构在2026年初之前已对2,245起GDPR违规开出共€71亿的罚款，GDPR风险敞口达全球营业额的4%，AI法案风险敞口高达7%。配置错误的自托管模型通过审计的失败速度与托管模型完全一样快。
2026年监管重置改变了你规划所依据的截止日期
检查你的团队所依据的合规时间表的日期。欧盟AI法案的高风险义务因2026年《数字综合法》而被推迟，许多被广泛引用的对比页面仍然显示的2026年8月2日截止日期已被取代，在为此支出之前，你应该向自己的法律顾问确认当前日期。如果你在2026年初批准了自托管预算以赶在该日期前完成，那么支撑它的紧迫性已经消失，这笔支出值得重新审视。
这在受监管的垂直行业中影响最大。在医疗保健和生命科学AI工具市场的团队最可能是那些为一个已移动的截止日期定价私有部署的团队。
主权托管云是中间路线
驻留论据在2026年变弱了。在欧盟境内配置和治理的主权云区域现在已是一种托管选项，而在你能找到的大多数开源与SaaS对比文章撰写时，这个选项并不存在，所以在为节点定价之前，先检查你偏好的超大规模云厂商在区域内提供什么。你可以在不雇任何人凌晨两点看守vLLM的情况下获得仅限欧盟的数据处理。
成立的优先顺序是这样的：如果你的要求是数据驻留，购买主权托管。如果是权重永久性或无限制微调，自托管。如果是问卷中"数据不得离开我们的控制"这一行，先去读清楚你的审计师会接受什么，再签节点合同。
开放权重到底落后多少？
四个月。这是测量得出的滞后，它应该取代你目前关于开放模型落后一个世代的任何信念。
四个月，六个指数点
Epoch AI通过追踪2026年1月1日至5月28日之间最佳开放权重发布与闭源前沿在Epoch能力指数（ECI）上的对比，给出了量化数字：4个月滞后，或8个ECI点，90%置信区间为7至11。Artificial Analysis用不同方法衡量同样的事情，得出相近的结论。开放领导者在其智能指数上得分52到54，而GPT-5.5得60，6点差距在12个月前还是13点。
所以差距是真实的，且正在缩小。对大多数生产工作负载（分类、提取、摘要、检索增强问答、初稿代码），四个月前的前沿模型就够用了。对于硬推理的尾部任务则不够，再多的提示工程也弥补不了8个ECI点的差距。在选立场之前先选工作负载。我们目录中追踪的开放权重发布更新足够快，你三月份基准测试的模型未必是今天会部署的那个。
让团队蒙受实际损失的从采用到生产的鸿沟
开放模型输在交付而非能力上。2026年开源AI状态调查（N=1,410）发现79%的AI开发者采用开放模型，但只有53%将其推向生产，而闭源模型的对应数字是71%采用、63%生产。开放模型被试用更多，被部署更少。
这26个百分点的落差是你在支付却没有计入TCO表格的工程时间。而且随着规模扩大，情况会变得更糟而非更好：闭源模型的生产率从小公司的54%攀升到企业的73%，而开放模型几乎持平于53%到57%。拥有最多平台工程师的组织是最常放弃开放部署的，这与自托管的宣传预测完全相反。在预算中为那些无法上线的尝试留出位置。
迁移路径：切换实际需要什么
切换本身很便宜。代价高昂的是你在切换前省略的评估工作，然后在生产事故中付出代价。
基础URL替换，以及值得点名的已记录例外
vLLM提供了一个兼容OpenAI的服务器，所以对于普通聊天补全，迁移就是换一个基础URL和模型别名。把现有客户端指向你的端点，把model从gpt-5-mini改成你服务的模型名，代码其他部分保持不变。这是每个竞争对手都当黑箱处理的部分，而它确实是容易的那一半。
例外情况是团队可能损失一周的地方。结构化输出和严格JSON schema执行在不同服务栈中表现不同，所以任何依赖保证有效函数参数的逻辑，都需要用真实负载测试而非冒烟测试。并行工具调用是常见的缺口。提示词缓存因供应商而异，如果你的成本模型假设了SaaS侧的缓存输入价格，那个折扣不会随你迁移过去。长上下文行为在不同于上下文窗口标称的位置开始退化，分词器也有差异，这意味着基于token数量的预算和截断逻辑都需要重新校准。
在切换之前而非之后构建评估框架
如果你无法在自己的流量上衡量质量，你就无法判断四个月的能力滞后对你的用例是否重要。捕获几百个真实生产请求及其输出，以及你的业务所跟踪的任何下游信号，用你的业务评分方式为它们打分，然后在同一套数据上运行候选开放模型。在为GPU付费之前做这件事。
- 记录200到500个真实请求及响应，以及你已经在追踪的任何下游信号（点赞、编辑、重试、升级）。
- 对现有SaaS的输出打分以建立基准。你需要的是你正在捍卫的数字，而不是感觉。
- 先通过API运行开放权重候选模型，因为DeepInfra以每百万token $0.10输入/$0.32输出提供Llama-3.3-70B（DeepInfra），测试时不需要任何基础设施成本。
- 只有在质量达标且体量合理的情况下，才迁移到专用容量。
混合默认方案：按请求类型路由而非整体替换
按每个请求的价值分流流量。分类、提取、摘要和检索重写在8B模型上运行良好，每百万token $0.02/$0.04（DeepInfra），而硬推理的尾部流量走Sonnet 5，每百万token $2/$10（Anthropic）。如果你80%的调用属于廉价类型，你已经削减了大部分账单，而无需在单一模型上押注质量。
路由还给你一条回退路径，整体替换则没有。服务栈和路由器构成了我们目录中128个AI框架的很大一部分，而值得起步的开源AI代码库是那些具有OpenAI兼容接口的，因为这让你的回滚只需改一个配置。
2026年谁应该切换——谁不应该
三类用户在算术上站得住脚，三类不行，你的平台团队再热情也无法改变这个事实。
自托管明显胜出的三类用户
稳定负载下的高量语音转写。如果你每月通过定时管道处理超过几千个音频小时，你能让显卡保持忙碌，并击败AssemblyAI $0.15/小时的底价（AssemblyAI）。批量作业是这里的理想形态，因为你可以控制队列何时清空，所以让显卡保持满载变成了一个调度问题而非一厢情愿。
数据不能离开边界的受监管场景，且该要求是合同性的而非偏好性的。在这种情况下成本优化不是目标。你购买的是一个审计答案，GPU账单是它的价格。
50名以上开发者使用量计费的编程助手。大约50名开发者时，账单接近每月$110,000，对应一个可以保持饱和的节点，溢价3–9倍；约100名开发者（约$220,000/月）时，自有硬件约一年回本（DoiT）。
单凭算术就会输的三类用户
约10名以下的开发者团队。约$22,000/月的助手账单和一个这10人无法让其保持忙碌的节点相当（DoiT），而打平不值得一个值班轮换。
工作负载是突发性消费者流量的任何人。闲置GPU按全价计费，而峰谷分明的日间曲线意味着你为峰值付费，平均使用率可能只有20%。无服务器开放模型API对这类用户具有压倒性优势。
质量标准停在前沿模型的团队。如果你的评估只有在Fable 5.1（每百万token $10/$50）（Anthropic）才能通过，那么自托管的开放模型是一个质量等级不同的产品，而节省的钱买的是一次降级。
承诺投入资本前要运行的90天测试
- 第1–2周：监测并发量，而非支出。记录每分钟在途请求数并找到你的p95。如果低于4，止步于此。
- 第3–6周：将10%的流量引向DeepInfra的开放权重端点，并在其上运行你现有的评估套件。对大多数技术栈而言，这就是改一个基础URL和一个模型别名。
- 第7–12周：租用，不要购买。DeepInfra上$2.20/hr的专用H100（DeepInfra）每月不到$1,700，能给你一个真实的利用率数字，也就是你的CFO会问的那个数字。
如果在结束时显卡有超过60%的时间处于空闲状态，答案就是托管开放权重API，而你只用了一个季度来搞清楚，而不是三年来折旧它。
常见问题
自托管开源AI真的比ChatGPT Business或Claude Team席位便宜吗？
按标准席位价格，不。Claude Team按年计费每席位每月$20（按月$25），高级席位$100/$125，Enterprise是每年每席位$20加按API费率的使用量（Anthropic定价）。没有任何租用GPU能接近每人$20，所以固定费率订阅是AI领域最难用自有硬件击败的东西。只有当你的团队使用量计费时，自托管才开始具有竞争力——DoiT自家工程师平均每位开发者每月约$2,200（DoiT）。
2026年每月多少支出时，自托管LLM能达到盈亏平衡？
大约每月$15,000到$25,000的使用量计费API支出，按DoiT观察到的每开发者每月$2,200换算，大约是7到12个重度席位（DoiT）。这个数字更多地随你的云供应商变化，而非随你的模型：同一个8xH100节点730小时月费在Nebius spot约$12,600，Nebius按需约$22,500，AWS约$40,200，Azure约$71,800（DoiT）。人员规模本来就是错误的单位。在任意时刻，一个开发者团队只有10%到20%的成员有请求在处理，所以10名开发者代表两到三个并发会话，最多占一个节点容量的一半（DoiT）。
需要多少GPU时间才能击败Whisper API的每音频小时$0.36？
吞吐量决定了这一点，小时数只是通过它们的计费率发挥作用。OpenAI对Whisper和gpt-4o-transcribe收取$0.006/分钟，即$0.36每音频小时，gpt-4o-mini-transcribe为$0.003/分钟（$0.18/小时）（OpenAI）。在RunPod社区云的L40S 48GB上，$0.79/hr（RunPod），你需要超过约2.2倍实时吞吐量才能击败$0.36，约4.4倍才能击败mini档，约5.3倍才能击败AssemblyAI的$0.15/小时Universal-2价格（AssemblyAI）。GPU闲置时间会对你不利，所以只有在稳定的队列而非突发白天流量的情况下，部署才能获胜。
开源AI可以免费商业使用吗？
不，图像模型是团队踩坑最多的地方。据报道FLUX.1 [dev]的权重带有非商业许可证，这意味着你和商业部署之间还隔着一个需要付费的Black Forest Labs许可证，所以在围绕它做规划之前，先阅读条款。即使是完全开放许可的权重，算力也不是免费的：DeepInfra以每百万token $0.10输入/$0.32输出提供Llama-3.3-70B-Instruct-Turbo，Meta-Llama-3.1-8B为$0.02/$0.04（DeepInfra），这比大多数团队自己在$2.20/hr的专用H100上运行相同权重还要便宜。
我需要自托管才能符合GDPR和欧盟AI法案吗？
不需要。合规关乎数据位置、处理协议和文档，这些都不需要你拥有推理栈。风险是真实的（监管机构在2026年初之前已对2,245起GDPR违规开出共€71亿的罚款，根据Kiteworks，风险敞口在GDPR下高达全球营业额的4%，在AI法案下高达7%），但欧盟区域的托管和主权托管选项现在已经涵盖了数据保护官员所要求的大部分内容。只有当合同或监管机构明确禁止第三方处理时，才自托管，而不是作为一般性对冲。
在2026年内存短缺期间，我应该购买还是租用GPU？
租用，除非你有多年期的工作负载可以让显卡保持忙碌。NVIDIA RTX PRO 6000 Blackwell 96GB从2025年初某零售商的$8,565标价，涨到2026年6月的$13,250，再到2026年8月的$16,000，同一款产品涨幅约87%（igor'sLAB）。原因是内存：HBM目前占全球DRAM晶圆产能的估计23%，而2024年只有8%，服务器DDR5 ECC RDIMM价格在2025年Q1至2026年Q1之间上涨了约100%至116%（DataCenterDisk）。高盛预测2026年DRAM全球短缺4.9%，是15年来最大缺口，缓解可能要到2027年底（Wccftech），因此预期购买价格将持续偏高，转而利用租赁市场的价差，从DeepInfra专用H100的$2.20/hr到Lambda的$4.29/hr不等。