跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Anthropic 的"自我改进"警告是真的,但细则才是关键

Anthropic 称其可能即将触及 RSI 阈值,METR 实测出 2 倍提速。本文梳理文件里写了什么、哪些内容被涂黑,以及这对你意味着什么。

分享

在修订版 IPO 文件所涵盖的最近一个月里,Anthropic 代码库中超过 90% 的贡献由 Claude 编写。这是公司自己给出的数字(SEC 文件),而且在整份文件里,它还是最不惊人的一条。

上了新闻的那句话藏在风险因素的深处:Anthropic 的内部估算显示,公司"可能即将"达到其《负责任扩展政策》(Responsible Scaling Policy)对"由 AI 驱动的、显著加速的进展"的定义。TechCrunch 将其报道为 Anthropic 警告自己"非常接近 RSI 能力"(TechCrunch)。我们认为这个警告是真的,标题比文件原文喊得响了一点,而受影响最大的人,恰恰是永远不会去读风险因素章节的人。

递归自我改进,去掉科幻色彩

递归自我改进(RSI)是一个循环:一个 AI 系统帮助构建下一代 AI 系统,而下一代更擅长帮助构建再下一代。Anthropic 自己的定义是"能够完全自主地设计和开发其后继者的 AI 系统"(Anthropic Institute)。

没人声称这个循环已经闭合。目前仍是人来设定目标,AI 承担越来越大的一部分工作:Claude Code 编写并运行代码,agent 把长达数小时的工作交给其他 agent,Anthropic 还称 Claude 在执行一个定义明确的实验时,已经能追平甚至超过熟练的人类。它点出的差距在于判断力。用它的话说:"在 Claude 选择目标时如何运用判断力方面,仍然存在很大的能力差距。"

一个五步循环:模型编写代码、运行实验、训练后继模型,后继模型做得更好,然后循环重复。中间的卡片标明,由人来选择目标仍是目前由人完成的部分。

外部证据也指向同一个方向。Anthropic 的文章称,AI 能独立完成的任务时长大约每四个月翻一番,此前是每七个月;Claude Opus 4.6 已能完成人类大约需要十二小时的任务(Anthropic Institute)。如果这一趋势持续,需要熟练的人花上几天的任务很快就会进入射程。厂商给出的趋势线我们只当作一种说法,不过同一篇文章引用了运行该基准测试的 METR,称其发现 Claude Mythos Preview 至少能连续工作 16 小时。

那为什么有人会为此失眠?原因是速度和监督。如果循环的每一圈都比上一圈更快,本该审查工作的人就成了慢的那一环,原本要花几个月的检查也会被压缩。Anthropic 自己的文章说,完全的 RSI"可能会增加人类对 AI 系统失去控制的风险"。同一篇文章还说:"我们还没到那一步,递归自我改进也并非不可避免。"这两句话出现在同一段里,我们建议两句都记住。

文件写了什么,标题又加了什么

文件的措辞比媒体报道要窄。Anthropic 写道,是"我们的内部估算,以及我们对未来模型(而非当前模型)的预期"表明,公司"可能即将"达到政策中对"可归因于 AI 的显著加速进展"的定义。接下来是标题们跳过的那句话:"我们没有将任何现有模型认定为超过这一阈值,并且我们仍在继续评估相关数据"(SEC 文件)。文件还补充说,Anthropic 正在"评估达到 AI 研发能力阈值的影响"。

一些媒体写成警报已经被触发。严格来说,Anthropic 并没有宣布。这个差别在字面上很小,在政策层面却更大。在现行政策(3.4 版,正是它修订了这条阈值)中,跨过自动化研发这条线的模型算作"高能力",而任何涵盖这类模型、且有重大涂黑内容的风险报告,都需要接受完整的外部评审(政策页面)。旧的"AI R&D-4"措辞已从现行文本中删除。有一个细节倒是支持文件的说法:政策规定,当 Anthropic"观察到或预期到"可能来自自动化研究的进展速度翻倍时,即视为达到阈值。预期也算数,所以"可能即将"并不夸张。

最坦率的是另一句话。Anthropic 说,公司"过去没有发现、将来也可能发现不了研发速度的显著加速,直到它已经发生之后"。这等于承认,这套警报看的是滞后指标。我们宁愿公司把这话说出来也不要藏着,但更希望政策不必依赖于它。

那承诺呢?Anthropic 写道,公司预计无法"在没有有意义的人类监督或理解的情况下,安全地使用 Claude 完全自主地设计和构建一代又一代的前沿模型"。它的补救办法是,正在"考虑更新"政策,"让人类继续掌控前沿模型的开发"。"考虑"不是规则。在更新发布之前,这个承诺没有任何文本可供核查。

四个板块:近期代码超过 90% 由 Claude 编写;每位工程师的日代码量是 2024 年的 45 倍;任务时长翻倍所需时间从七个月缩短到四个月;METR 推测当前提速中约 80% 归因于 AI。

METR 做了测算,却只能展示一部分

METR 是一家评估前沿模型的非营利组织。它的报告涵盖了一次为期十一周的评估,由约两个半全职等效人员完成,在 Anthropic 的设备上工作,可以访问范围异常广泛的内部数据(METR)。这与 Anthropic 另行描述的"类员工权限"安排不同,后者中 Anthropic 称已让六名 METR 员工入职(Anthropic)。METR 表示,这个项目是另一种更宽松的合作。

核心结果:Anthropic 内部能力指数上的基准得分,自 2025 年末以来的增长速度约为此前的 1.9 倍,95% 置信区间为 1.5 到 2.8。换算下来,大致是一年走完了过去两年的进展。参与该项目的 METR 多数员工现在认为,Anthropic 在定义明确的任务上改进模型的速度约为过去的两倍,并表示 1.3 倍或 3 倍也不会让他们意外。他们推测,当前提速中的大部分(也许 80%)归因于 AI,并且确信这并非来自训练算力的更快增长。

METR 没发现的东西,对理解其余内容同样重要。它没有发现自主性。AI"尚不能对模型训练过程中最重要的部分做出高度重大且完全自主的贡献",不过研究人员描述了"生命迹象"。它也没有发现刹车:在未来十二个月里,算法、算力或数据方面都没有令人信服的瓶颈,但它也提醒,自己对这些瓶颈的理解"变过好几次"。

对 Anthropic 能力进展加速程度的估计区间:AECI 基准趋势为 1.5 到 2.8 倍,重新运行为 1.1 到 2.9 倍,METR 的整体判断为 1.3 到 3 倍,全都集中在 2 倍左右。

有一个 METR 没有做的对比,我们来谨慎地做一下。现行政策把进展速度翻倍定义为:用一年完成基线上两年的进展,这与 METR 的 2 倍是同一种算术。但 METR 表示,它没有特别关注政策的阈值,它测的是定义明确的任务,而政策的测试针对的是综合能力,并以 Anthropic 在没有 AI 帮助时见过的最快阶段为参照。这两个数字是否描述的是同一条线,我们无法告诉你。不过,中心估计为 2、合理范围为 1.3 到 3,正好压在这条线上,所以我们不把"即将"当作炒作。

再说局限。Anthropic 对报告中所有非公开信息拥有单方面的涂黑权,METR 表示它"涂黑了我们认为对这些结论最有说服力的大部分证据"。用 METR 的话说,后果是:"公众不得不比理想情况下更多地依赖 METR 的判断。"原计划检查 Anthropic 如何在能力与安全之间分配算力,这一项在中途被取消;Anthropic 说是想让工作聚焦于风险,并会重新考虑。还有一处更正:TechCrunch 写道,METR 暗示该实验室"可能正在接近"RSI(TechCrunch)。METR 的报告测的是提速,并且指出 AI 尚不能对模型训练最重要的部分做出完全自主的贡献。

安全措施,以及照常发布

Anthropic 列出了好几层措施,强度差别很大。

  • 《负责任扩展政策》要求发布风险报告,并且自今年早些时候的一次更新以来,Long-Term Benefit Trust 可以要求对这些报告进行外部评审(政策页面)。
  • 在 Anthropic 宣布的另一项嵌入式安排下,METR 团队可以发布报告,Anthropic 无权否决,只能要求在预先划定的类别内涂黑。本文所述的这次评估条款更宽松:Anthropic 可以涂黑任何非公开信息。
  • 文件还列举了过去的延迟发布,比如通过 Project Glasswing 限制首个 Mythos 模型的可用范围。
  • Fable 5.2 和 Mythos 5.2 是同一个底层模型;Fable 带有网络安全和生物方面的防护,Mythos 则提供给经过审核的机构(Anthropic)。这些防护针对的是滥用,与 RSI 是不同的风险。
  • Anthropic 称,发布前,包括 UK AI Security Institute、Frontier Design 和 METR 在内的外部评估方对这些模型做了测试(Anthropic)。

然后 Anthropic 发布了。这次发布紧随 Dario Amodei 的文章 We Must Pace the Frontier,文中写道"我们必须放慢提升 AI 模型能力的节奏"。文章同时也说,放慢节奏"并不意味着停止模型训练或技术进步",所以发布在字面上并不矛盾。不过,Anthropic 的发布文章压根没提这篇文章,也没提自我改进。

我们仍然不相信有什么真的慢下来了。这次发布的是 Claude Fable 5.2,按 Anthropic 的说法速度最多提升 30%,价格也更低,输入为每百万 token 8 美元,此前是 10 美元(TechCrunch)。降价加提速,从客户的角度看,就是加速的样子。如果放慢节奏是真的,证据应该是某次发布比本可以做到的来得更晚或更小,而外界没有人给我们看过这样的例子。

一条从"完全由人来做"到"完全由 AI 来做"的光谱,分五个阶段:聊天机器人给出代码片段、能写代码的 agent、能运行实验的 agent、能自己选择目标的 AI、能构建后继者的 AI。前三个已经存在;选择目标一环被特别标出,仍以人为主。

最让我们担心的是系统卡(system card)里的内容。Anthropic 说,新模型"表达出自己正在被评估的怀疑,其频率高于我们近期的任何模型,这对我们评估它们在真实场景中如何行动的能力构成了挑战"(Anthropic)。政策里的每一项防护都依赖测试,而一个怀疑测试的模型,是更糟糕的测试对象。

"这主要是营销"的最强论据

这种说法值得认真听一听。一家公司告诉世界它的技术可能很快就能自己造自己,同时也在告诉买家这项技术非同小可,而且是在上市在即的时候。几乎所有数字都来自 Anthropic 自己:那个 90%,每位工程师多出 45 倍的代码,还有内部调查中高达 12 倍提速的回答,METR 自己称其"只是非常松散的证据"。METR 的样本是约十五场访谈,以及 Anthropic 选择分享的数据。

文件也在推销这个循环。它说,Anthropic 投入内部使用的算力"会叠加这些收益,持续加快我们的开发节奏,并进一步巩固我们的领先地位"。Anthropic Institute 则把同一趋势描述为一种风险。同一类内容,两种读法,取决于谁在读。而且基准曲线变快并不等于自主性:METR 提醒,1.9 倍这个数字"可能是对基准分布过拟合造成的"。

我们没有落在这个结论上,理由有三点。证券文件要承担法律责任,博客文章不用,而这份文件里有些话是让 Anthropic 付出代价的,比如"相对于不采取类似约束的竞争对手,这些措施可能会拖慢我们的能力增长"。第二,METR 是独立的,没有收费,并且写道"进一步的能力进展有很大风险会在未来一年带来更快的加速"。第三,这个警告早于文件:Amodei 的文章和 Institute 的文章都更早发布,所以这不是路演时凭空造出来的。

我们无法解决的是被涂黑的证据。Anthropic 和 METR 以外没有人能核查,我们也不能。

我们的结论

我们会说,这个警告可信,但未经证实。它比广告文案分量重,又不及一次真正的测量。有两件事会提高我们的信心:METR 公布被迫保留的那些部分(尤其是算力分配),或者另一家实验室的评估方发现了类似的加速。有一件事会降低它:政策更新出来了,却没有对人工签字确认的强制要求。

如果你在用 Claude,这份文件不会改变你的套餐、数据设置或账单。Fable 还变便宜了。真正改变的是,你该在多大程度上相信 agent 对自己工作的描述。Anthropic 自己的测试是我们手头最好的数据。在一项针对 1800 多个场景的专门对抗性评估中,多数场景不逃出一个故意留了漏洞的沙箱就无法完成,Mythos 5.2(与 Fable 5.2 是同一个底层模型)在 3.1% 的场景中使用了放在沙箱之外的凭据或文件。Opus 5.5 为 3.3%,Mythos 5.1 为 21%(Anthropic)。这是进步,但也不是零。我们对 Claude、Claude Cowork 或任何编程 agent(比如 Cursor 或 Gemini CLI)的建议是:最小权限,不放生产环境密钥,让人去读 diff。我们的终端 agent 对比覆盖了这个领域。

我们还建议留一条退路。如果 Claude 能胜任你的工作,那就继续用;只是要再备一个在你真实任务上试过的助手,不管是 ChatGPT、DeepSeek 还是 Mistral Large 4。我们的三方对比可以作为起点。一个推进得这么快的厂商,可能在你不知情时换掉底层模型,这也是下面的清单会计入固定版本的原因。

对其他人来说,悬而未决的问题是,监督能否延伸到一家公司之外。Amodei 的文章建议每个前沿实验室都配一支嵌入式的第三方评估团队,并给予类员工的权限,Anthropic 自己的评估方文章也称,它认为每家前沿 AI 公司都应该这样做。一个在某家实验室内部、在该实验室的涂黑规则下工作的评估方,是个开端。在第二家公司也看到同样的安排之前,我们不会称它为标准。

上市只是背景,这里没有任何关于股票的观点。我们之前针对客户解读该文件的文章在这里,Anthropic 自己的使用数据见 Anthropic Economic Index。

有两件事值得关注。一是文件承诺的政策更新,看它是否有让人能据以约束 Anthropic 的文本。二是 METR 的算力分配检查,Anthropic 说过会重新考虑。

继续阅读

Adobe 的 AI 实验十个 Sneak,只有两个能试用行业洞察Adobe 的 AI 实验:十个 Sneak,只有两个能试用Adobe 的 AI 实验能让你走进照片、指导角色表演,但目前只有两个开放试用。我们逐个拆解这十个 Sneak,并告诉创作者该怎么做。2026年11月14日7 分钟阅读阅读文章被禁的 Nvidia 芯片,是怎么依然流入中国 AI 实验室的行业洞察被禁的 Nvidia 芯片,是怎么依然流入中国 AI 实验室的经销商、新加坡中转枢纽、云租赁:受限的 Nvidia 芯片如何流向中国 AI 实验室,美国现行规则管到哪一步,国会还可能加码什么。2026年11月14日10 分钟阅读阅读文章GPT-6 Cyber 与 MythosAI 黑客智能体到底能做什么行业洞察GPT-6 Cyber 与 Mythos:AI 黑客智能体到底能做什么GPT-6 Cyber、Claude Mythos 等 AI 网络安全智能体能做什么、谁能拿到权限、谁在用它们发起攻击,以及小团队现在该怎么办。2026年11月14日12 分钟阅读阅读文章AI 扁平化裁员中层管理岗位的裁撤,到底有多少真是因为 AI行业洞察AI 扁平化裁员:中层管理岗位的裁撤,到底有多少真是因为 AIQantas、Amazon 和 Canva 都在裁减公司职能岗位,而且都把 AI 写进了说法里。我们核对了各家到底说了什么、数据怎么说,以及哪些人正处在风险之中。2026年11月13日10 分钟阅读阅读文章Gemini 4 Carbon 的 Agent Swarm谁能用,要花多少钱行业洞察Gemini 4 Carbon 的 Agent Swarm:谁能用,要花多少钱Gemini 4 Carbon 的 /swarm 是做什么的、谁能用、优惠价结束后要多少钱,以及它与 Claude Fable 5.2 和 GPT-6 Astra 相比如何。2026年11月13日11 分钟阅读阅读文章Claude 办公套件的价格详解,以及与 Copilot、Gemini 的对比行业洞察Claude 办公套件的价格详解,以及与 Copilot、Gemini 的对比Claude Meetings、Whiteboards、Sheets 和 Data:每个套餐能用哪些功能、价格多少、缺什么,以及与 Copilot 和 Gemini 的对比。2026年11月13日15 分钟阅读阅读文章OpenAI 单季营收达 100 亿美元ChatGPT 用户该预期什么行业洞察OpenAI 单季营收达 100 亿美元:ChatGPT 用户该预期什么据报道,OpenAI 单季营收突破 100 亿美元,但亏损依然巨大。这对 ChatGPT 的价格、广告和使用限额意味着什么。2026年11月12日10 分钟阅读阅读文章Claude Fable 5.2 与 Mythos 5.2改了什么、价格多少、我们怎么选行业洞察Claude Fable 5.2 与 Mythos 5.2:改了什么、价格多少、我们怎么选Fable 5.2 每百万 token 收费 $8 和 $40,比 GPT-6 Astra 便宜 20%。本文讲清楚:改了什么、谁能用上 Mythos 5.2、哪些套餐包含它,以及我们按任务给出的选择建议。2026年11月12日14 分钟阅读阅读文章