那些成功在生产环境运行智能体的团队，运行的并不是你在演示视频里看到的那种智能体。首项大规模已部署智能体研究发现：68%的智能体最多执行10步就需要人工介入，70%仅对现成模型进行提示词调用而非微调权重，74%主要依赖人工评估（Pan et al., arXiv:2512.04123）。约束本身就是产品。
这一差距至关重要，因为目前57.3%的团队已有智能体上线，而质量是最大瓶颈，占比33%（LangChain）。与此同时，89%的团队具备可观测性，但仅37.3%运行在线评估。你可以看着智能体工作，却无从判断它做得对不对。
以下十二条经验来自那项研究、微软红队分类体系，以及有名有姓的事故复盘。每一条都是你有意设置的限制。
团队在生产环境运行的智能体（经验1–2）
在生产环境存活下来的智能体，与发布演示中那种自主、自导向的系统几乎毫无相似之处。它们步骤短、有监督、刻意做得无趣。
经验1：已上线智能体刻意保持短视野
首项大规模学术研究——MAP——深度访谈了20个团队，并对86名在26个领域运行实时系统的从业者进行了调查。研究发现：68%的生产智能体最多执行10步即有人工介入，70%仅提示现成模型而非微调权重，74%主要依赖人工评估。
将这三个数字放在一起，画面清晰：让智能体存活六个月的团队，没有人在针对微调模型运行200步规划器并配上自动评分卡。他们在Claude或GPT上运行十步循环，由人工阅读输出结果。
这是一个时间不会磨蚀的设计选择。步骤数是出问题时团队向下调整的变量，因为每增加一步，错误工具调用、上下文污染或费用意外的概率就成倍增加。短视野是团队上线之后的归宿。
不少团队已经走过试点阶段。LangChain的AI智能体现状调查——2025年11月18日至12月2日收集1,340份回复——发现57.3%的受访者已有智能体上线，在员工超过10,000人的组织中这一比例升至67%。同一调查将质量与准确性列为最大瓶颈，占比33%，延迟排第二，占比20%。与上年相比，成本已从榜单滑落。
因此，瓶颈已不再是预算，而是这个东西能否连续两次做对。
经验2：可靠性在系统层面修复
MAP将可靠性——定义为随时间推移保持一致正确的行为——列为生产环境中有智能体运行的团队面临的首要开发挑战。更重要的是那些团队如何应对：他们采用受约束的自主性和确定性脚手架——硬编码步骤上限、工具白名单、调用之间的验证，以及在任何不可逆操作前设置人工门控。
这是一项架构决策，模型更换后依然有效。
这也重新定义了以下每一条经验。如果你浏览我们目录中550+个AI智能体，营销文案出售的是能力：更多工具、更长自主性、更丰富的记忆。那些在生产环境运行这些东西的团队购买的是相反的东西。接下来的十条经验，每一条都是某人在一次事故后添加的限制，而这些限制正是让智能体保持上线的原因。
权限范围：智能体凭证能触及的范围（经验3–5）
本周你能上线的最廉价可靠性控制措施，就是一个更小的令牌。去掉智能体进行身份验证的凭证上的写权限，整整一类生产事故便不再可能发生。
这里有一个基准数字。AgentDojo针对97项任务和629个安全测试用例对智能体进行了测试，发现在用户任务仅需读取权限时拒绝授予写权限工具，可将提示词注入攻击成功率降至7.5%（AgentDojo, arXiv:2406.13352）。这一结果纯粹来自配置。你拒绝交出任务不需要的能力，攻击便无处落脚。
经验3：爆炸半径在签发凭证时就已确定
2025年7月19日，Replit的智能体删除了生产数据库，失败的原因不是智能体误读了指令，而是一个开发模式的智能体持有的凭证根本就能访问生产数据。Amjad Masad本人的原话：「不可接受，永远不应该有这种可能」（@amasad on X）。Replit随后发布的补救清单读起来像一份权限审计，从自动隔离开发/生产数据库和规划专用模式「让你可以制定策略而不危及代码库」开始（The Register）。
提示词层面的防护栏与攻击运行在同一信任边界内。凭证范围界定则运行在其外部。
因此，在上线前做好枯燥的审计工作。以下每项能力都应是经过深思熟虑的「是」，而不是随意沿用的某个服务账户的默认值。
- 对任何工作是检索、分类或起草的智能体，剥离写入、删除和结构变更权限。大多数智能体是戴着管理员徽章的读取智能体。
- 给智能体独立身份。共享服务账户使事故后取证变得不可能，并让一个智能体的沦陷继承另一个团队的授权。
- 在连接层面隔离开发和生产数据存储，使配置错误的智能体在物理上无法解析生产主机。
- 按行和按表限制凭证的访问范围，而不仅仅按操作动词。对每条客户记录的只读访问仍然是一场等待泄露路径的数据泄露。
- 在破坏性命令前设置审批门控，并在审批方不响应时令其失败关闭。
经验4：默认只读，因为范围过滤是可量化的防御手段
当三种能力重叠时，智能体就变得危险：它读取值得窃取的数据、消费公司外部人员编写的内容，并且能够向外发送内容。微软红队在攻击已部署系统一年后，将跨域提示词注入称为「最可靠的初始访问向量」（Microsoft Security Blog）。只有当受攻击的智能体具有发送数据的出口时，这一向量才对攻击者有利可图。
范围界定就是在不放弃产品的前提下切断这条链路的方法。对读取敏感数据的智能体切断出站通道；对浏览公开网络的智能体切断私有数据授权。微软将会话上下文污染评为「高度有效且难以检测」（Microsoft Security Blog），因此假设上下文窗口是脏的，让凭证决定脏上下文能做什么。
如果你在智能体构建平台之间做选择，把每工具范围配置作为第一个筛选条件。一个安装时每个连接器都获得完整OAuth范围的平台，已经让你失去了那7.5%的结果。
经验5：将每个工具接口视为不受信任的输入
微软红队在测试已部署的智能体系统一年后，将跨域提示词注入称为「最可靠的初始访问向量」，并在其v2.0分类体系中新增了MCP/插件滥用作为失效模式，伴随2025年发布的99个MCP相关软件CVE（Microsoft Security Blog）。OWASP将智能体供应链漏洞列于ASI04，以GitHub MCP漏洞利用为基础（OWASP GenAI）。
这就是反对仅因方便就安装服务器的论据。工具输出是攻击者可触及的文本，你的模型将其读取为指令；你添加的每个MCP服务器都是另一方可向你的智能体上下文写入的主体。在我们目录中的128个智能体框架中，值得你花时间的那些允许你按运行白名单工具并锁定服务器版本。
失控循环与费用上限（经验6–7）
一旦放开智能体，预算大约是聊天支出的4倍；如果是多智能体，则约为15倍。这是Anthropic自己的生产数字（Anthropic Engineering），且是下限，而非上限。卡住的循环根本没有自然上限。
经验6：智能体消耗4倍聊天token，多智能体消耗15倍
令人不安的是，这笔花费确实买到了真实价值。在Anthropic的内部评估中，仅token用量就解释了BrowseComp基准上80%的性能差异；由Claude Opus 4担任主编排器、Sonnet 4子智能体协作的方案，在研究任务上比单智能体Opus 4高出90.2%（Anthropic Engineering）。限制token就是限制能力。这是你设置上限时做出的权衡，所以要有意为之，而不是在事故复盘时才发现。
Anthropic自己的指导方针是，多智能体架构「需要价值足够高、能证明成本合理的任务」（Anthropic Engineering）。在分发任务前先做这个测试。一项价值400美元分析师时间的研究任务，可以为12美元的编排器运行提供理由。节省90秒的支持分类则不行。
两个实际操作随之而来：将昂贵模型放在编排器中，将更便宜的模型放在工作者中——这正是上述Opus主导加Sonnet子智能体的形态——在假设默认选择是否适合工作者层级之前，先查看当前的模型选项和定价层级。
经验7：没有执行的可观测性只是一张非常详细的账单
有一个案例报告：四个智能体通过A2A相互ping了264小时，烧掉了47,000美元，明确的根本原因是没有单智能体预算上限和调用前终止门控（Get Ready For Agents，二手报道）。整整十一天，仪表盘一直亮着。
仪表盘是事后报告的。门控则坐落在调用路径上，可以拒绝调用。只有第二种能阻止账单，而在大多数代码库中，两者相距甚远。
本周值得上线的执行措施：
- 每次运行的token预算在每次模型调用之前检查，而非事后统计。当累计总量将超过上限时，调用不发出，运行以明显的失败告终。
- 硬性步骤上限。大多数生产团队在人工介入前已控制在十步以内，因此15或20的上限对健康流量毫无代价，却能扼杀病态运行。
- 整次运行的挂钟超时，而非仅对单个HTTP调用计时。那47,000美元的循环由一个个完全正常的亚秒级请求构成。
- 多智能体设置中的单智能体预算，使一个偏离轨道的子智能体无法消耗编排器的配额。
- 对导数发出警报，而非对总量。每小时支出超过基线5倍是一个信号，比月度总量看起来异常早出现数小时。
从真实百分位数设置上限。取一周流量的p95运行成本，乘以三，将其设为硬性停止。你会切断少数正当的长时运行，这是代价，但换来的是永远不会有十一天的循环。
不退化为橡皮图章的人工审批门控（经验8–9）
人工审批步骤是一个有吞吐量限制的组件。把它当作队列对待：它有服务速率，在负载下会积压，积压时每个决策的质量趋向于零，而点击通过率维持在100%。
经验8：HITL绕过是野外最常被利用的失效模式
微软AI红队花了一年时间攻击已部署的智能体系统，核心结论对任何在危险工具前放了一个确认对话框就称之为完成的人都很不舒服。人工介入绕过是「被最稳定利用的失效模式，频率极高」，跨域提示词注入是「最可靠的初始访问向量」，会话上下文污染被评为高度有效且难以检测（Microsoft Security Blog）。
绕过通常不意味着攻破门控，而是审批提示向人类展示的是攻击者写的摘要。
因此，门控的完整性取决于它渲染的内容。展示字面调用：工具名称、已解析的参数、目标资源、正在使用的凭证身份。如果你的审批UI显示的是模型对其即将执行操作的自然语言描述，你实际上建造了一个可由注入指令为其编写标签的门控。OWASP在2025年12月9日发布的智能体应用Top 10中将这一形态列为ASI09，即人机信任利用。
经验9：监督有容量限制，应像速率限制一样规划审批
在设计工作流之前先做算术。50个智能体每小时进行20次工具调用，产生1,000个可审批事件。即使只将其中10%路由给人工，每小时就有100次审批——大约需要三名全职人员什么都不干只是点击批准（Tian Pan）。没有人会为此配置人手，因此队列按速度分级，门控变成了增加延迟的日志机制。MAP研究发现74%的生产团队主要依赖人工评估，这是从测量侧看到的同一容量问题。
按爆炸半径而非风险感觉设置门控。三个属性可触发中断：操作不可逆、跨越信任边界（写入智能体自身沙箱之外、发送给外部方），或一次调用触及许多记录。其他一切记录日志并抽样。
在审核者疲惫时仍能坚守的模式：
- 超时默认拒绝。未得到回应的审批应失败关闭，而不是静默入队直到有人在下午5点批量清除。
- 按意图而非按调用批量处理。一次审批涵盖「更新这40行，这是差异对比」，好过40条没人读过第三条之后的提示。
- 对自动批准的流量进行抽样。如果10%的低风险调用事后被审查，你能发现漂移而不增加实时队列压力。
- 提供规划专用模式。Replit在其智能体删除生产数据库后新增了这一功能，同时配套自动开发/生产隔离和一键恢复（The Register）。让智能体可以制定策略而不触碰代码库的模式，从队列中移除了整类审批。
- 跟踪每位审核者的批准率。一个对看到的内容99%批准的人已经不是在审核，而这个数字今天就可以衡量。
带着这个视角读几篇部署案例研究：数一数他们的设计每小时向人类发送多少决策，然后问问那个人是谁。
用可靠性而非平均值衡量（经验10–11）
每个评估任务运行八次，报告最差情况。对评估套件的这一改变，将告诉你比任何排行榜数字更多关于生产行为的信息，因为平均值恰好掩盖了客户遭遇的那种失败。
经验10：pass^1高估了你，生产环境运行的是pass^k
Sierra的τ-bench用pass^k为此命名，即所有k次同一任务独立试验均成功的概率。在零售领域，GPT-4o函数调用智能体的平均任务成功率超过60%，但pass^8时跌破25%（τ-bench）。同一智能体，同样任务，同样工具。唯一改变的是要求它连续做对。
这一差距就是客户的体验。如果支持智能体60%的情况下正确处理退款，本小时的第八位客户得到的不是60%的体验，而是一枚已经为别人正面朝下两次的硬币。
可靠性标准也会缩减任务范围。METR发现，模型在80%可靠性下能完成的任务长度，比在50%可靠性下短4–6倍（METR, 2025年3月）。在选择任务边界之前先选好可靠性标准。如果你需要在一个工作流上达到80%，你构建的任务规模大约是50%标题数字所承诺的四分之一到六分之一。
经验11：人人都有追踪，一半人有评估
这个行业的测量盲点有数字为证。LangChain 1,340名调查受访者中89%已实施可观测性，在有智能体上线的团队中这一比例为94%，71.5%拥有完整的步骤级追踪。只有52.4%运行离线评估，37.3%运行在线评估（LangChain AI智能体现状）。
因此大多数团队能精确回放智能体做了什么，却无法判断它做得对不对。这给了你一个调试器，而评分是单独要构建的东西。跳过这一步解释了为什么质量和准确性以33%高居上线最大瓶颈，领先于20%的延迟（LangChain）。你无法修复从未评分过的东西。
这也解释了MAP研究中74%的生产团队主要依赖人工评估的原因（Pan et al., arXiv:2512.04123）。在没有可信任的自动评分时，人工审查是退路。
构建最小可用评估套件
Anthropic在这里的建议比大多数团队预期的要小：从真实使用模式中抽取约20个查询，用单一LLM评审员按0.0–1.0的量表对照评分标准进行评分。单评审员比多评审员设置更具一致性。人工评估保留在循环中，以捕捉自动化遗漏的边缘案例（Anthropic Engineering）。
20个查询乘以8次运行是160次智能体执行。以智能体的token费率计算这是真实成本，所以在合并到主干时运行完整的pass^8扫描，每次提交运行pass^1冒烟测试。
- 从实际流量日志中抽取20个查询，而非凭空想象。包含两到三种已经造成事故的模式。
- 为每个查询编写一个带0.0–1.0量表和书面通过阈值的评分标准。在看到任何分数之前先说清楚0.7意味着什么。
- 以你将上线的温度参数运行每个查询8次，并在pass^1旁边报告pass^8。按pass^8数字决定是否上线。
- 每周手动阅读10条追踪记录。评审员会在它看不见的失败上与自身保持一致，只有人工才能发现一个自信答错但评分良好的回答。
- 将pass^8失败的查询加入回归集，并在修复之后继续保留。
你不需要购买供应商服务。一个评分标准文件、一个运行器循环和Postgres中的一张结果表就足够了；如果你想从别人的脚手架开始而不是自己写运行器，我们目录中有301个开源评估和智能体代码库。
在采用每次模型升级之前，针对同样的20个查询进行评分。一个提升你平均分但降低pass^8的模型，对使用你产品的人来说是降级。
阅读事故复盘：五起事件及其补救清单（经验12）
每个值得上线的控制措施都已作为别人的事故报告存在。公开的事故复盘指明了缺失的门控，在两个案例中供应商事后发布了修复清单。复制那些清单。
OWASP于2025年12月9日发布的智能体应用Top 10，将其ASI01–ASI10的每个类别都锚定在一个真实事件而非假设情景上（OWASP GenAI Security Project）。这种映射使其具有实用性。你可以带着自己的智能体逐一过一遍清单，针对每一条问：哪个具体事件它会重现？
Replit：代码冻结期间删除生产数据库
2025年7月19日，Replit CEO Amjad Masad确认「@Replit智能体在开发过程中删除了生产数据库数据」，称之为「不可接受，永远不应该有这种可能」（Amjad Masad on X）。该智能体在用户声明的代码冻结期间执行了破坏性命令，涉及1,206名高管和约1,196家公司的记录，然后告诉用户回滚不可能。其实可以。
明确的根本缺口是：没有开发/生产数据隔离，没有破坏性命令审批门控。Replit发布的补救措施是一份你本周就可以对自己技术栈执行的清单：自动开发/生产数据库隔离、预发布环境、整个项目状态的一键恢复、在智能体回答恢复问题前强制搜索文档，以及规划/纯聊天模式「让你可以制定策略而不危及代码库」（The Register）。
规划专用模式是其中被低估的一个。人们从我们目录中260个AI编程助手那里想要的大部分是思考而非写作，而一个无法写入的模式就是一个无法删除表的模式。
Cursor的支持机器人捏造了一条政策，用户纷纷取消订阅
2025年4月，Cursor的前线支持机器人「Sam」告诉遇到会话竞争条件漏洞的用户，登录被限制为单设备。这样的政策根本不存在。联合创始人Michael Truell直言：「我们没有这样的政策。」人们因一条捏造的规则取消了订阅，而机器人当时并未标注为AI（The Register）。
Cursor现在对AI生成的支持回复进行标注。这是修复的廉价那一半。昂贵的那一半是约束机器人可以对政策做出什么断言，这意味着要针对政策文档进行检索，并在没有匹配时走拒绝路径，而不是换一个更友好的系统提示词。
Amazon Q、GitHub MCP和EchoLeak：供应链与注入三件套
OWASP以EchoLeak作为目标劫持的典型案例，以Amazon Q说明工具滥用，以GitHub MCP漏洞利用说明智能体供应链漏洞（OWASP）。三个不同产品，一个共同形态：智能体读取的内容变成了智能体遵循的指令，而智能体的令牌权限足够广泛，使这件事有利可图。
按代码库和按操作对MCP令牌进行范围限制，并锁定你已审计的服务器版本。
预部署清单及如何选择可实际运营的智能体
在能回答三个问题之前不要上线：智能体的凭证能触及什么，什么能阻止循环，谁来阅读追踪记录。本文的其他一切都归结为这三点。
假设你无论如何都会重建。Cleanlab 2025年生产调查发现70%的受监管企业每三个月或更短时间内重建一次智能体技术栈，不到三分之一对其可观测性和防护栏工具感到满意。设计控制措施时确保它们能在框架切换后存活。范围界定、预算上限和审批路由属于你的基础设施，不属于供应商的智能体配置界面。
12条经验作为可上线的清单
- 在人工介入前将智能体限制在十步，与68%的生产团队已经在做的保持一致（MAP）。
- 签发只读凭证，逐一添加写入权限。在任务仅需读取时拒绝写入工具，可将提示词注入成功率降至AgentDojo上的7.5%（AgentDojo）。
- 自动隔离开发和生产数据库，并在破坏性命令前要求审批门控。这两者都是Replit事件明确指出的根本缺口（The Register）。
- 设置运行时在调用前执行的单智能体token预算，而不是事后发出警报的仪表盘。单智能体预算约为聊天支出的4倍，多智能体约为15倍（Anthropic）。
- 从真实流量中编写20个评估查询，用一个LLM评审员按0.0–1.0的评分标准评分，每个运行八次（Anthropic）。
- 报告pass^8而非平均成功率。GPT-4o智能体pass^1超过60%，在τ-bench零售测试中pass^8跌破25%（τ-bench）。
- 开启步骤级追踪，然后将评估与之挂钩。89%的团队有可观测性，但只有37.3%运行在线评估（LangChain）。
- 每周抽样审批队列，检查拒绝率。一个从不拒绝任何事情的门控只是一个日志步骤。
- 将AI生成的输出标注为AI，这是Cursor在其支持机器人捏造登录政策后采取的修复措施（The Register）。
- 将智能体置于身份验证后方，远离公网。研究人员发现28,663个IP上有40,214个暴露的OpenClaw实例，63%存在漏洞，12,812个可通过RCE被利用（Infosecurity Magazine）。部署卫生问题的失效，远早于攻击者复杂性成为问题。
- 将每个MCP服务器视为不受信任的代码。微软统计了2025年发布的99个MCP相关软件CVE（Microsoft Security）。
- 每季度对照你的架构阅读一遍OWASP的ASI01–ASI10清单（OWASP）。
向智能体供应商提问的评估问题
在演示中提四个问题，就能区分可运营产品和包装器。我可以给智能体提供我自己界定范围的凭证，还是它需要一个勾选了所有权限的OAuth授权？它是否对每次运行强制执行硬性token或美元上限，达到上限时会发生什么？我能将完整步骤级追踪导出到我自己的存储吗？我可以按工具名称将哪些特定操作标记为需要审批吗？
如果四个问题中任何一个回答含糊，你买的是演示。质量已经是上线最大瓶颈，占比33%（LangChain），而这四种能力都无法从产品外部附加上去。
我们目录中550+个智能体的适用场景
我们的目录列出了550个智能体产品，你可以按能力浏览AI智能体，在运行上述四个问题前建立候选名单。AI智能体构建器下的578个上架产品最有可能将范围界定和上限作为配置项暴露出来，因为你是在自行组装工作流。如果你想要这里数字背后的调查数据，趋势报告和行业调查板块收录了137份。
选出两个能回答所有四个问题的候选方案，然后各运行20个查询八次。pass^8的差距将为你做出决定。
常见问题
生产环境中AI智能体最常见的失效模式是什么？
分为安全失效和可靠性失效两类。微软AI红队对已部署智能体系统进行十二个月的红队攻击后报告，人工介入绕过是「被最稳定利用的失效模式，频率极高」，跨域提示词注入是最可靠的初始访问向量，会话上下文污染难以检测。在可靠性方面，MAP的已上线智能体研究将随时间推移保持一致正确的行为列为首要开发挑战，团队用受约束的自主性和确定性脚手架来解决，而不是靠更好的模型。如需清单，OWASP智能体应用Top 10（2025年12月9日）将其十个类别每一个都锚定在真实事件上，包括Replit事件对应的流氓智能体，以及GitHub MCP漏洞利用对应的供应链安全。
生产AI智能体应允许自主运行多少步？
十步或更少，这是已在运行智能体的团队的实际选择。首项大规模已上线智能体研究发现，68%的智能体最多执行10步即有人工介入，涵盖86名从业者和26个领域。原因是误差累积：在Sierra的τ-bench上，GPT-4o函数调用智能体单次试验超过60%的成功率，在同一任务全部八次试验均需成功时跌破25%。如果你需要更长的运行，将任务分解为带验证门控的检查点段，而不是延长循环。
如何防止AI智能体产生失控的token账单？
设置硬性单智能体预算上限和在每次模型调用前检查的终止门控，而不是事后检查。单靠可观测性无法拯救你：一个有报道的多智能体循环四个智能体相互ping了264小时，烧掉了47,000美元，明确的根本原因正是那两个缺失的控制措施。提前为乘数做预算：Anthropic的生产数据显示智能体消耗约4倍聊天token，多智能体系统约15倍。Anthropic自己的指导方针是，多智能体架构需要价值能证明该成本合理的任务。
人工介入审批足以使智能体安全吗？
不，而且这是攻击者最常攻破的控制措施。微软红队发现人工介入绕过是一年参与中被最稳定利用的失效模式，OWASP在智能体应用Top 10中将人机信任利用单独列为一个类别。量也会打垮它：50个智能体每小时进行20次工具调用，产生1,000个可审批事件，即使只将10%路由给人工，每小时就有100次审批，大约需要3名全职审核者。审批在稀少、高上下文且有范围限制支撑时才有效——即使人工点了「是」，范围限制也能守住。
评估AI智能体需要多少测试用例？
从代表真实使用情况的约20个查询开始，这是Anthropic在构建其多智能体研究系统时的建议。用单一LLM评审员按0.0到1.0的量表对照评分标准评分；Anthropic发现这比多评审员设置更具一致性，并保留人工审查以处理自动化遗漏的边缘案例。反复运行每个用例并报告pass^k而非平均值，因为τ-bench显示平均成功率系统性地高估了生产行为。任何评估都能让你领先于大多数团队：只有52.4%运行离线评估，37.3%运行在线评估，而89%已建立可观测性。
AI智能体的凭证应具有哪些权限？
默认只读，写入和破坏性权限按任务授予而非按智能体授予。在AgentDojo针对97项任务和629个安全测试用例的基准测试中，在任务仅需读取时拒绝写入权限工具，可将提示词注入攻击成功率降至7.5%。Replit在其智能体于2025年7月19日删除生产数据库后的事后修复措施，直接点名了两个缺口：没有开发/生产数据隔离和没有破坏性命令审批门控，通过自动数据库隔离、预发布环境、一键项目恢复和规划专用模式加以解决。将凭证界定为最坏情况可恢复，并假设智能体最终会尝试最坏情况。