2024 年 Stanford RegLab 和 HAI 的一项研究发现,就连法律行业自家的 AI 研究工具,给出错误答案的比例也超过 17%。Westlaw 的 AI-Assisted Research 错误率更是超过 34%。专门为律师打造的工具都这么容易出错,通用聊天机器人来读你的租约,就得把它管紧一点。
这并不意味着 AI 对合同没用。它是个不错的"阅读者",却是个靠不住的"法律权威"。如果只把它当作快速查找、引用和总结眼前文本的工具,ChatGPT、Claude 和 Google 的工具几分钟就能把二十页小字条款变成一份待问清单。可一旦让它告诉你当地法律怎么规定,或者你能不能打赢官司,它就会编造内容。
以下仅为一般性信息,不构成法律意见,任何 AI 的回答都无法取代熟悉你的具体情况和所在司法辖区的执业律师。这一点说过一次就够了,下面是我们会按顺序执行的流程,以及它容易出问题的地方。

上传任何内容之前,先检查数据设置
租约或劳动合同里有你的全名、住址、收入,有时还有银行账号。这些文字会不会被拿去训练模型,取决于一个大多数人从没打开过的开关。默认设置就是政策,而在三大厂商的个人版套餐里,默认设置并不站在你这边。下面是各家官方页面的说法。
| 服务 | 厂商对个人版套餐的说法 | 你的控制权 |
|---|---|---|
| ChatGPT(Free、Plus、Pro) | OpenAI 表示可能会使用你的内容训练其模型 | 在 Settings > Data controls 中关闭"Improve the model for everyone";临时聊天不会用于训练 |
| Claude(Free、Pro、Max) | Anthropic 2025 年的消费者条款更新让你自行选择聊天内容是否用于改进 Claude;允许的话数据保留五年,不允许则保留 30 天 | 在隐私设置中调整;企业版和 API 账户适用另外的条款 |
| Gemini 应用 | Google 表示会有一部分聊天由人工审核员阅读;被审核的聊天最长保留三年,即使你删除了活动记录也一样 | 关闭 Keep Activity,未来的聊天就不会再被审核用于改进 Google 服务;也可以使用临时聊天 |
Google 自己的建议说得很直白:开启 Keep Activity 时,"不要输入机密数据,或你不希望审核员看到、也不希望 Google 用来改进其服务的数据。"合同恰恰符合这个描述。我们的 AI 工具隐私框架详细讲了该如何通读这类政策。
Google 的笔记类产品情况要好一些。Google 的 Gemini Notebook 帮助页面(NotebookLM 现在就归在这里)写明,你的数据"除非你提供反馈,否则不会用于训练 Gemini Notebook",而提交反馈可能会让完整的交互内容被审核。Gemini 内部的笔记本则不同。Google 的隐私中心说,你作为来源添加的文件不会直接用于训练其生成式模型,但你与笔记本的聊天遵循 Keep Activity 设置,可能被人工审核。正因为有这种差别,我们建议上传前先确认适用的是哪个产品的页面。想进一步了解这些工具如何处理文档,可以看我们对 NotebookLM、ChatGPT Projects 和 Claude Projects 的对比,以及 NotebookLM 词条。
如果你要粘贴的是真实合同,我们的建议是:在第一次粘贴之前,先关掉训练开关,或者使用临时聊天。如果是涉及商业秘密或客户数据的商业合同,更合适的选择是默认不用于训练的付费企业版套餐。OpenAI 声明,ChatGPT Business、Enterprise、Edu 和 API 默认不会用于训练。ChatGPT 上还有一个坑:即使你已经选择退出,OpenAI 也表示,如果你对某条回复点了赞或踩,与该反馈关联的整段对话都可能被用于训练。所以在合同对话里,别点赞也别点踩。
先去掉个人信息
脱敏只要五分钟,而且不管工具的设置怎么写,对每个工具都管用。用查找替换就够了。
- 人名和公司名换成 [TENANT]、[LANDLORD]、[CLIENT] 或 [VENDOR]。
- 街道地址、单元号、地块或登记编号换成 [PROPERTY]。
- 银行、银行卡、税号和证件号码,以及电话号码和邮箱,直接删掉。
- 上传 PDF 之前,把签名、签名图片和任何从证件上扫描下来的内容裁掉。
金额、日期和条款编号要保留。AI 需要这些才能派上用场,而它们本身并不能identify任何人。如果扫描版 PDF 里的文字无法选中,先用 OCR 处理一遍并检查输出,因为租金数字里只要错认一位,就会原封不动地带进摘要里。
还有一个习惯:告诉 AI 你住在哪里。租约、竞业限制和消费者条款在不同的州、省和国家各不相同,你不说的话,模型会自己替你挑一套法律体系。
要原文引用,不要结论
想大幅提升任何合同类 prompt 的效果,最有效的一招就是禁止转述。你要的是原句、它所在的位置,以及一段与原文明显分开的通俗解释。正是这种分开,才让你有办法核对答案。
I'm a non-lawyer reading a residential lease. Jurisdiction: [state or province, country].
Use only the document pasted below. Do not rely on outside knowledge of the law.
For each topic, give me:
1. The exact sentence(s), copied word for word, in quotation marks.
2. The section number or heading.
3. One sentence on what it means for me, labeled "Plain English".
If the document does not address a topic, write NOT ADDRESSED. Do not guess.
Topics: rent and late fees, deposit and how it's returned, term and renewal,
ending the agreement (both sides), repairs, landlord entry, subletting,
penalties, who pays for what, how disputes are handled.
[DOCUMENT, personal details replaced with placeholders]如果是服务条款或隐私政策,把主题清单换一下:公司能拿你的内容做什么、条款能怎么改以及何时改、如何取消并退款、仲裁或放弃集体诉讼的条款,以及出了问题谁来担责。如果是自由职业或供应商合同,则看:付款时间、成果归属、终止通知期、责任上限、自动续约和排他条款。
第二个 prompt 专门找"没有的东西"。这正是 AI 的价值所在,因为人扫一眼租约,看到的只是印在纸上的内容,很少会注意到缺了什么。
Based only on the document, list provisions that a [residential lease / freelance
services agreement] in [jurisdiction] commonly contains that this one lacks.
For each, say in one line why a person might want it and label it "common"
or "varies". Do not say any provision is legally required. End with five
questions I should ask the other party or a lawyer.把输出当作一份问题清单。AI 说某个标准条款缺失,只是告诉你该往哪里看,仅此而已;它对"标准"和"缺失"的判断都可能是错的。
核对引用只需十分钟
把原始文档和聊天窗口并排打开。AI 给你的每一条引用,都用搜索功能(Ctrl+F 或 Cmd+F)搜一个引文里有辨识度的短语。结果只有三种:完全匹配、匹配但有字词被改动、根本找不到。后两种都真实存在,你要知道自己差点依赖的是哪一条。
两个快速检查能抓出大部分问题。AI 引用的章节号存在吗?那一节真的写了引文所说的内容吗?AI 引用的条款,会不会被文档后面的另一条修改,比如定义部分,或者覆盖它的附录?这类交叉引用,模型很容易漏掉,而你很容易确认。
Re-read your answers. For each quote, say whether it appears word for word in the
document. List every quote you shortened, reordered or combined from different
sections, and every statement that goes beyond the text.第三个 prompt 有用,但它不算核对。你是让出错的那个系统给自己打分,所以我们只把它当作提示你自己去搜索的线索,而不是结论。我们的指南如何核查 AI 输出的事实讲了通用的做法;对合同来说,只有文档本身才算数。
文档很长时,就拆开处理。一次粘贴一节,或者先让它列出带章节号的目录,再针对具体章节提问。我们预计输入越短越容易核对,因为每个答案都对应一小段文字。
答案是在哪里出错的
Stanford 的研究人员已经把这些失败模式记录得很清楚,而且它们和合同问题直接对应。在 2024 年的基准测试报告中,他们提到了更早一项针对通用聊天机器人的研究,该研究发现法律问题上的幻觉率在 58% 到 82% 之间。(Stanford 2024 年另有一篇文章给出针对特定法律问题的 69% 到 88%,那是不同的衡量口径,别把两者混为一谈。)这项早期研究还发现,模型倾向于接受问题所预设的任何前提,研究把这称为反事实偏差(contra-factual bias)。如果你问"为什么我的房东必须提前 90 天通知?",即使你所在的地方根本没有这条规定,你也可能得到一堆理由。
这些数字来自 2024 年,针对的是此后已被替换的模型。我们不清楚最新助手现在的错误率,也怀疑有哪家厂商能给出一个覆盖所有司法辖区合同的数字。真正有用的是失败类型,因为它们并没有消失。
司法辖区。 租赁、劳动和消费者规则在不同的州、省、国家之间各不相同,有时城市之间也不同。如果你不说明,模型可能默认按美国的惯例来答。在 prompt 里写明你所在的地点,然后到官方网站上核实它说的任何法律主张。
凭空捏造或张冠李戴的条款。 Stanford 描述了第二类错误,称为 misgrounded:工具对法律的陈述是对的,但引用的来源并不支持这个陈述。放到合同工作里,就是一条听起来像模像样的条款被安到了第 9.2 条下,而第 9.2 条说的是别的内容。这就是为什么上面的引文核对不能省。
过时的法律。 在 2024 年的那项研究中,有一款法律工具引用了一条最高法院 2022 年已经推翻的标准。押金、通知期、费用和竞业限制的规定经常变动,而模型的训练截止日期总是落后于法条。
迎合你的预设。 如果你的 prompt 写的是"这条条款是违法的,对吧?",你往往会得到"是"。提问要保持中立:"这条条款允许房东做什么?"比"他们真能这样对我吗?"是更好的 prompt。
需要专门的合同工具吗?
单份租约大概用不着。Spellbook 这类专用产品面向的是做交易业务的律师,Spellbook 基于 Claude 运行的案例研究讲的是法务团队的批量工作。Spellbook 在 ToolRank 的 AI 应用中排名第 546。我们的合同审查与起草榜单和 AI 法律助手榜单列出了各种选择,另外像 Legalese to English 这样更轻量的浏览器工具,可以把晦涩的措辞简单翻译成大白话。
对这类产品的宣传,Stanford 的结果正是要保持谨慎的理由。从法律数据库检索的工具确实比通用聊天机器人错得少,Stanford 也这么说,但它自己的总结是:"即使是这些量身定制的法律 AI 工具,仍然有惊人比例的时间在产生幻觉。"每月要处理一大堆供应商合同的企业,也许值得订阅。只有一份租约的租客就没必要了。检查这类工具的数据政策时,要像检查聊天机器人一样仔细,因为你上传的是同样的文件。想了解更广泛的产品,请看法律服务榜单。
什么时候该花钱请律师
AI 能让你有备而来,从而降低律师时间的成本:一份标注好的条款清单、缺失的项目,以及你的问题。但它代替不了那一个小时的咨询。我们自己对任务风险从低到高的粗略排序如下。
在这条线上越靠右,出错的代价越高。当签字背后牵涉真金白银、截止日期、你的住所或你的生意时,花钱请执业律师就是值得的:商业租约、带个人担保的合同、竞业限制、合伙或投资协议、你收到的驱逐通知或催款函。事先问一下能不能做简短咨询,或者按固定费用审阅文件,这往往比按小时不限时地计费便宜。

费用是常见的顾虑,但也有免费的途径。美国律师协会(ABA)的 Find Legal Help 网站提供律师转介、面向低收入人群的免费法律帮助,以及 ABA Law for Consumers 页面,里面有通俗易懂的法律解释。USA.gov 列出了法律援助项目,包括 LawHelp.org 和 ABA 面向低收入人群的免费法律解答服务。在美国以外,你所在国家或省的律师协会和消费者机构扮演同样的角色。想确认你所在的州法律怎么规定,该去这些地方,而不是问聊天机器人。
还有最后一个我们喜欢的 AI 用法:见律师之前,让它把你核对过的引文表整理成一页纸的问题摘要。这样你为律师阅读材料的时间付的钱会更少,律师看到的也是真实文本,而不是 AI 转述的版本。
常见问题
把租约上传到 ChatGPT、Claude 或 Gemini 安全吗?
取决于你的设置。在个人版套餐上,除非你选择退出,ChatGPT 可能会用你的聊天训练模型;Claude 会让你自己选;Gemini 的人工审核抽样取决于 Keep Activity。把相关设置关掉,或者使用临时聊天,并且先删掉姓名、地址和账号。
AI 能告诉我某条条款是否合法或可执行吗?
靠不住。可执行性取决于你的司法辖区、现行法规和具体事实,而 Stanford 的研究表明,模型在法律本身及其最新变化上都会出错。用 AI 来找出并解释条款,然后到官方来源或向律师确认规则。
怎样防止 AI 编造条款?
让它引用原文。要求逐字文本和章节号,允许它回答 NOT ADDRESSED,并用搜索功能在你自己的文档副本里核对每一条引用。没有哪个 prompt 能消除错误,但要求引用能让错误显形。
这个方法适用于服务条款和隐私政策吗?
适用,而且这种情况更简单,因为这些文档是公开的,通常不需要脱敏。使用同样的"先引用"prompt,主题可以是内容所有权、条款变更、取消、仲裁和数据共享。
哪个 AI 工具最适合处理合同?
对于一次性的租约或政策文件,只要数据设置正确,三大主流助手都能胜任阅读工作。合同专用平台适合需要审阅大量协议的团队。不管选哪种,都替代不了引文核对。