描述
Forms That Read Themselves 介绍了对十二种不同扫描表单读取器的全面评估,从最先进的视觉 API 到专门为此目的精细调整的自定义 2B 参数模型。核心产品是一个小型视觉模型,用户可以拥有和操作,提供了一个成本效益高的替代方案,替代商业解决方案如 Azure Document Intelligence。
阅读更多
该平台逐字段地在具有已知答案的公共数据集上对每个读取器进行严格评分,包括 1988 年美国税表的 NIST 特殊数据库 2、外国代理人注册法案的备案、FCC 政治广告购买订单和 CORD v2 收据。这一严格的基准测试显示,经过精细调整的模型在一半测试的表单类型上超越了 Azure Document Intelligence,并在其余表单类型上与之表现相当,同时以极低的价格运行。例如,在广告购买表单上,经过精细调整的模型实现了 59.6% 的准确率,而 Azure 的准确率为 40.5%;在收据上,准确率为 77.6%,而 Azure 为 66.6%。
一个关键发现是,精细调整对小型模型的变革性影响。未调整的模型如 Gemma 4 E2B 显示出显著较低的准确率(例如,税表上为 15.0%),经过精细调整后显著提高至 73.6%。这一过程可以在租用的 GPU 上花费 8 分钟到 4.9 小时,使这些小型模型具有高度竞争力。经过精细调整的模型在某些表单类型(如注册表单和收据)上显示出较低的值发明率,这对于那些空白字段优于自信但错误的条目至关重要。
虽然像 GPT-6.1 Sol 和 Gemini 3.8 Flash 这样的前沿视觉模型通常实现更高的准确率,但经过精细调整的模型提供了性能与成本的良好平衡。例如,在收据上,它以每千页 0.16 美元的成本实现了 77.6% 的准确率,而 Claude Haiku 5.5 的准确率为 76.7%,成本为 0.38 美元。拥有并在消费者 GPU 上运行模型的一个显著优势是增强的数据隐私,因为没有页面需要离开用户的网络。
该项目还强调了视觉模型对扫描降解的鲁棒性。与基于 OCR 的管道不同,后者在扫描质量差时会遭受剧烈的准确率下降,直接读取像素的视觉模型保持高性能。然而,重要的是要注意,没有任何读取器在所有字段上达到 99% 的准确率,这意味着在关键应用中仍然需要人工验证。这些模型主要自动化输入过程,而不是最终检查。
该架构涉及使用 QLoRA 训练开放权重的 Gemma 4 E2B 和 E4B 模型,在训练小型适配器矩阵时将基础模型权重冻结为 4 位。这些适配器通过 vLLM 在 RTX 3090 GPU 上提供,允许高效的本地部署。该网站提供了一个计算器,以确定 API 成本与 GPU 租赁之间的盈亏平衡点,强调拥有模型的真实成本取决于其利用率。
- 类别计算机视觉工具
- 定价模式GPU Rental Cost
- 部署本地部署
- 平台网页版
Forms That Read Themselves的核心功能
经过精细调整的视觉模型用于扫描表单提取
与前沿视觉 API(GPT-6.1 Sol、Claude Sonnet、Gemini Flash)的基准测试
与 Azure Document Intelligence 的比较
支持各种表单类型:注册、广告购买、收据、税表
在公共数据集上的逐字段准确性评分
商业 API 的成本效益替代方案
在消费者 GPU(如 RTX 3090)上的本地部署能力
在某些表单类型上减少值的发明
对扫描降解(噪声、模糊、倾斜、对比度丢失)的鲁棒性
详细的性能指标,包括正确字段和每千页成本
用于精细调整的开放权重基础模型(Gemma 4 E2B、E4B)
QLoRA 精细调整配方,用于在单个 GPU 上高效训练
用于提供精细调整模型的 vLLM
API 与拥有 GPU 成本盈亏平衡分析计算器
通过将页面保留在您的网络内实现数据隐私
如何使用 Forms That Read Themselves?
选择读取器:从各种视觉模型或 OCR 管道中选择,以比较其性能。
调整扫描质量:模拟不同的降解水平(噪声、模糊、倾斜、对比度丢失),观察对准确性的影响。
逐字段查看结果:查看每个读取器正确提取的字段(标记为绿色)和错误的字段(标记为红色和虚线)。
分析准确性和成本:比较不同读取器和表单类型的正确字段比例和每千页成本。
理解精细调整的影响:观察精细调整如何显著提高小型模型在特定表单类型上的准确性。
评估部署成本:使用提供的计算器确定租用 GPU 与使用商业 API 的经济可行性,基于您的处理量。
访问适配器:从 Hugging Face 下载可用的收据、广告购买表单和税表的精细调整适配器。
Forms That Read Themselves的使用案例
- 自动化表单数据提取
- 成本效益的文档处理
- 本地数据处理
- 基准测试 AI 视觉模型
- 提高 OCR 准确性
- 定制模型开发





