설명
Forms That Read Themselves는 최첨단 비전 API에서 맞춤형 2B 매개변수 모델에 이르기까지 스캔된 양식을 위한 12가지 다양한 리더에 대한 포괄적인 평가를 소개합니다. 핵심 제공 사항은 사용자가 소유하고 운영할 수 있는 소형 비전 모델로, Azure Document Intelligence와 같은 상업적 솔루션에 대한 비용 효율적인 대안을 제공합니다.
더 읽기
이 플랫폼은 NIST Special Database 2(1988년 미국 세금 양식), 외국인 에이전트 등록법(FARA) 제출, FCC 정치 광고 구매 주문 및 CORD v2 영수증을 포함한 공공 데이터 세트에서 각 리더를 세부적으로 평가합니다. 이러한 엄격한 벤치마킹 결과, 정밀 조정된 모델이 테스트된 양식 유형의 절반에서 Azure Document Intelligence보다 우수한 성능을 보이며 나머지 양식에서는 동등한 성능을 발휘하면서도 가격은 훨씬 저렴합니다. 예를 들어, 광고 구매 양식에서 정밀 조정된 모델은 59.6%의 정확도를 달성하며 Azure의 40.5%와 비교됩니다. 영수증의 경우 77.6% 대 66.6%입니다.
주요 발견 중 하나는 정밀 조정이 소형 모델에 미치는 변혁적인 영향입니다. 조정되지 않은 모델인 Gemma 4 E2B는 세금 양식에서 15.0%와 같은 현저히 낮은 정확도를 보이지만, 정밀 조정 후 73.6%로 극적으로 향상됩니다. 이 과정은 임대된 GPU에서 8분에서 4.9시간까지 걸릴 수 있으며, 이러한 소형 모델을 매우 경쟁력 있게 만듭니다. 정밀 조정된 모델은 등록 양식 및 영수증과 같은 특정 양식 유형에서 값 생성 비율이 낮아, 빈 필드가 신뢰할 수 있지만 잘못된 입력보다 바람직한 응용 프로그램에 중요합니다.
GPT-6.1 Sol 및 Gemini 3.8 Flash와 같은 최첨단 비전 모델이 일반적으로 더 높은 정확도를 달성하지만, 정밀 조정된 모델은 성능과 비용의 균형을 제공합니다. 예를 들어, 영수증에서 이 모델은 1,000페이지당 US$0.16의 비용으로 77.6%의 정확도를 달성하며, Claude Haiku 5.5는 US$0.38에 76.7%입니다. 소비자 GPU에서 모델을 소유하고 운영하는 주요 이점은 데이터 프라이버시가 향상된다는 점으로, 사용자의 네트워크를 떠나는 페이지가 없습니다.
이 프로젝트는 스캔 저하에 대한 비전 모델의 강력함도 강조합니다. 품질이 낮은 스캔으로 인해 심각한 정확도 저하를 겪는 OCR 기반 파이프라인과 달리, 픽셀을 직접 읽는 비전 모델은 높은 성능을 유지합니다. 그러나 모든 필드에서 99% 정확도를 달성한 리더는 없으므로, 중요한 응용 프로그램에서는 인간 검증이 여전히 필요합니다. 모델은 주로 타이핑 프로세스를 자동화하며, 최종 검사는 아닙니다.
아키텍처는 QLoRA를 사용하여 오픈 웨이트 Gemma 4 E2B 및 E4B 모델을 훈련시키고, 소형 어댑터 매트릭스를 훈련하는 동안 기본 모델 가중치를 4비트로 고정합니다. 이러한 어댑터는 RTX 3090 GPU에서 vLLM으로 제공되어 효율적인 온프레미스 배포를 가능하게 합니다. 사이트는 API 비용과 GPU 임대 간의 손익 분기점을 결정하는 계산기를 제공하며, 소유한 모델의 실제 비용은 활용도에 따라 달라진다고 강조합니다.
- 카테고리컴퓨터 비전 도구
- 요금제GPU Rental Cost
- 배포온프레미스
- 플랫폼웹
Forms That Read Themselves의 핵심 기능
스캔된 양식 추출을 위한 정밀 조정된 비전 모델
최첨단 비전 API(GPT-6.1 Sol, Claude Sonnet, Gemini Flash)와의 벤치마킹
Azure Document Intelligence와의 비교
다양한 양식 유형 지원: 등록, 광고 구매, 영수증, 세금 양식
공공 데이터 세트에서 필드별 정확도 평가
상업적 API에 대한 비용 효율적인 대안
소비자 GPU(예: RTX 3090)에서의 온프레미스 배포 가능성
특정 양식 유형에서 값 생성 감소
스캔 저하에 대한 강력함(노이즈, 흐림, 기울기, 대비 손실)
정확한 필드 및 1,000페이지당 비용을 포함한 상세 성능 메트릭
정밀 조정을 위한 오픈 웨이트 기본 모델(Gemma 4 E2B, E4B) 사용
단일 GPU에서 효율적인 훈련을 위한 QLoRA 정밀 조정 레시피
정밀 조정된 모델 제공을 위한 vLLM
API와 소유한 GPU 비용 손익 분기 분석을 위한 계산기
페이지를 사용자 네트워크 내에 유지하여 데이터 프라이버시 보장
Forms That Read Themselves 사용 방법은?
리더 선택: 다양한 비전 모델 또는 OCR 파이프라인 중에서 성능을 비교할 리더를 선택합니다.
스캔 품질 조정: 정확도에 미치는 영향을 관찰하기 위해 다양한 저하 수준(노이즈, 흐림, 기울기, 대비 손실)을 시뮬레이션합니다.
필드별 결과 검토: 각 리더가 올바르게 추출한 필드를 녹색으로 표시하고, 잘못된 필드는 빨간색과 대시로 표시하여 확인합니다.
정확도 및 비용 분석: 다양한 리더 및 양식 유형에 대한 올바른 필드 비율과 1,000페이지당 비용을 비교합니다.
정밀 조정 영향 이해: 정밀 조정이 특정 양식 유형에서 소형 모델의 정확도를 어떻게 크게 향상시키는지 관찰합니다.
배포 비용 평가: 제공된 계산기를 사용하여 GPU 임대와 상업적 API 사용의 경제적 타당성을 결정합니다.
어댑터 접근: Hugging Face에서 영수증, 광고 구매 양식 및 세금 양식에 대한 정밀 조정된 어댑터를 다운로드합니다.
Forms That Read Themselves의 사용 사례
- 자동화된 양식 데이터 추출
- 비용 효율적인 문서 처리
- 온프레미스 데이터 처리
- AI 비전 모델 벤치마킹
- OCR 정확도 향상
- 맞춤형 모델 개발





