Descripción
GLM-OCR es un sofisticado modelo de OCR multimodal desarrollado para la comprensión de documentos complejos. Basado en la arquitectura de codificador-decodificador GLM-V, introduce técnicas innovadoras como la pérdida de Predicción de Múltiples Tokens (MTP) y el aprendizaje por refuerzo estable de tareas completas. Estos avances mejoran significativamente la eficiencia del entrenamiento, la precisión del reconocimiento y las capacidades de generalización.
El modelo integra el codificador visual CogViT, preentrenado en un extenso conjunto de datos de imagen-texto, y un conector cruzado ligero con un eficiente submuestreo de tokens. También cuenta con un decodificador de lenguaje GLM-0.5B. Juntos, estos componentes forman un pipeline de dos etapas de análisis de diseño y reconocimiento paralelo basado en PP-DocLayout-V3, asegurando un rendimiento de OCR robusto y de alta calidad en varios diseños de documentos.
GLM-OCR logra resultados de vanguardia, obteniendo una puntuación de 94.62 en OmniDocBench V1.5 y ocupando el puesto #1 en general. Destaca en los principales benchmarks de comprensión de documentos, incluyendo el reconocimiento de fórmulas, el reconocimiento de tablas y la extracción de información. El modelo está optimizado para escenarios del mundo real, manteniendo un rendimiento robusto en tablas complejas, documentos con mucho código, sellos y otros diseños desafiantes.
Con solo 0.9B de parámetros, GLM-OCR admite el despliegue a través de vLLM, SGLang y Ollama, reduciendo la latencia de inferencia y los costos computacionales. Esto lo hace ideal para servicios de alta concurrencia y despliegues en el borde. El modelo es completamente de código abierto, equipado con un SDK completo y una cadena de herramientas de inferencia, ofreciendo una instalación sencilla, invocación en una línea y una integración fluida en las tuberías de producción existentes.
Se recomienda el SDK oficial para tareas de análisis de documentos, integrando PP-DocLayoutV3 para el análisis de diseño y la generación de salidas estructuradas. Esto reduce la carga de ingeniería necesaria para construir sistemas de inteligencia de documentos de extremo a extremo. El modelo GLM-OCR se publica bajo la Licencia MIT, con la tubería completa de OCR integrando PP-DocLayoutV3, licenciada bajo la Licencia Apache 2.0.
Aspectos destacados de GLM-OCR
Modelo de OCR multimodal
Arquitectura de codificador-decodificador GLM-V
Pérdida de Predicción de Múltiples Tokens
Aprendizaje por refuerzo estable
Codificador visual CogViT
Decodificador de lenguaje GLM-0.5B
Pipeline de dos etapas
Rendimiento de vanguardia
Primeros pasos con GLM-OCR
Acceder a la página: Visita la página de GLM-OCR en Hugging Face
Cargar modelo: Descarga el modelo GLM-OCR
Configurar entorno: Configura el entorno requerido para el modelo
Integrar: Usa el SDK para una integración sin problemas
Casos de uso de GLM-OCR
- Análisis de Documentos
- Extracción de Información
- Reconocimiento de Tablas
- Reconocimiento de Fórmulas
- Análisis de Diseño
