Description
Youtu-Parsing-Omni est un modèle de parsing omni-modal compact conçu pour traiter une large gamme d'entrées, y compris des pages de documents, des images naturelles, des graphiques, des organigrammes, des figures géométriques, des clips audio et des vidéos. Ce modèle produit une sortie JSON structurée qui englobe à la fois des tâches de perception et de cognition. Les tâches de perception incluent les éléments de mise en page, le texte, les tableaux, les formules, les boîtes englobantes, les horodatages, ASR, OCR, événements acoustiques et mouvements de caméra.
Lire la suite
Les tâches de cognition impliquent la génération de légendes, de récits et de rapports.
Le modèle fonctionne selon un schéma unifié, connu sous le nom d'OmniSchema, qui permet un format de sortie cohérent à travers différentes tâches. Il dispose d'un seul Youtu-Omni-Encoder qui remplace les tours séparés traditionnels pour les pixels et l'audio, améliorant ainsi les capacités de lecture de texte. Le modèle est initialisé à partir d'un modèle de langage textuel pré-entraîné et utilise des tiges spécifiques à la modalité pour mapper les pixels et les trames log-mel à des tokens. Un Transformer bidirectionnel partagé contextualise les entrées, et des fusions et projecteurs spécifiques à la modalité alimentent les tokens au décodeur Youtu-LLM.
Youtu-Parsing-Omni est reconnu pour sa forte performance malgré sa petite taille, atteignant des résultats à la pointe de la technologie sur OmniDocBench v1.6 et des résultats compétitifs sur OmniParsingBench. Il est particulièrement efficace dans des tâches spécialisées telles que la reconnaissance de structures chimiques et la reconnaissance de partitions musicales. Le modèle est facile à déployer, avec un plugin vLLM et des paramètres de service épinglés inclus.
Les capacités de fusion audio-visuelle du modèle permettent un alignement cross-modal au sein de l'encodeur, garantissant que les images et les morceaux audio sont traités dans l'ordre temporel. Cette approche améliore la capacité du modèle à gérer des entrées complexes telles que des vidéos avec audio et éléments visuels synchronisés. Youtu-Parsing-Omni est disponible en téléchargement sur des plateformes comme Hugging Face et ModelScope, le rendant accessible aux développeurs et chercheurs à la recherche d'une solution de parsing robuste.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de Youtu-Parsing-Omni
Modèle de parsing omni-modal
Schéma unifié pour la sortie JSON
Unique Youtu-Omni-Encoder
Performance à la pointe de la technologie
Capacités de fusion audio-visuelle
Taille compacte du modèle
Facile à déployer avec le plugin vLLM
Prend en charge divers types d'entrées
Premiers pas avec Youtu-Parsing-Omni
Accéder au modèle : Visitez Hugging Face
Authentifier : Configurer les identifiants
Configurer l'environnement : Installer les dépendances
Intégrer via l'API : Utiliser les exemples fournis
Optimiser : Ajuster les paramètres pour la performance
Cas d'utilisation de Youtu-Parsing-Omni
- Parsing de documents
- Analyse d'images
- Interprétation de graphiques
- Traitement audio
- Analyse vidéo
