Descrição
Youtu-Parsing-Omni é um modelo de parsing omni-modal compacto projetado para lidar com uma ampla gama de entradas, incluindo páginas de documentos, imagens naturais, gráficos, fluxogramas, figuras geométricas, clipes de áudio e vídeos. Este modelo produz uma saída JSON estruturada que abrange tanto tarefas de percepção quanto de cognição. As tarefas de percepção incluem elementos de layout, texto, tabelas, fórmulas, caixas delimitadoras, timestamps, ASR, OCR, eventos acústicos e movimento da câmera.
Ler mais
As tarefas de cognição envolvem a geração de legendas, narrativas e relatórios.
O modelo opera usando um esquema unificado, conhecido como OmniSchema, que permite um formato de saída consistente em diferentes tarefas. Ele possui um único Youtu-Omni-Encoder que substitui torres separadas tradicionais para pixels e áudio, aprimorando as capacidades de leitura de texto. O modelo é inicializado a partir de um modelo de linguagem de texto pré-treinado e utiliza hastes específicas de modalidade finas para mapear pixels e quadros log-mel em tokens. Um Transformer bidirecional compartilhado contextualiza as entradas, e fusões e projetores específicos de modalidade alimentam os tokens para o decodificador Youtu-LLM.
Youtu-Parsing-Omni é conhecido por seu forte desempenho, apesar de seu tamanho compacto, alcançando resultados de ponta no OmniDocBench v1.6 e resultados competitivos no OmniParsingBench. É particularmente eficaz em tarefas especializadas, como reconhecimento de estruturas químicas e reconhecimento de partituras musicais. O modelo é fácil de servir, com um plugin vLLM e configurações de serviço fixas incluídas.
As capacidades de fusão áudio-visual do modelo permitem o alinhamento cross-modal dentro do codificador, garantindo que quadros e trechos de áudio sejam processados em ordem temporal. Essa abordagem aprimora a capacidade do modelo de lidar com entradas complexas, como vídeos com áudio e elementos visuais sincronizados. Youtu-Parsing-Omni está disponível para download em plataformas como Hugging Face e ModelScope, tornando-o acessível para desenvolvedores e pesquisadores que buscam uma solução robusta de parsing.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de Youtu-Parsing-Omni
Modelo de parsing omni-modal
Esquema unificado para saída JSON
Único Youtu-Omni-Encoder
Desempenho de ponta
Capacidades de fusão áudio-visual
Tamanho compacto do modelo
Fácil de servir com plugin vLLM
Suporta diversos tipos de entrada
Primeiros passos com Youtu-Parsing-Omni
Acessar o modelo: Visite Hugging Face
Autenticar: Configurar credenciais
Configurar ambiente: Instalar dependências
Integrar via API: Usar exemplos fornecidos
Otimizar: Ajustar configurações para desempenho
Casos de uso de Youtu-Parsing-Omni
- Parsing de Documentos
- Análise de Imagens
- Interpretação de Gráficos
- Processamento de Áudio
- Análise de Vídeos
