描述
Youtu-Parsing-Omni 是一个紧凑的全模态解析模型,旨在处理广泛的输入,包括文档页面、自然图像、图表、流程图、几何图形、音频片段和视频。该模型生成的结构化 JSON 输出涵盖了感知和认知任务。感知任务包括布局元素、文本、表格、公式、边界框、时间戳、ASR、OCR、声学事件和相机运动。认知任务涉及生成标题、叙述和报告。
阅读更多
该模型使用称为 OmniSchema 的统一架构,允许在不同任务之间保持一致的输出格式。它具有单一的 Youtu-Omni-Encoder,取代了传统的像素和音频分离塔,增强了文本阅读能力。该模型从预训练的文本语言模型初始化,并利用细薄的模态特定干扰来将像素和对数梅尔帧映射到标记。共享的双向 Transformer 对输入进行上下文化,模态特定的合并器和投影器将标记输入到 Youtu-LLM 解码器。
尽管体积小,Youtu-Parsing-Omni 以其强大的性能而闻名,在 OmniDocBench v1.6 上取得了最先进的结果,并在 OmniParsingBench 上取得了竞争性结果。它在化学结构识别和乐谱识别等专业任务中尤其有效。该模型易于服务,包含 vLLM 插件和固定服务设置。
该模型的视听融合能力允许在编码器内进行跨模态对齐,确保帧和音频片段按时间顺序处理。这种方法增强了模型处理复杂输入(如具有同步音频和视觉元素的视频)的能力。Youtu-Parsing-Omni 可在 Hugging Face 和 ModelScope 等平台上下载,使开发人员和研究人员能够获得强大的解析解决方案。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
Youtu-Parsing-Omni亮点
全模态解析模型
统一的 JSON 输出架构
单一的 Youtu-Omni-Encoder
最先进的性能
视听融合能力
紧凑的模型大小
易于服务,带有 vLLM 插件
支持多种输入类型
Youtu-Parsing-Omni入门
访问模型:访问 Hugging Face
身份验证:设置凭据
设置环境:安装依赖项
通过 API 集成:使用提供的示例
优化:调整设置以提高性能
Youtu-Parsing-Omni的使用案例
- 文档解析
- 图像分析
- 图表解释
- 音频处理
- 视频分析












