描述
Adept 发布了 Fuyu-8B，这是其产品所驱动的多模态人工智能模型的紧凑版本，并根据 CC-BY-NC 许可在 HuggingFace 上提供。该模型以其比其他多模态模型显著更简单的架构和训练过程而闻名，这增强了其可理解性、可扩展性和可部署性。
Fuyu-8B 从头开始为数字代理而设计，使其能够处理任意图像分辨率。此功能对于诸如回答关于图表和示意图的问题、响应基于用户界面的查询以及在屏幕图像上执行细粒度定位等任务至关重要。一个关键优势是其速度，能够以不到 100 毫秒的时间为大型图像提供响应。尽管 Fuyu-8B 针对 Adept 的特定用例进行了优化，但它在视觉问答和自然图像字幕等标准图像理解基准测试中仍表现出强大的性能。
该架构摒弃了单独的图像编码器，而是将图像块直接线性投影到 Transformer 的第一层。这绕过了嵌入查找的需要，并简化了训练和推理。该模型将图像标记视为与文本标记类似，支持可变图像大小，并消除了对单独的高分辨率和低分辨率训练阶段的要求。这种简化的方法允许因果注意力且无池化，将 Transformer 解码器视为图像 Transformer。
虽然 Fuyu-8B 是一个需要针对特定应用进行微调的原始模型发布，但它在 VQAv2、OKVQA、COCO Captions 和 AI2D 等基准测试上的表现具有竞争力，甚至优于更大的模型。Adept 强调，他们基于 Fuyu 架构的内部模型拥有先进的功能，例如对高分辨率图像进行可靠的 OCR、文本和用户界面元素的细粒度定位，以及回答有关用户界面的问题的能力，这预示着未来的产品发展。
Fuyu-8B 的设计使其特别适合知识工作者以及需要深入视觉理解和与数字界面交互的应用。开源此模型旨在促进人工智能代理和多模态人工智能领域的社区创新和发展。
Fuyu-8B 多模态架构亮点
专为数字代理设计的开源多模态人工智能模型
简化的架构，易于理解、扩展和部署
支持任意图像分辨率
大型图像响应速度快（< 100 毫秒）
在标准图像理解基准测试中表现良好
专为图表、示意图和用户界面元素理解而设计
根据 CC-BY-NC 许可开源
可在 HuggingFace 上获取
无单独的图像编码器；图像块直接投影到 Transformer 中
将图像标记视为文本标记，支持可变图像大小
需要针对特定用例进行微调
Fuyu-8B 多模态架构入门
访问模型：从 HuggingFace 下载 Fuyu-8B 权重。
设置环境：准备您的 Python 环境并安装必要的库。
通过 API 集成：加载模型和分词器以进行推理。
处理图像：将图像转换为与模型兼容的标记序列。
查询模型：输入图像标记和文本提示以获取响应。
微调：根据您的特定应用需求调整模型。
Fuyu-8B 多模态架构的使用案例
- 人工智能代理开发
- 视觉问答
- 用户界面交互
- 文档分析
- 图像字幕生成
- 图表和图形解释
