描述
Phi-4-Reasoning-Vision-15B是微软开发的紧凑型开放权重多模态推理模型,基于Phi-4-Reasoning语言模型骨干和SigLIP-2视觉编码器构建。该模型采用中间融合架构,视觉编码器将图像转换为视觉标记,然后将其投影到语言模型的嵌入空间中。这种创新的方法结合了两个预训练组件的优势,同时保持可管理的训练和推理成本。
阅读更多
该模型能够处理文本和图像,具有16,384个标记的上下文长度。它使用监督微调(SFT)在经过精心策划的数据集上进行训练,该数据集包括推理和非推理数据。这使得Phi-4-Reasoning-Vision-15B能够进行复杂任务的扩展链式推理,例如数学和科学推理,同时也能处理直接推理的感知相关任务,如图像说明和物体检测。
Phi-4-Reasoning-Vision-15B在内存或计算受限的环境中特别有效,使其成为通用多模态AI系统的理想选择。其主要用例包括对视觉输入进行科学和数学推理,以及涉及解释屏幕内容和定位GUI元素的计算机使用代理任务。该模型还能够执行一般的多模态任务,如图像说明、视觉问答和光学字符识别。
该模型的训练涉及240个NVIDIA B200 GPU,持续四天,重点关注安全性和对齐。它采用了一种安全后训练方法,包括混合开源和内部生成的合成数据集,以确保对有害内容的适当响应。建议开发人员考虑模型的局限性,特别是在高风险场景中,并在将其集成到应用程序时应用负责任的AI实践。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
Phi-4-reasoning-vision-15B亮点
模型类型:多模态
API可用:是
许可证:MIT
参数:150亿
上下文长度:16,384个标记
训练GPU:240
训练时间:4天
微调支持:是
多模态:是
Phi-4-reasoning-vision-15B入门
访问模型:访问Phi-4-Reasoning-Vision-15B的Hugging Face页面。
身份验证:设置您的Hugging Face帐户以获取API访问权限。
设置环境:确保您的系统满足技术要求。
通过API集成:使用提供的API文档将模型集成到您的应用程序中。
优化:根据您的特定用例微调模型。
Phi-4-reasoning-vision-15B的使用案例
- 科学推理
- 计算机使用代理任务
- 图像说明
- 视觉问答
- 光学字符识别










