描述
微软研究院推出了 Phi-2，这是小型语言模型 (SLM) 领域的一项重大进展。这个拥有 27 亿参数的模型展示了卓越的推理和语言理解能力，使其在 130 亿参数以下的基座语言模型中处于领先地位。Phi-2 在各种基准测试中取得了最先进的性能，其表现常常与模型大小高出其 25 倍的模型相当或更优。这种性能的飞跃归功于创新的模型扩展技术和对训练数据的精心策划。
Phi-2 的开发建立在 Phi 系列先前模型（包括 Phi-1 和 Phi-1.5）的基础上。Phi-1 在 Python 编码方面表现出色，而 Phi-1.5 在常识推理和语言理解方面展现出与模型大小五倍的模型相当的性能。Phi-2 通过将 Phi-1.5 的知识嵌入到更大的架构中，进一步完善了这些能力，加速了训练收敛并提高了基准测试分数。
驱动 Phi-2 成功的关键洞察是训练数据质量的关键作用。微软研究院极度关注“教科书级”数据，整合了旨在教授常识推理、一般知识、科学、日常活动和心智理论的合成数据集。此外，还精心筛选了具有教育价值和内容质量的网络数据。该模型基于 Transformer 架构，在 NLP 和编码任务的混合合成和网络数据集上进行了多次训练，共计 1.4 万亿个 token。
Phi-2 已在 Azure AI Studio 模型目录中提供，以促进研究和开发。尽管未经人类反馈强化学习 (RLHF) 或指令微调，Phi-2 在毒性和偏见方面表现出比某些已对齐的开源模型更好的行为。这与 Phi-1.5 中的观察结果一致，归因于定制的数据策划技术。
Phi-2 的紧凑尺寸使其成为研究人员探索机械可解释性、安全改进和跨不同任务的微调实验等领域的绝佳平台。它在包括 Big Bench Hard、常识推理、语言理解、数学和编码在内的复杂基准测试上的表现，可与 Mistral 7B 和 Llama-2 模型等更大模型相媲美，甚至可以与 Gemini Nano 2 相媲美。
Phi-2 语言模型亮点
27 亿参数
130 亿参数以下模型的最新性能
在复杂基准测试中表现优于模型大小高出 25 倍的模型
先进的推理和语言理解能力
在“教科书级”数据和精选网络数据上训练
基于 Transformer 的架构
下一个词预测目标
在 1.4 万亿个 token 上训练
可在 Azure AI Studio 模型目录中获取
在没有 RLHF 或指令微调的情况下展现出强大的性能
与某些已对齐模型相比，毒性和偏见更低
非常适合研究、可解释性和微调实验
Phi-2 语言模型入门
访问模型：在 Azure AI Studio 模型目录中找到 Phi-2。
身份验证：为 Azure AI 服务设置必要的身份验证凭据。
设置环境：使用所需的库和 SDK 配置您的开发环境。
通过 API 集成：利用提供的 API 端点发送提示并接收模型输出。
实验：开始使用模型的强大功能进行微调或研究实验。
Phi-2 语言模型的使用案例
- 研究探索
- 微调实验
- 推理任务
- 语言理解
- 常识推理
