SmolLM3语言模型

描述

SmolLM3是一个拥有30亿参数的语言模型，旨在提升人工智能中小型模型的能力。它设计支持双模式推理，并且是多语言的，原生支持六种语言：英语、法语、西班牙语、德语、意大利语和葡萄牙语。该模型完全开放，具有开放权重和全面的训练细节，包括公共数据混合和训练配置。

SmolLM3的架构是一个仅解码器的变换器，使用GQA和NoPE，比例为3:1。它在112万亿个标记上进行了预训练，采用了包括网络、代码、数学和推理数据的分阶段课程。后期训练涉及在1400亿个推理标记上的中期训练，随后通过锚定偏好优化（APO）进行监督微调和对齐。

SmolLM3针对混合推理进行了优化，支持长上下文处理，训练于64k上下文，并能够使用YARN外推处理多达128k个标记。该模型可以使用vLLM和SGLang进行部署，兼容OpenAI格式的API。它还支持工具调用，允许通过XML或Python函数调用与各种工具集成。

对于本地推理，SmolLM3可以与llama.cpp、ONNX、MLX、MLC和ExecuTorch一起使用。量化检查点可用于高效部署。该模型的性能已在各种基准测试中进行评估，显示出在多语言问答、竞争编程和指令跟随任务中的强大表现。

SmolLM3是开发者和研究人员利用人工智能进行多语言和复杂推理任务的宝贵工具。然而，用户应注意，生成的内容可能并不总是事实准确或不受训练数据中存在的偏见影响。

SmolLM3语言模型亮点

• 30亿参数语言模型

• 支持双模式推理

• 多语言：6种语言

• 长上下文处理，最多128k个标记

• 开放模型，具有开放权重

• 针对混合推理优化的指令模型

• 支持工具调用

• 与vLLM和SGLang兼容

SmolLM3语言模型入门

1. 1

   访问页面：访问Hugging Face模型页面

2. 2

   加载模型：使用transformers v4.53.0或最新的vllm

3. 3

   配置环境：设置采样参数和上下文长度

4. 4

   集成：使用XML或Python函数进行工具调用

5. 5

   微调：应用监督微调和对齐

SmolLM3语言模型的使用案例

• 多语言问答
• 混合推理
• 工具集成
• 长上下文处理
• 指令跟随

SmolLM3语言模型的常见问题

• 什么是SmolLM3？

  SmolLM3是一个30亿参数的语言模型，旨在提高小型模型的效率，支持双模式推理和多语言能力。

• SmolLM3支持多少种语言？

  SmolLM3原生支持六种语言：英语、法语、西班牙语、德语、意大利语和葡萄牙语。

• SmolLM3的上下文长度能力是什么？

  SmolLM3支持长上下文处理，训练于64k上下文，并能够使用YARN外推处理多达128k个标记。

• SmolLM3是开放模型吗？

  是的，SmolLM3是一个完全开放的模型，具有开放权重和详细的训练配置。

• SmolLM3的架构是什么？

  SmolLM3是一个仅解码器的变换器，使用GQA和NoPE，比例为3:1。

• SmolLM3可以用于工具调用吗？

  是的，SmolLM3支持通过XML或Python函数调用进行工具调用。

• 哪些框架与SmolLM3兼容？

  SmolLM3可以使用vLLM、SGLang、llama.cpp、ONNX、MLX、MLC和ExecuTorch进行部署。

• SmolLM3的主要用例是什么？

  SmolLM3适用于多语言任务、复杂推理和混合推理应用。