Модель языка SmolLM3

Описание

SmolLM3 — это языковая модель с 3 миллиардами параметров, разработанная для повышения возможностей малых моделей в области искусственного интеллекта. Она предназначена для поддержки двойного режимного рассуждения и является многоязычной, нативно поддерживая шесть языков: английский, французский, испанский, немецкий, итальянский и португальский. Модель полностью открыта, с открытыми весами и подробными данными о тренировках, включая публичные смеси данных и конфигурации обучения.

Архитектура SmolLM3 представляет собой трансформер только для декодирования, использующий GQA и NoPE с соотношением 3:1. Она была предварительно обучена на 11,2 триллионах токенов с использованием поэтапной учебной программы, которая включала данные из веба, кода, математики и рассуждений. После обучения проводилось промежуточное обучение на 140 миллиардах токенов рассуждений, за которым следовало контролируемое дообучение и выравнивание с помощью оптимизации предпочтений с привязкой (APO).

SmolLM3 оптимизирована для гибридного рассуждения и поддерживает обработку длинного контекста, обученная на контексте 64k и способная обрабатывать до 128k токенов с использованием экстраполяции YARN. Модель может быть развернута с использованием vLLM и SGLang, совместима с API формата OpenAI. Она также поддерживает вызов инструментов, позволяя интеграцию с различными инструментами через XML или вызовы функций Python.

Для локального вывода SmolLM3 может использоваться с llama.cpp, ONNX, MLX, MLC и ExecuTorch. Доступны квантизированные контрольные точки для эффективного развертывания. Производительность модели была оценена по различным бенчмаркам, демонстрируя высокие результаты в многоязычных вопросах и ответах, конкурентном программировании и задачах следования инструкциям.

SmolLM3 является ценным инструментом для разработчиков и исследователей, стремящихся использовать ИИ для многоязычных и сложных задач рассуждения. Однако пользователи должны быть осведомлены о том, что сгенерированный контент может не всегда быть фактически точным или свободным от предвзятостей, присутствующих в данных обучения.

Главное о Модель языка SmolLM3

• Языковая модель с 3 миллиардами параметров

• Поддержка двойного режимного рассуждения

• Многоязычность: 6 языков

• Обработка длинного контекста до 128k токенов

• Открытая модель с открытыми весами

• Модель для инструкций, оптимизированная для гибридного рассуждения

• Поддержка вызова инструментов

• Совместимость с vLLM и SGLang

Начало работы с Модель языка SmolLM3

1. 1

   Доступ к странице: Посетите страницу модели Hugging Face

2. 2

   Загрузите модель: Используйте transformers v4.53.0 или последнюю версию vllm

3. 3

   Настройте окружение: Установите параметры выборки и длину контекста

4. 4

   Интеграция: Используйте вызов инструментов с XML или функциями Python

5. 5

   Дообучение: Примените контролируемое дообучение и выравнивание

Варианты использования Модель языка SmolLM3

• Многоязычные вопросы и ответы
• Гибридное рассуждение
• Интеграция инструментов
• Обработка длинного контекста
• Следование инструкциям

Часто задаваемые вопросы Модель языка SmolLM3

• Что такое SmolLM3?

  SmolLM3 — это языковая модель с 3 миллиардами параметров, разработанная для эффективности малых моделей, поддерживающая двойное режимное рассуждение и многоязычные возможности.

• Сколько языков поддерживает SmolLM3?

  SmolLM3 нативно поддерживает шесть языков: английский, французский, испанский, немецкий, итальянский и португальский.

• Какова способность длины контекста SmolLM3?

  SmolLM3 поддерживает обработку длинного контекста, обученная на 64k контексте и способная обрабатывать до 128k токенов с использованием экстраполяции YARN.

• Является ли SmolLM3 открытой моделью?

  Да, SmolLM3 — это полностью открытая модель с открытыми весами и доступными подробными конфигурациями обучения.

• Какова архитектура SmolLM3?

  SmolLM3 — это трансформер только для декодирования, использующий GQA и NoPE с соотношением 3:1.

• Можно ли использовать SmolLM3 для вызова инструментов?

  Да, SmolLM3 поддерживает вызов инструментов через XML или вызовы функций Python.

• Какие фреймворки совместимы со SmolLM3?

  SmolLM3 может быть развернута с использованием vLLM, SGLang, llama.cpp, ONNX, MLX, MLC и ExecuTorch.

• Каковы основные случаи использования SmolLM3?

  SmolLM3 подходит для многоязычных задач, сложного рассуждения и приложений гибридного рассуждения.