Описание
Qwen3-8B — это большая языковая модель из семейства Qwen3, разработанная командой Qwen компании Alibaba и выпущенная с открытыми весами на Hugging Face под лицензией Apache 2.0. Это плотная, причинно-следственная (только декодерная) языковая модель с 8,2 миллиарда параметров (6,95 миллиарда без учета встраиваний), 36 слоями и вниманием с группированными запросами с 32 головами запросов и 8 головами ключей/значений.
Читать далее
Ее основная отличительная черта — это возможность переключения между двумя режимами в одной модели: режим мышления для сложного логического рассуждения, математики и программирования и режим без мышления для более быстрого общего диалога. Qwen сообщает, что режим мышления улучшает производительность рассуждений по сравнению с предыдущей моделью QwQ, а режим без мышления улучшает показатели по сравнению с Qwen2.5-instruct в области математики, генерации кода и оценки здравого смысла.
Модель нативно поддерживает контекстное окно на 32 768 токенов, которое можно расширить до 131 072 токенов с помощью масштабирования YaRN. Она создана для использования инструментов и задач в стиле агентов: Qwen утверждает, что она точно интегрируется с внешними инструментами как в режиме мышления, так и в режиме без мышления, а ее шаблон чата включает явную поддержку вызова функций и инструментов. Она также поддерживает выполнение инструкций и перевод на более чем 100 языков и диалектов.
Qwen3-8B распространяется для использования с библиотекой Hugging Face Transformers (требуется версия 4.51.0 или новее) и совместима с общими инструментами вывода как локально, так и в облаке; использование более старой версии Transformers вызывает ошибку "KeyError: 'qwen3'", так как поддержка архитектуры была добавлена специально для этого релиза. На Hugging Face модель была загружена более 12 миллионов раз за последний месяц и более 126 миллионов раз всего, что делает ее одной из наиболее широко используемых моделей в семействе Qwen3. Qwen также опубликовал сопроводительные научные статьи вместе с моделью, охватывающие основную архитектуру и методологию оценки. Она предназначена для разработчиков, создающих приложения, которые нуждаются в меньшей, самохостимой модели с сильными способностями к рассуждению и использованию инструментов, а не для нетехнических конечных пользователей.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб
Главное о Qwen3-8B
Плотная причинно-следственная языковая модель с 8,2 миллиарда параметров (6,95 миллиарда без встраиваний)
Переключаемый режим мышления (рассуждение, математика, код) и режим без мышления (быстрый диалог) в одной модели
36 слоев с вниманием с группированными запросами (32 головы запросов, 8 голов ключей/значений)
Нативный контекст на 32 768 токенов, расширяемый до 131 072 токенов с помощью YaRN
Встроенная поддержка вызова инструментов/функций через шаблон чата
Выполнение инструкций и перевод на более чем 100 языков
Открытые веса, выпущенные под лицензией Apache 2.0
Совместимость с Hugging Face Transformers (4.51.0+) и общими инструментами вывода
Начало работы с Qwen3-8B
Установите зависимости: Установите последнюю версию Hugging Face Transformers (4.51.0 или новее).
Загрузите модель: Загрузите Qwen/Qwen3-8B с помощью AutoModelForCausalLM и AutoTokenizer.
Выберите режим: Установите enable_thinking в True для задач рассуждения или False для более быстрого общего диалога.
Отформатируйте запрос: Примените шаблон чата модели для структурирования сообщений, включая любые определения инструментов.
Сгенерируйте ответ: Запустите генерацию и, для режима мышления, отдельно обработайте содержимое рассуждений от окончательного ответа.
Варианты использования Qwen3-8B
- Задачи рассуждения и математики
- Общие чат-приложения
- Рабочие процессы агентов и вызов инструментов
- Многоязычные приложения
