Описание
Mistral Large 4, также известная как «Le Chonk», представляет собой самую продвинутую и мощную модель Mistral на сегодняшний день. Это модель Mixture-of-Experts с 1 триллионом параметров, нативно мультимодальная, с 49 миллиардами активных параметров на токен (52 миллиарда, включая встраивания и выходные слои). Модель была обучена с нуля на 3,800 графических процессорах NVIDIA Grace Blackwell в европейских дата-центрах Mistral, что обеспечивает надежную производительность и масштабируемость.
Читать далее
Эта универсальная модель объединяет выполнение инструкций, рассуждения, кодирование и агентные рабочие процессы в едином наборе весов. Хотя она универсальна в различных областях, Mistral Large 4 демонстрирует исключительную производительность в специализированных областях, таких как кибербезопасность, финансы и право. Она также превосходит закрытые модели на переднем крае в возможностях визуального обоснования, что делает её высокоэффективной для задач, связанных с анализом изображений.
Ключевым преимуществом Mistral Large 4 является её нативная беглость на более чем 160 языках, включая все официальные языки Европейского Союза. Эта обширная языковая поддержка делает её мощным инструментом для глобальных приложений. Модель имеет значительную длину контекста в 1 миллион, что позволяет ей эффективно обрабатывать рабочие нагрузки с длинным контекстом. Её мультимодальная способность ввода позволяет принимать как текстовые, так и изображенческие входные данные, генерируя текстовые выходы.
Архитектурно Mistral Large 4 использует детализированный дизайн Mixture-of-Experts с 128 маршрутизируемыми экспертами, где 4 эксперта активны на токен, наряду с 1 общим экспертом. Она также включает встроенную головку черновика спекулятивного декодирования DSpark, которая может значительно ускорить декодирование без изменения выходных данных целевой модели, обеспечивая до 1.9x более высокую пропускную способность в определенных сценариях. Также доступна квантованная контрольная точка NVFP4, обеспечивающая меньший объем памяти, более быстрое выполнение и эквивалентную производительность, специально нацеливаясь на графические процессоры Blackwell и поддерживая vLLM и SGLang.
Mistral Large 4 выпущена под лицензией Mistral Ecosystem Open-Weight License, модифицированной MIT лицензией, которая разрешает как коммерческое, так и некоммерческое использование. Однако для ведения бизнеса Model-as-a-Service с Mistral Large 4 требуется отдельная коммерческая лицензия от Mistral. Модель доступна через Mistral API как `mistral-large-4` и может быть развернута и дообучена с использованием различных библиотек, таких как vLLM, SGLang, Transformers, llama.cpp, Axolotl, Unsloth и TRL.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Mistral Large 4
1 триллион общих параметров
52 миллиарда активных параметров на токен
Нативный мультимодальный ввод (текст и изображение)
1 миллион длины контекста
Многоязычная поддержка (более 160 языков)
Настраиваемый режим рассуждений (низкий, средний, высокий)
Продвинутые возможности визуализации для анализа изображений
Сильное соблюдение системных подсказок
Нативный вызов функций и вывод JSON
Строгое соблюдение схемы JSON
Современная производительность в области кибербезопасности
Встроенная головка черновика спекулятивного декодирования DSpark
Доступна квантованная контрольная точка NVFP4
Лицензия Open-Weight для коммерческого и некоммерческого использования
Начало работы с Mistral Large 4
Доступ к модели: Найдите Mistral Large 4 на Hugging Face или через Mistral API.
Развертывание с vLLM: Используйте официальный образ Docker vLLM для готового к производству вывода, настраивая параметры, такие как `--tool-call-parser mistral` и `--reasoning-parser mistral`.
Развертывание с SGLang: Используйте официальный образ Docker SGLang, включая спекулятивное декодирование с `--speculative-algorithm DSPARK`.
Развертывание с Transformers: Установите Transformers из основной ветки и используйте предоставленный фрагмент Python для развертывания на нескольких графических процессорах.
Дообучение модели: Используйте библиотеки, такие как Axolotl, Unsloth или TRL, для дообучения Mistral Large 4.
Интеграция с Mistral Vibe: Установите Mistral Vibe и настройте его для использования Mistral Large 4 через Mistral API или локальный сервер vLLM.
Настройка усилий рассуждений: Установите `reasoning_effort` на 'низкий', 'средний' или 'высокий' в зависимости от сложности подсказки.
Использование системных подсказок: Определите четкие окружения и случаи использования с системными подсказками для эффективного использования инструмента.
Варианты использования Mistral Large 4
- Сложные агентные рабочие процессы
- Анализ кибербезопасности
- Финансовое моделирование и анализ
- Обработка юридических документов
- Многоязычное общение
- Извлечение информации с длинным контекстом
- Анализ изображений и графиков
- Генерация и отладка кода
- Выполнение инструкций и автоматизация
- Чат-боты и разговорный ИИ
