Описание
Laguna M.1 — это сложная модель Mixture-of-Experts (MoE), разработанная для агентного кодирования и задач с длительным горизонтом. С общим количеством 225 миллиардов параметров и 23 миллиардами активированных параметров на токен, она спроектирована для эффективного выполнения сложных вычислительных задач. Модель состоит из 70 слоев, включая 67 разреженных слоев MoE с 256 экспертами, и использует механизм маршрутизации экспертов с высокой пропускной способностью. Этот дизайн позволяет осуществлять маршрутизацию top-k=16 и балансировку нагрузки без вспомогательных потерь, что повышает ее вычислительную эффективность.
Читать далее
Модель использует архитектуру глобального внимания на всех слоях, с 64 Q-головами и 8 KV-головами, с выходным управлением внимания softplus. Эта настройка поддерживает нативные возможности рассуждения, позволяя чередовать мышление между вызовами инструментов, которые могут быть включены или отключены по запросу. Laguna M.1 демонстрирует высокую производительность на нескольких бенчмарках, включая SWE-bench Verified, SWE-bench Multilingual, SWE-Bench Pro и Terminal-Bench 2.0, что делает ее конкурентоспособной с передовыми моделями.
Laguna M.1 лицензирована под лицензией Apache 2.0, что позволяет свободно использовать и модифицировать ее как в коммерческих, так и в некоммерческих целях. Она поддерживается различными платформами, включая vLLM, SGLang, Transformers и TRT-LLM, благодаря сотрудничеству с NVIDIA. Модель предназначена для задач программной инженерии и агентного кодирования, с акцентом на сохранение рассуждений в истории сообщений для оптимизации производительности.
Пользователи могут развернуть Laguna M.1 локально, используя vLLM или SGLang, с поддержкой вызовов инструментов, потоковых ответов и разбора рассуждений. Модель также доступна в квантованных форматах, таких как FP8 и NVFP4, чтобы удовлетворить различные потребности развертывания. Для тех, кто заинтересован в изучении ее возможностей, Laguna M.1 можно получить через платформы, такие как vLLM и SGLang, с подробными инструкциями по развертыванию в их соответствующей документации.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб, macOS, Linux
Главное о Laguna M.1
225B общих параметров
23B активированных параметров на токен
70-слойный трансформер MoE
256 экспертов с маршрутизацией top-k=16
Глобальная архитектура внимания
Поддержка нативного рассуждения
Лицензия Apache 2.0
Высокая производительность на бенчмарках
Начало работы с Laguna M.1
Доступ к странице модели: посетите страницу Hugging Face для Laguna M.1
Аутентификация: получите API-ключ для доступа
Настройка: настройте модель с желаемыми параметрами
Отправка запросов: используйте модель для задач текст-в-текст
Тонкая настройка: настройте модель для конкретных случаев использования
Варианты использования Laguna M.1
- Агентное Кодирование
- Задачи с Длительным Горизонтом
- Тестирование Бенчмарков
- Интеграция Инструментов
- Исследования и Разработка
