Описание
MiniCPM5-2B — это вторая модель в серии MiniCPM5, следующая за MiniCPM5-1B. Это плотная модель Transformer 2B, созданная для развертывания на устройствах, локального использования и в условиях ограниченных ресурсов. Эта модель использует ту же методику обучения и достигает передовых результатов (SOTA) среди моделей открытого исходного кода класса 2B. Она остается конкурентоспособной с более крупными моделями класса 4B, особенно в таких областях, как кодирование, математика, понимание длинного контекста, использование инструментов и агентные задачи.
Читать далее
Модель обучена с использованием высококачественных наборов данных из семейства UltraData, включая UltraX для предварительного обучения в интернете, UltraData-Code для кодировочных возможностей, UltraData-SFT-Agent-2609 для обучения агентов и UltraData-RL-2609 для обучения с подкреплением. Эти наборы данных способствуют комплексным возможностям модели, делая ее подходящей для различных приложений, таких как локальные помощники, кодировочные агенты и сценарии рассуждений.
MiniCPM5-2B использует стандартную архитектуру LlamaForCausalLM с 2,516,756,480 параметрами, 42 слоями и длиной контекста 131,072. Она разработана для обеспечения нативной поддержки длинного контекста при сохранении небольшого объема развертывания. Обучение модели включает в себя полную практику управления данными UltraData Tiered Data Management, охватывающую базовое обучение, среднее обучение и постобучение.
Во время постобучения модель проходит через Супервизированное Тонкое Настройка (SFT), Обучение с Подкреплением (RL) и Дистилляцию на Политике (OPD) для дальнейшего улучшения своих возможностей. RL + OPD значительно улучшает рассуждения и общие возможности модели, объединяя экспертизу 16 специализированных моделей в одной модели выпуска.
MiniCPM5-2B доступна в различных форматах, подходящих для различных сценариев развертывания, включая BF16, GGUF и MLX. Она поддерживает несколько бэкендов, таких как Transformers, vLLM, SGLang и llama.cpp, что позволяет гибко развертывать на различных платформах и устройствах. Модель выпущена под лицензией Apache-2.0, обеспечивая открытый доступ и сотрудничество.
- КатегорияИИ-модели и LLM
Главное о MiniCPM5-2B
Плотная модель Transformer 2B
Развертывание на устройствах
Сценарии с ограниченными ресурсами
Передовые результаты
Высококачественные обучающие наборы данных
Стандартная архитектура LlamaForCausalLM
Нативная поддержка длинного контекста
Управление данными UltraData Tiered Data Management
Начало работы с MiniCPM5-2B
Доступ к странице модели: посетите страницу модели Hugging Face
Аутентификация: войдите в свою учетную запись Hugging Face
Настройка: установите параметры модели и окружение
Отправка запросов: используйте модель для выполнения ваших конкретных задач
Тонкая настройка: настройте модель для специализированных приложений
Варианты использования MiniCPM5-2B
- Локальные помощники
- Кодировочные агенты
- Рабочие процессы использования инструментов
- Сценарии рассуждений
- Агентные задачи
