Описание
Solar Pro Preview Instruct — это передовая языковая модель (LLM), разработанная для работы на одном GPU с 22 миллиардами параметров. Эта модель демонстрирует исключительную производительность, превосходя модели с менее чем 30 миллиардами параметров и конкурируя с теми, которые в три раза больше, такими как Llama 3.1 с 70 миллиардами параметров. Модель построена с использованием улучшенной версии метода увеличения глубины, масштабируя модель Phi-3-medium с 14 миллиардов до 22 миллиардов параметров, оптимизированной для GPU с 80 ГБ видеопамяти.
Читать далее
Стратегия обучения и набор данных для Solar Pro Preview были тщательно подобраны, что привело к значительным улучшениям производительности по сравнению с моделью Phi-3-medium, особенно на бенчмарках, таких как MMLU-Pro и IFEval, которые оценивают знания модели и её способности следовать инструкциям. Хотя это предварительная версия, она уже выделяется своей эффективностью и возможностями, с планами на официальное релиз Solar Pro в ноябре 2024 года, который будет включать расширенную поддержку языков и более длинные контекстные окна.
Solar Pro Preview специально разработан для задач следования инструкциям и разговорных взаимодействий, используя шаблон ChatML для оптимальной производительности. Эта модель доступна как API в Upstage Console, предоставляя различные методы для интеграции. Несмотря на текущие ограничения в языковом охвате и длине контекста, Solar Pro Preview готов к дальнейшему развитию и улучшению.
- КатегорияИИ-модели и LLM
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Solar Pro Preview Instruct
22 миллиарда параметров
Совместимость с одним GPU
Превосходная производительность по сравнению с моделями менее 30B параметров
Сравнима с моделями более 70B параметров
Улучшенный метод увеличения глубины
Оптимизирована для 80 ГБ видеопамяти
Настроена для разговорных задач
Доступна как API в Upstage Console
Начало работы с Solar Pro Preview Instruct
Страница доступа: Посетите страницу модели Hugging Face
Загрузите модель: Используйте предоставленный код для вывода
Настройте окружение: Настройте GPU с 80 ГБ видеопамяти
Интеграция: Используйте API в Upstage Console
Тонкая настройка: Примените шаблон ChatML для задач
Варианты использования Solar Pro Preview Instruct
- Разговорный ИИ
- Следование инструкциям
- Тестирование бенчмарков
- Интеграция API
- Исследование языковых моделей
