Описание
Проект StableLM, размещенный на GitHub компанией Stability AI, представляет собой значительные усилия в области разработки больших языковых моделей (LLM) с открытым исходным кодом. Этот репозиторий служит центральным узлом для текущих исследований и разработок серии StableLM, постоянно обновляясь новыми контрольными точками моделей и достижениями.
Читать далее
По своей сути StableLM стремится предоставить мощные и доступные языковые модели для сообщества ИИ. В рамках проекта было выпущено несколько заметных моделей, включая StableLM-3B-4E1T — модель с 3 миллиардами параметров, предварительно обученную в режиме многократных эпох для исследования влияния повторяющихся токенов на производительность. Эта модель была обучена на 1 триллионе токенов в течение 4 эпох, черпая вдохновение из исследований по масштабированию языковых моделей с ограниченными данными. Ее архитектура представляет собой трансформер только декодера, аналогичный LLaMA, с определенными модификациями, такими как Rotary Position Embeddings и LayerNorm.
Дальнейшие итерации включают модели StableLM-Alpha v2, доступные в версиях с 3B и 7B параметрами. Эти модели включают архитектурные улучшения, такие как SwiGLU, и используют источники данных более высокого качества, значительно повышая производительность в последующих задачах. Обучающие данные для этих моделей включают отфильтрованную смесь наборов данных с открытым исходным кодом, таких как Falcon RefinedWeb, RedPajama-Data, The Pile и StarCoder, с сильным акцентом на веб-текст. Длина контекста для этих моделей составляет 4096 токенов.
Stability AI также разработала StableVicuna — модель Vicuna-13B, дообученную с использованием RLHF, с целью создания чат-бота LLM с открытым исходным кодом, использующего RLHF. Из-за некоммерческой лицензии LLaMA веса StableVicuna выпускаются в виде дельт к исходной модели.
Репозиторий предоставляет ресурсы для разработчиков, включая краткие руководства и примеры кода для выполнения инференса с такими моделями, как StableLM-Tuned-Alpha-7B на Hugging Face. Проект поощряет участие сообщества, ища вклад в портирование llama.cpp и интеграцию с Open Assistant для сбора данных обратной связи. Пользователям рекомендуется учитывать, что, как и в случае с любой предварительно обученной LLM, ответы могут различаться по качеству и потенциально содержать оскорбительный контент, который, как ожидается, улучшится с дальнейшим развитием и обратной связью от сообщества.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции StableLM
Репозиторий для разработки языковых моделей с открытым исходным кодом
Размещает серию языковых моделей StableLM
Постоянно обновляется новыми контрольными точками
Включает модели, такие как StableLM-3B-4E1T
Представляет модели StableLM-Alpha v2 (3B и 7B)
Предоставляет StableVicuna, дообученную с использованием RLHF
Предлагает технические отчеты и обзоры моделей
Включает примеры кода для инференса
Поощряет вклад и обратную связь от сообщества
Модели доступны под лицензиями CC BY-SA-4.0 и CC BY-NC-SA-4.0
Код лицензирован под лицензией Apache License 2.0
Начало работы с StableLM
Клонировать: Клонируйте репозиторий на свой локальный компьютер.
Установить зависимости: Установите необходимые библиотеки и фреймворки.
Загрузить модель: Получите желаемые контрольные точки модели StableLM с Hugging Face.
Настроить: Настройте среду и параметры для инференса или дообучения.
Выполнить: Запустите предоставленные скрипты для инференса или пользовательского использования модели.
Интегрировать: Включите модели в свои приложения или исследовательские проекты.
Варианты использования StableLM
- Исследования языковых моделей
- Разработка чат-ботов с ИИ
- Генерация текста
- Понимание естественного языка
- Дообучение для конкретных задач
- Разработка ИИ с открытым исходным кодом
