Описание
OpenELM представляет собой значительный прорыв в области открытого моделирования языка, разработанный Apple Machine Learning Research. Эта инициатива направлена на повышение воспроизводимости и прозрачности в области больших языковых моделей (LLM), которые имеют решающее значение для развития открытых исследований, обеспечения доверия и изучения потенциальных предрассудков и рисков.
Читать далее
В основе OpenELM лежит новая стратегия послойного масштабирования. Этот подход эффективно распределяет параметры внутри каждого слоя архитектуры трансформера, что приводит к заметному повышению точности. Например, при бюджете параметров около одного миллиарда OpenELM достигает улучшения точности на 2,36% по сравнению с OLMo, при этом требуя вдвое меньше токенов предварительного обучения. Эта эффективность является ключевым отличием, делая передовые языковые модели более доступными и устойчивыми для обучения.
Помимо выпуска весов модели и кода для инференса, проект OpenELM предоставляет комплексную экосистему для исследователей. Это включает в себя полную основу для обучения и оценки с использованием общедоступных наборов данных. Пользователи получают доступ к журналам обучения, нескольким контрольным точкам модели и подробным конфигурациям предварительного обучения. Такой уровень прозрачности и доступности призван расширить возможности сообщества открытых исследований и ускорить будущие инновации.
Кроме того, Apple выпустила код для облегчения преобразования моделей OpenELM в библиотеку MLX. Эта интеграция обеспечивает эффективный инференс и дообучение непосредственно на устройствах Apple, расширяя доступность и практическое применение этих мощных моделей. Этот комплексный релиз подчеркивает приверженность Apple поддержке и укреплению мирового сообщества открытых исследований.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыmacOS
Главное о Языковая модель OpenELM
Семейство передовых открытых языковых моделей
Стратегия послойного масштабирования для эффективного распределения параметров
Повышенная точность по сравнению с существующими моделями (например, OLMo)
Сокращенные требования к токенам предварительного обучения
Полная основа для обучения и оценки
Включает журналы обучения и несколько контрольных точек
Предоставлены конфигурации предварительного обучения
Код для интеграции библиотеки MLX на устройствах Apple
Поддерживает инференс и дообучение на оборудовании Apple
Фокус на воспроизводимости и прозрачности в исследованиях LLM
Использует общедоступные наборы данных для обучения
Открытая основа для обучения и инференса
Начало работы с Языковая модель OpenELM
Доступ к модели: Загрузите веса модели OpenELM и фреймворк из предоставленного источника.
Настройка среды: Настройте свою среду разработки с необходимыми библиотеками и зависимостями.
Интеграция через MLX: Используйте предоставленный код для преобразования моделей для инференса и дообучения на устройствах Apple.
Обучение и оценка: Используйте полную основу и общедоступные наборы данных для пользовательского обучения и оценки производительности.
Дообучение модели: Адаптируйте модели OpenELM для конкретных последующих задач, используя предоставленные инструменты и конфигурации.
Варианты использования Языковая модель OpenELM
- Исследования LLM
- Обучение моделей
- Эффективный инференс
- Исследование предрассудков
- Открытый ИИ
- Распределение параметров
