Описание
Meta AI демократизирует доступ к крупномасштабным языковым моделям, выпуская OPT-175B — модель с 175 миллиардами параметров, обученную на общедоступных наборах данных. Эта инициатива направлена на более широкое вовлечение сообщества в понимание фундаментальных новых технологий ИИ, выходя за рамки ограниченного доступа, который ранее был доступен только высокоресурсным лабораториям. Предоставляя как предварительно обученные модели, так и необходимый код для обучения, OPT-175B дает возможность академическим исследователям, представителям гражданского общества, политикам и отраслевым исследовательским лабораториям по всему миру проводить воспроизводимые исследования и совместно развивать эту область.
Читать далее
Выпуск модели подкреплен приверженностью открытой науке и ответственному развитию ИИ. Meta AI делится подробной документацией процесса разработки, включая полный журнал ежедневного обучения, использования вычислительных ресурсов и накладных расходов на персонал. Эта прозрачность позволяет другим исследователям опираться на их работу и анализировать потенциальные риски с использованием количественных метрик на общей модели. OPT-175B обучалась с использованием API Meta для распределенного параллелизма данных с полной сегментацией (FSDP) и абстракции тензорного параллелизма NVIDIA в рамках Megatron-LM, достигнув значительной энергоэффективности с углеродным следом в 7 раз меньше, чем у GPT-3.
В дополнение к OPT-175B, Meta AI выпускает набор базовых моделей меньшего масштаба, обученных на тех же данных и с использованием аналогичных настроек, для облегчения изучения эффектов масштабирования. К ним относятся модели с количеством параметров от 125 миллионов до 30 миллиардов. Выпуск регулируется некоммерческой лицензией, отдающей приоритет исследовательским сценариям использования и направленной на предотвращение злоупотреблений. Увеличивая разнообразие голосов, участвующих в определении этических соображений, Meta AI надеется стимулировать прогресс в ответственном развитии ИИ и установить четкие руководящие принципы для больших языковых моделей.
Это открытое сотрудничество имеет решающее значение для прогресса в исследованиях ИИ, позволяя научному сообществу изучать потенциал передовых моделей и одновременно выявлять уязвимости. Выпуск OPT-175B и связанных с ней ресурсов направлен на то, чтобы привлечь больше перспектив к переднему краю создания больших языковых моделей, помочь в разработке ответственных стратегий выпуска и привнести беспрецедентный уровень прозрачности в эту область.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о OPT-175B
175 миллиардов параметров
Обучена на общедоступных наборах данных
Включает предварительно обученные модели и код для обучения
Некоммерческая лицензия для исследовательского использования
Доступ предоставлен академическим исследователям и аффилированным организациям
Подробная документация процесса разработки
Полный журнал процесса обучения
Количественные метрики для анализа вреда
Энергоэффективная методология обучения
Выпущен набор базовых моделей меньшего масштаба
Обеспечивает воспроизводимость исследований
Способствует ответственному развитию ИИ
Повышает прозрачность в разработке LLM
Начало работы с OPT-175B
Запросить доступ: Подайте запрос на доступ к OPT-175B.
Скачать код: Получите доступ к открытому исходному коду для обучения и развертывания.
Получить модели: Скачайте базовые модели меньшего масштаба.
Настроить среду: Подготовьте исследовательскую среду с необходимыми библиотеками.
Интегрировать модель: Загрузите и используйте модель OPT-175B для исследовательских задач.
Анализировать результаты: Проводите эксперименты и анализируйте поведение и выходные данные модели.
Внести вклад в исследования: Делитесь результатами и вносите вклад в более широкое сообщество ИИ.
Варианты использования OPT-175B
- Исследования NLP
- Снижение предвзятости
- Интерпретируемость моделей
- Ответственный ИИ
- Воспроизводимая наука
- Генерация текста
- Этика ИИ
