Description
Meta AI démocratise l'accès aux modèles linguistiques à grande échelle avec la sortie d'OPT-175B, un modèle de 175 milliards de paramètres entraîné sur des ensembles de données publiquement disponibles. Cette initiative vise à favoriser un engagement communautaire plus large dans la compréhension des nouvelles technologies fondamentales de l'IA, allant au-delà de l'accès limité précédemment réservé aux laboratoires très bien dotés en ressources. En fournissant à la fois les modèles pré-entraînés et le code d'entraînement nécessaire, OPT-175B permet aux chercheurs universitaires, à la société civile, aux décideurs politiques et aux laboratoires de recherche industriels du monde entier de mener des recherches reproductibles et de faire progresser collectivement le domaine.
Lire la suite
La publication est soutenue par un engagement envers la science ouverte et le développement responsable de l'IA. Meta AI partage une documentation détaillée du processus de développement, y compris un journal complet de l'entraînement quotidien, de l'utilisation du calcul et des ressources humaines. Cette transparence permet aux autres chercheurs de s'appuyer sur leurs travaux et d'analyser les préjudices potentiels à l'aide de métriques quantifiables sur un modèle partagé. OPT-175B a été entraîné en utilisant l'API open-source Fully Sharded Data Parallel (FSDP) de Meta et l'abstraction tensorielle de NVIDIA au sein de Megatron-LM, atteignant une efficacité énergétique significative avec une empreinte carbone 7 fois inférieure à celle de GPT-3.
En plus d'OPT-175B, Meta AI publie une suite de modèles de base à plus petite échelle, entraînés sur les mêmes données et utilisant des paramètres similaires, pour faciliter l'étude des effets d'échelle. Ceux-ci comprennent des modèles avec un nombre de paramètres allant de 125 millions à 30 milliards. La publication est régie par une licence non commerciale, privilégiant les cas d'utilisation de recherche et visant à prévenir les abus. En augmentant la diversité des voix impliquées dans la définition des considérations éthiques, Meta AI espère faire progresser le développement responsable de l'IA et établir des directives claires pour les grands modèles linguistiques.
Cette collaboration ouverte est cruciale pour l'avancement de la recherche en IA, permettant à la communauté scientifique d'explorer le potentiel des modèles de pointe tout en sondant simultanément leurs vulnérabilités. La publication d'OPT-175B et de ses ressources associées vise à mettre en avant davantage de perspectives dans la création de grands modèles linguistiques, à aider à la conception de stratégies de publication responsables et à introduire un niveau de transparence sans précédent dans le domaine.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de OPT-175B
175 milliards de paramètres
Entraîné sur des ensembles de données publiquement disponibles
Comprend des modèles pré-entraînés et du code d'entraînement
Licence non commerciale pour l'utilisation en recherche
Accès accordé aux chercheurs universitaires et aux organisations affiliées
Documentation détaillée du processus de développement
Journal complet du processus d'entraînement
Métriques quantifiables pour l'analyse des préjudices
Méthodologie d'entraînement économe en énergie
Suite de modèles de base à plus petite échelle publiée
Facilite la recherche reproductible
Favorise le développement responsable de l'IA
Améliore la transparence dans le développement des LLM
Premiers pas avec OPT-175B
Demander l'accès : Soumettez une demande d'accès à OPT-175B.
Télécharger le code : Accédez au code open-source pour l'entraînement et le déploiement.
Obtenir les modèles : Téléchargez les modèles de base à plus petite échelle.
Configurer l'environnement : Préparez votre environnement de recherche avec les bibliothèques nécessaires.
Intégrer le modèle : Chargez et utilisez le modèle OPT-175B pour les tâches de recherche.
Analyser les résultats : Menez des expériences et analysez le comportement et les sorties du modèle.
Contribuer à la recherche : Partagez vos découvertes et contribuez à la communauté IA au sens large.
Cas d'utilisation de OPT-175B
- Recherche en PNL
- Atténuation des biais
- Interprétabilité des modèles
- IA Responsable
- Science Reproductible
- Génération de texte
- Éthique de l'IA
