CS336 : Modélisation du langage depuis zéro

Alors que les domaines de l'intelligence artificielle (IA) et de l'apprentissage automatique (AA) continuent d'évoluer, une compréhension approfondie des modèles de langage devient de plus en plus vitale pour les scientifiques et les ingénieurs.

La structure du cours s'inspire des cours traditionnels sur les systèmes d'exploitation, guidant les étudiants à travers l'ensemble du processus de développement de leurs propres modèles de langage. Cela inclut des aspects critiques tels que la collecte et le nettoyage des données pour le pré-entraînement, la construction de modèles de transformateurs, l'entraînement et l'évaluation des modèles avant leur déploiement. Le programme met l'accent sur la mise en œuvre pratique, exigeant des étudiants qu'ils s'engagent profondément avec le matériel et produisent un travail de codage substantiel.

Les prérequis pour le cours incluent une maîtrise de Python, une expérience en apprentissage profond et en optimisation des systèmes, ainsi qu'une solide base en calcul, en algèbre linéaire et en probabilités et statistiques de niveau universitaire. Les étudiants doivent être familiers avec les concepts et les cadres d'apprentissage automatique, en particulier PyTorch, car le cours implique une programmation pratique significative.

Les devoirs sont structurés pour développer progressivement les compétences des étudiants, en commençant par la mise en œuvre des composants de base nécessaires à l'entraînement d'un modèle de langage transformateur standard. Les devoirs suivants se concentrent sur l'optimisation des performances du modèle, l'évolutivité et l'application des techniques d'apprentissage par renforcement pour les tâches de raisonnement. Le cours fournit également des ressources pour que les étudiants puissent accéder à des calculs GPU pour l'auto-apprentissage, garantissant qu'ils disposent des outils nécessaires pour compléter efficacement leurs devoirs.

Avec un fort accent sur la collaboration et l'intégrité académique, les étudiants sont encouragés à travailler en groupes d'étude tout en veillant à comprendre et à compléter leurs propres devoirs. Le cours promeut l'utilisation d'outils d'IA pour les questions de programmation de bas niveau, mais décourage la dépendance à ces outils pour résoudre directement les problèmes des devoirs. Dans l'ensemble, le CS336 offre une approche rigoureuse et complète pour comprendre et développer des modèles de langage, préparant les étudiants à un travail avancé en IA et en NLP.