CS336: Sprachmodellierung von Grund auf

Die Kursstruktur ist von traditionellen Betriebssystemkursen inspiriert und führt die Studierenden durch den gesamten Prozess der Entwicklung eigener Sprachmodelle. Dazu gehören kritische Aspekte wie Datensammlung und -bereinigung für das Pre-Training, den Aufbau von Transformermodellen, das Training und die Evaluierung von Modellen vor der Bereitstellung. Der Lehrplan legt großen Wert auf praktische Implementierung, was von den Studierenden verlangt, sich intensiv mit dem Material auseinanderzusetzen und umfangreiche Programmierarbeiten zu leisten.

Die Voraussetzungen für den Kurs umfassen Kenntnisse in Python, Erfahrung mit tiefem Lernen und Systemoptimierung sowie eine solide Grundlage in Hochschulmathematik, linearer Algebra und grundlegender Wahrscheinlichkeit und Statistik. Die Studierenden sollten mit Konzepten und Frameworks des maschinellen Lernens, insbesondere PyTorch, vertraut sein, da der Kurs erhebliches praktisches Programmieren erfordert.

Die Aufgaben sind so strukturiert, dass sie die Fähigkeiten der Studierenden schrittweise aufbauen, beginnend mit der Implementierung grundlegender Komponenten, die für das Training eines standardmäßigen Transformersprachmodells erforderlich sind. Nachfolgende Aufgaben konzentrieren sich auf die Optimierung der Modellleistung, Skalierung und die Anwendung von Techniken des verstärkenden Lernens für Denkaufgaben. Der Kurs bietet auch Ressourcen, damit die Studierenden GPU-Rechenleistung für das Selbststudium nutzen können, um sicherzustellen, dass sie die notwendigen Werkzeuge haben, um ihre Aufgaben effektiv abzuschließen.

Mit einem starken Fokus auf Zusammenarbeit und akademische Integrität werden die Studierenden ermutigt, in Lerngruppen zu arbeiten, während sie sicherstellen, dass sie ihre eigenen Aufgaben verstehen und abschließen. Der Kurs fördert die Nutzung von KI-Tools für Fragen zur Programmierung auf niedriger Ebene, discouragiert jedoch die Abhängigkeit von ihnen zur direkten Lösung von Aufgabenproblemen. Insgesamt bietet CS336 einen rigorosen und umfassenden Ansatz zum Verständnis und zur Entwicklung von Sprachmodellen und bereitet die Studierenden auf fortgeschrittene Arbeiten in KI und NLP vor.