CS336: Modelado de Lenguaje desde Cero

A medida que los campos de la inteligencia artificial (IA) y el aprendizaje automático (ML) continúan evolucionando, una comprensión completa de los modelos de lenguaje se vuelve cada vez más vital tanto para científicos como para ingenieros.

La estructura del curso se inspira en los cursos tradicionales de sistemas operativos, guiando a los estudiantes a través de todo el proceso de desarrollo de sus propios modelos de lenguaje. Esto incluye aspectos críticos como la recolección y limpieza de datos para el preentrenamiento, la construcción de modelos de transformadores, el entrenamiento y la evaluación de modelos antes de su implementación. El plan de estudios enfatiza la implementación práctica, requiriendo que los estudiantes se involucren profundamente con el material y produzcan un trabajo de codificación sustancial.

Los requisitos previos para el curso incluyen competencia en Python, experiencia con aprendizaje profundo y optimización de sistemas, y una sólida base en cálculo, álgebra lineal y probabilidad y estadística básicas. Se espera que los estudiantes estén familiarizados con conceptos y marcos de aprendizaje automático, particularmente PyTorch, ya que el curso implica una programación práctica significativa.

Las tareas están estructuradas para desarrollar progresivamente las habilidades de los estudiantes, comenzando con la implementación de componentes básicos necesarios para entrenar un modelo de lenguaje de transformador estándar. Las tareas posteriores se centran en optimizar el rendimiento del modelo, escalar y aplicar técnicas de aprendizaje por refuerzo para tareas de razonamiento. El curso también proporciona recursos para que los estudiantes accedan a computación GPU para el autoestudio, asegurando que tengan las herramientas necesarias para completar sus tareas de manera efectiva.

Con un fuerte énfasis en la colaboración y la integridad académica, se anima a los estudiantes a trabajar en grupos de estudio mientras aseguran que entienden y completan sus propias tareas. El curso promueve el uso de herramientas de IA para preguntas de programación de bajo nivel, pero desincentiva la dependencia de ellas para resolver problemas de tareas directamente. En general, CS336 ofrece un enfoque riguroso y completo para entender y desarrollar modelos de lenguaje, preparando a los estudiantes para trabajos avanzados en IA y NLP.