Deskripsi
Stanford CS336, berjudul 'Pemodelan Bahasa dari Awal', adalah kursus lanjutan yang ditawarkan pada Musim Semi 2026 yang mendalami seluk-beluk pembangunan dan pemahaman model bahasa modern. Kursus ini dirancang untuk mahasiswa yang ingin mendapatkan pemahaman mendalam tentang model bahasa, yang merupakan dasar bagi aplikasi pemrosesan bahasa alami (NLP) kontemporer. Seiring dengan perkembangan bidang kecerdasan buatan (AI) dan pembelajaran mesin (ML), pemahaman yang menyeluruh tentang model bahasa semakin penting bagi para ilmuwan dan insinyur.
Baca Selengkapnya
Struktur kursus terinspirasi oleh kursus sistem operasi tradisional, membimbing mahasiswa melalui seluruh proses pengembangan model bahasa mereka sendiri. Ini mencakup aspek-aspek kritis seperti pengumpulan dan pembersihan data untuk pelatihan awal, membangun model transformer, melatih, dan mengevaluasi model sebelum diterapkan. Kurikulum menekankan implementasi praktis, mengharuskan mahasiswa untuk terlibat secara mendalam dengan materi dan menghasilkan pekerjaan pengkodean yang substansial.
Prasyarat untuk kursus ini mencakup kemahiran dalam Python, pengalaman dengan pembelajaran mendalam dan optimisasi sistem, serta dasar yang kuat dalam kalkulus tingkat perguruan tinggi, aljabar linier, dan probabilitas serta statistik dasar. Mahasiswa diharapkan sudah familiar dengan konsep dan kerangka kerja pembelajaran mesin, terutama PyTorch, karena kursus ini melibatkan pemrograman praktis yang signifikan.
Tugas-tugas disusun untuk secara bertahap membangun keterampilan mahasiswa, dimulai dengan implementasi komponen dasar yang diperlukan untuk melatih model bahasa transformer standar. Tugas-tugas berikutnya berfokus pada mengoptimalkan kinerja model, penskalaan, dan menerapkan teknik pembelajaran penguatan untuk tugas penalaran. Kursus ini juga menyediakan sumber daya bagi mahasiswa untuk mengakses komputasi GPU untuk studi mandiri, memastikan mereka memiliki alat yang diperlukan untuk menyelesaikan tugas mereka dengan efektif.
Dengan penekanan yang kuat pada kolaborasi dan integritas akademik, mahasiswa didorong untuk bekerja dalam kelompok studi sambil memastikan mereka memahami dan menyelesaikan tugas mereka sendiri. Kursus ini mempromosikan penggunaan alat AI untuk pertanyaan pemrograman tingkat rendah tetapi tidak mendorong ketergantungan pada mereka untuk menyelesaikan masalah tugas secara langsung. Secara keseluruhan, CS336 menawarkan pendekatan yang ketat dan komprehensif untuk memahami dan mengembangkan model bahasa, mempersiapkan mahasiswa untuk pekerjaan lanjutan di bidang AI dan NLP.
- KategoriPendidikan & Riset
Fitur Inti CS336: Pemodelan Bahasa dari Awal
Tugas praktis
Fokus pada model transformer
Penekanan pada pemrograman Python
Kolaborasi didorong
Akses komputasi GPU untuk tugas
Kurikulum yang berat pada implementasi
Teknik pembelajaran penguatan
Optimisasi pembelajaran mendalam
Cara menggunakan CS336: Pemodelan Bahasa dari Awal?
Pahami prasyarat: Pastikan Anda memenuhi prasyarat kursus dalam Python, pembelajaran mendalam, dan matematika.
Ikuti kuliah: Berpartisipasi dalam kuliah yang dijadwalkan pada hari Senin dan Rabu.
Terlibat dalam tugas: Selesaikan tugas praktis untuk membangun model bahasa Anda sendiri.
Manfaatkan sumber daya: Akses sumber daya komputasi GPU sesuai kebutuhan untuk tugas Anda.
Kasus Penggunaan CS336: Pemodelan Bahasa dari Awal
- Pengembangan model bahasa
- Optimisasi pembelajaran mendalam
- Pra-pemrosesan data
- Aplikasi pembelajaran penguatan
- Pembelajaran kolaboratif
