Mendalami Model Bahasa Besar
Kursus ini menyajikan pengantar yang komprehensif dan mendalam mengenai sejarah pengembangan model bahasa besar (LLM), arsitektur teknis inti mereka, paradigma pelatihan (pretraining, fine-tuning, dan alignment), ekstensi multimodal, teknik engineering prompt, penalaran berantai (chain-of-thought), agen, serta topik terkini seperti keamanan model dan perlindungan privasi.
Gambaran Umum Kursus
Ringkasan Konten
Kursus ini menyediakan pengantar komprehensif dan mendalam mengenai evolusi Model Bahasa Besar (LLM), arsitektur teknis inti, paradigma pelatihan (pre-training, fine-tuning, dan alignment), ekstensi multimodal, teknik prompt engineering, Chain of Thought (CoT), agen, serta topik terdepan seperti keamanan model dan perlindungan privasi.
Analisis mendalam mengenai evolusi teknologi dan keselarasan keamanan model besar secara menyeluruh, mulai dari pre-training hingga agen umum.
Tujuan Pembelajaran
- Membedakan antara arsitektur model: Mengidentifikasi perbedaan struktural dan kasus penggunaan untuk model Encoder-only, Decoder-only, dan Encoder-Decoder.
- Menjelaskan Pipeline Pelatihan LLM: Mendeskripsikan transisi dari pre-training berbasis self-supervised ke Supervised Fine-Tuning (SFT) dan Reinforcement Learning from Human Feedback (RLHF).
- Menganalisis Skala dan Perilaku Model: Menjelaskan konsep Hukum Skala, Kemampuan Muncul (pembelajaran dalam konteks, Chain of Thought), serta fenomena Halusinasi.
- Menganalisis perbedaan struktur antara arsitektur Encoder-only (BERT), Decoder-only (GPT), dan Encoder-Decoder (T5).
- Menjelaskan proses pelatihan tiga tahap: Pre-training (model dasar), Instruction Tuning (SFT), dan Alignment (RLHF/PPO).
- Membandingkan kinerja, hukum skala, dan inovasi arsitektur dari LLM utama seperti GPT, Llama, Qwen, dan DeepSeek.
- Menerapkan strategi prompting zero-shot dan few-shot untuk ekstraksi dan klasifikasi data terstruktur.
- Mengkalibrasi hipertes (Temperature, Top P, Penalti) untuk menyeimbangkan output kreatif dan deterministik.
- Membangun prompt Chain-of-Thought (CoT) yang efektif menggunakan metode manual, otomatis, dan zero-shot ("Mari kita pikir langkah demi langkah").
- Menganalisis dan Membandingkan Varian CoT: Membedakan antara Self-Consistency, Program of Thought (PoT), Tree-of-Thought (ToT), dan Graph-of-Thought (GoT).