Approfondimento sui Grandi Modelli Linguistici
Questo corso offre un'introduzione completa e approfondita alla storia dello sviluppo dei grandi modelli linguistici (LLM), alle loro architetture tecniche fondamentali, ai paradigmi di addestramento (pre-addestramento, fine-tuning e allineamento), alle estensioni multimodali, all'ingegneria dei prompt, al ragionamento a catena di pensiero, agli agenti, nonché a temi all'avanguardia come la sicurezza del modello e la protezione della privacy.
Panoramica del corso
Riepilogo del contenuto
Questo corso offre un'introduzione completa e approfondita all'evoluzione dei Large Language Models (LLM), alle architetture tecniche fondamentali, ai paradigmi di addestramento (pre-addestramento, fine-tuning e allineamento), alle estensioni multimodali, all'ingegneria dei prompt, al Chain of Thought (CoT), agli agenti, nonché a temi avanzati come la sicurezza dei modelli e la protezione della privacy.
Analisi approfondita dell'evoluzione tecnologica e dell'allineamento alla sicurezza dei grandi modelli full-stack, dal pre-addestramento agli agenti generali.
Obiettivi didattici
- Distinguere tra architetture dei modelli: Identificare le differenze strutturali e i casi d'uso per modelli Encoder-only, Decoder-only e Encoder-Decoder.
- Spiegare il flusso di addestramento dei LLM: Descrivere la transizione dal pre-addestramento self-supervised al Supervised Fine-Tuning (SFT) e al Reinforcement Learning from Human Feedback (RLHF).
- Analizzare la scalabilità e il comportamento del modello: Spiegare i concetti delle Scaling Laws, delle Abilità Emergenti (apprendimento in contesto, Chain of Thought) e del fenomeno delle Allucinazioni.
- Analizzare le differenze strutturali tra architetture Encoder-only (BERT), Decoder-only (GPT) e Encoder-Decoder (T5).
- Spiegare il processo di addestramento in tre fasi: Pre-addestramento (modello base), Instruction Tuning (SFT) e Allineamento (RLHF/PPO).
- Confrontare prestazioni, leggi di scalabilità e innovazioni architetturali dei principali LLM come GPT, Llama, Qwen e DeepSeek.
- Implementare strategie di prompting zero-shot e few-shot per l'estrazione e la classificazione di dati strutturati.
- Calibrare i iperparametri del modello (Temperature, Top P, Penalties) per bilanciare output creativi e deterministici.
- Costruire prompt efficaci di Chain-of-Thought (CoT) utilizzando metodi manuali, automatici e zero-shot ("Pensiamo passo dopo passo").
- Analizzare e confrontare varianti di CoT: Differenziare tra Self-Consistency, Program of Thought (PoT), Tree-of-Thought (ToT) e Graph-of-Thought (GoT).