Aprofundamento nos Modelos de Linguagem Grandes
Este curso oferece uma introdução abrangente e aprofundada à história do desenvolvimento de modelos de linguagem grandes (LLMs), suas arquiteturas técnicas centrais, paradigmas de treinamento (pré-treinamento, fine-tuning e alinhamento), extensões multimodais, engenharia de prompts, raciocínio em cadeia de pensamento, agentes, bem como tópicos de vanguarda como segurança de modelos e proteção de privacidade.
Visão Geral do Curso
Resumo do Conteúdo
Este curso oferece uma introdução abrangente e aprofundada à evolução dos Modelos de Linguagem de Grande Porte (LLMs), arquiteturas técnicas centrais, paradigmas de treinamento (pré-treinamento, fine-tuning e alinhamento), extensões multimodais, engenharia de prompts, Chain of Thought (CoT), agentes, bem como temas de vanguarda como segurança de modelos e proteção da privacidade.
Análise aprofundada da evolução tecnológica e do alinhamento de segurança em modelos de grande porte, desde o pré-treinamento até agentes gerais.
Objetivos de Aprendizagem
- Distinguir entre arquiteturas de modelos: Identificar as diferenças estruturais e casos de uso para modelos Encoder-apenas, Decoder-apenas e Encoder-Decoder.
- Explicar o Pipeline de Treinamento de LLMs: Descrever a transição do pré-treinamento auto-supervisionado para Fine-Tuning Supervisionado (SFT) e Aprendizado por Reforço a partir de Feedback Humano (RLHF).
- Analisar Escala e Comportamento de Modelos: Explicar os conceitos de Leis de Escala, Habilidades Emergentes (aprendizado in-context, Chain of Thought) e o fenômeno das Alucinações.
- Analisar as diferenças estruturais entre arquiteturas Encoder-apenas (BERT), Decoder-apenas (GPT) e Encoder-Decoder (T5).
- Explicar o processo de treinamento em três etapas: Pré-treinamento (modelo-base), Tuning de Instruções (SFT) e Alinhamento (RLHF/PPO).
- Comparar o desempenho, leis de escala e inovações arquiteturais dos principais LLMs, incluindo GPT, Llama, Qwen e DeepSeek.
- Implementar estratégias de prompt zero-shot e few-shot para extração e classificação de dados estruturados.
- Calibrar hiperparâmetros do modelo (Temperatura, Top P, Penalidades) para equilibrar saídas criativas e determinísticas.
- Construir prompts eficazes de Chain-of-Thought (CoT) usando métodos manuais, automáticos e zero-shot ("Vamos pensar passo a passo").
- Analisar e comparar variantes de CoT: Diferenciar entre Self-Consistency, Program of Thought (PoT), Tree-of-Thought (ToT) e Graph-of-Thought (GoT).