CD304 — Fundamentos de Otimização para IA
Ementa, programa e bibliografia da disciplina CD304.
← Voltar para a lista de disciplinas
Ementa
Aritmética de ponto flutuante, erros e condicionamento. Resolução numérica de equações não lineares (zeros de funções), critérios de parada e análise de convergência. Diferenciação e aproximações numéricas. Problemas de otimização com duas variáveis: gradiente, condições de otimalidade, lagrangiano; métodos de primeira e segunda ordem (gradiente/line search, Newton/quasi-Newton); restrições simples (caixa, L1, L2) e noções de otimização estocástica. Abordagem prática, com implementação computacional.
Programa
1. Aritmética Computacional
- Aritmética de ponto flutuante
- Erros numéricos
- Condicionamento de problemas
2. Equações Não Lineares
- Zeros de funções
- Métodos numéricos para equações não lineares
- Critérios de parada
- Análise de convergência
3. Diferenciação e Aproximações Numéricas
- Aproximação numérica de derivadas
- Diferenças finitas
- Erros de aproximação
4. Fundamentos de Otimização
- Formulação de problemas de otimização
- Funções de duas variáveis
- Gradiente e condições de otimalidade
- Lagrangiano
5. Métodos de Primeira Ordem
- Método do gradiente
- Estratégias de busca linear
- Critérios de convergência
6. Métodos de Segunda Ordem
- Método de Newton
- Métodos quasi-Newton
- Aproximações da Hessiana
7. Otimização com Restrições Simples
Restrições de caixa
Regularização L1 e L2
Projeções e penalizações
8. Noções de Otimização Estocástica
- Gradiente estocástico
- Mini-batches
- Aplicações em IA e aprendizado de máquina
9. Implementação Computacional
- Implementação de métodos numéricos
- Visualização da convergência
- Experimentos práticos em problemas de IA
Referências
- AGGARWAL, Charu; LAGERSTROM-FIFE. Linear algebra and optimization for machine learning. Cham: Springer International Publishing, 2020.