CD601 — Inteligência Artificial Generativa
Ementa, programa e bibliografia da disciplina CD601.
← Voltar para a lista de disciplinas
Ementa
Fundamentos de inteligência artificial generativa. Modelos generativos profundos. Modelos probabilísticos, adversariais, autorregressivos e de difusão. Grandes modelos de linguagem. Modelos multimodais. Adaptação, uso e avaliação de modelos generativos. Aplicações em texto, imagem, áudio, música e código. Aspectos éticos, sociais e práticos da IA generativa.
Programa
1. Introdução à inteligência artificial generativa
- Conceitos fundamentais de IA generativa
- Diferenças entre IA discriminativa e IA generativa
- Geração de dados sintéticos
- Modelos generativos em texto, imagem, áudio, música e código
- Aplicações contemporâneas de IA generativa
- Limitações gerais de sistemas generativos
- Panorama histórico e tecnológico da área
2. Fundamentos de aprendizado profundo para IA generativa
- Redes neurais artificiais
- Representações vetoriais
- Embeddings
- Funções de perda
- Backpropagation
- Otimização por gradiente
- Regularização e generalização
- Pré-treinamento e transferência de aprendizado
- Uso de bibliotecas para modelos generativos
3. Representações latentes e geração de dados
- Espaços latentes
- Codificação e decodificação de dados
- Representações distribuídas
- Amostragem em espaços latentes
- Interpolação entre representações
- Reconstrução de dados
- Controle de atributos gerados
- Relação entre representação latente e qualidade da geração
4. Autoencoders e modelos variacionais
- Autoencoders
- Codificadores e decodificadores
- Compressão e reconstrução
- Autoencoders variacionais
- Variáveis latentes
- Inferência variacional
- Amostragem probabilística
- Geração a partir do espaço latente
- Aplicações em imagem, texto e sinais
5. Redes geradoras adversariais
- Conceito de redes geradoras adversariais
- Gerador e discriminador
- Treinamento adversarial
- Função objetivo em GANs
- Instabilidade de treinamento
- Colapso de modos
- Geração de imagens
- Transferência de estilo
- Variações de arquiteturas GAN
6. Modelos autorregressivos
Geração sequencial
Predição do próximo elemento
Modelagem de linguagem
Tokenização
Embeddings de tokens
Dependências em sequências
Amostragem autoregressiva
Temperatura e estratégias de decodificação
Aplicações em texto, código, áudio e música
7. Mecanismos de atenção e Transformers generativos
- Mecanismos de atenção
- Self-attention
- Atenção multi-cabeças
- Codificação posicional
- Arquitetura Transformer
- Modelos decoder-only
- Modelos encoder-decoder
- Geração condicionada
- Relação entre Transformers e modelos generativos modernos
8. Grandes modelos de linguagem
- Fundamentos de grandes modelos de linguagem
- Pré-treinamento em larga escala
- Modelagem por próximo token
- Janelas de contexto
- Instruções e alinhamento
- Geração de respostas
- Alucinações
- Limitações de raciocínio e factualidade
- Uso de LLMs em aplicações computacionais
9. Modelos de difusão
- Fundamentos dos modelos de difusão
- Processo de adição de ruído
- Processo de remoção de ruído
- Geração iterativa de amostras
- Modelos baseados em score
- Difusão latente
- Geração condicionada por texto
- Aplicações em imagem, vídeo e áudio
- Limitações computacionais dos modelos de difusão
10. Modelos multimodais
- Conceito de multimodalidade
- Integração de texto, imagem, áudio e vídeo
- Representações compartilhadas entre modalidades
- Modelos texto-imagem
- Modelos imagem-texto
- Modelos texto-áudio
- Modelos texto-vídeo
- Aplicações multimodais em sistemas generativos
- Limitações e desafios em geração multimodal
11. Adaptação e personalização de modelos generativos
- Uso de modelos pré-treinados
- Fine-tuning supervisionado
- Adaptação eficiente em parâmetros
- LoRA
- Adapters
- Prompt tuning
- Quantização
- Compressão de modelos
- Personalização de modelos para domínios específicos
- Custos computacionais da adaptação de modelos
12. Elaboração de instruções para modelos generativos
Fundamentos de prompting
Instruções diretas
Zero-shot prompting
Few-shot prompting
Exemplos no prompt
Estruturação de contexto
Controle de formato, estilo e restrições
Encadeamento de instruções
Limitações da engenharia de prompts
Boas práticas no uso de modelos generativos
13. Aplicações criativas e computacionais de IA generativa
- Geração de textos
- Geração de imagens
- Geração de música
- Geração de áudio
- Geração de código
- Criação assistida por IA
- Edição e transformação de conteúdo
- Prototipação com modelos generativos
- Integração de IA generativa em sistemas computacionais
14. Avaliação de modelos generativos
- Avaliação quantitativa
- Avaliação qualitativa
- Avaliação humana
- Métricas para geração de texto
- Métricas para geração de imagem
- Coerência, diversidade e fidelidade
- Robustez e reprodutibilidade
- Avaliação de alucinações
- Comparação entre modelos generativos
15. Ética, riscos e governança em IA generativa
- Viés em modelos generativos
- Privacidade e uso de dados
- Direitos autorais
- Plágio e autoria
- Desinformação
- Deepfakes
- Segurança e uso indevido
- Transparência e explicabilidade
- Uso responsável de IA generativa
16. Estudos de caso e atividades práticas
- Uso de modelos generativos pré-treinados
- Experimentos com geração de texto
- Experimentos com geração de imagens
- Experimentos com geração de áudio ou música
- Experimentos com geração de código
- Adaptação leve de modelos
- Avaliação de saídas geradas
- Desenvolvimento de protótipos com IA generativa
- Análise crítica de aplicações reais
Referências
- Goodfellow, I, Bengio, Y e Courville, A. Deep Learning 2016