CD602 — Processamento de Linguagem Natural

Ementa, programa e bibliografia da disciplina CD602.

← Voltar para a lista de disciplinas

  • Carga horária: 60 horas
  • Pré-requisito: CD303

Ementa

Fundamentos de processamento de linguagem natural. Representação, transformação e mapeamento de textos. Análise sintática e semântica. Modelos de linguagem. Representações vetoriais de palavras e estruturas semânticas. Modelos atencionais e arquiteturas modernas para linguagem. Tarefas clássicas e aplicações contemporâneas em processamento de textos: tradução, classificação de texto, extração de informação e análise de sentimentos.

Programa

1. Introdução ao processamento de linguagem natural

  • Conceitos fundamentais de processamento de linguagem natural
  • Breve histórico da área
  • Linguagem natural e linguagem formal
  • Ambiguidade lexical, sintática e semântica
  • Abordagens simbólicas, estatísticas e neurais
  • Tipos de análise em linguagem natural
  • Aplicações em sistemas computacionais

2. Fundamentos linguísticos para PLN

  • Unidades linguísticas

  • Fonologia, morfologia, sintaxe, semântica e pragmática

  • Palavras, sentenças e documentos

  • Classes gramaticais

  • Estrutura sintática de sentenças

  • Sentido, referência e contexto

  • Fenômenos linguísticos relevantes para sistemas computacionais

3. Pré-processamento de textos

  • Coleta e organização de corpora textuais
  • Limpeza de textos
  • Padronização textual
  • Segmentação de sentenças
  • Tokenização
  • Normalização
  • Remoção de pontuação e caracteres especiais
  • Remoção de palavras pouco informativas
  • Stopwords
  • Stemming
  • Lematização

4. Representação e mapeamento de textos

  • Extração de características textuais
  • Representação por saco de palavras
  • Frequência de termos
  • Frequência inversa de documentos
  • TF-IDF
  • Representação de documentos por vetores
  • Matrizes termo-documento
  • Similaridade entre textos
  • Distância entre documentos
  • Limitações das representações baseadas em frequência

5. Modelos estatísticos de linguagem

  • Modelos probabilísticos de linguagem
  • Modelos de Markov
  • Unigramas, bigramas e n-gramas
  • Estimativa de probabilidades em textos
  • Suavização
  • Perplexidade
  • Avaliação de modelos de linguagem
  • Aplicações de modelos estatísticos em predição e geração textual

6. Classificação de textos

  • Formulação de problemas de classificação textual
  • Representação de textos para classificação
  • Classificação binária e multiclasse
  • Classificadores probabilísticos
  • Regressão logística aplicada a textos
  • Máquinas de vetores de suporte aplicadas a textos
  • Avaliação de classificadores
  • Acurácia, precisão, revocação e medida F1
  • Aplicações em categorização de documentos

7. Análise de sentimentos e opinião

  • Conceitos de polaridade e subjetividade
  • Análise de sentimentos em textos curtos
  • Análise de sentimentos em documentos
  • Léxicos de sentimentos
  • Modelos supervisionados para análise de sentimentos
  • Aspectos e entidades em opinião
  • Limitações da análise automática de sentimentos
  • Ironia, sarcasmo e dependência de contexto

8. Representações vetoriais e semânticas

  • Representações distribuídas de palavras
  • Embeddings de palavras
  • Similaridade semântica
  • Relações semânticas em espaços vetoriais
  • Embeddings estáticos
  • Embeddings contextuais
  • Representação de sentenças e documentos
  • Aplicações em busca, classificação e agrupamento de textos

9. Modelos neurais para PLN

  • Redes neurais aplicadas a textos
  • Representação de tokens em redes neurais
  • Redes recorrentes
  • LSTM
  • GRU
  • Arquiteturas encoder-decoder
  • Modelos sequência-para-sequência
  • Aplicações em tradução, sumarização e geração de texto
  • Limitações dos modelos recorrentes

10. Modelos atencionais

  • Motivação para mecanismos de atenção
  • Atenção em sequências
  • Hard attention
  • Soft attention
  • Self-attention
  • Atenção multi-cabeças
  • Representações contextuais
  • Benefícios de modelos baseados em atenção
  • Aplicações em tarefas de linguagem natural

11. Transformers

  • Arquitetura Transformer
  • Codificação posicional
  • Encoder
  • Decoder
  • Masked self-attention
  • Camadas feedforward
  • Modelos encoder-only
  • Modelos decoder-only
  • Modelos encoder-decoder
  • Variações de Transformers
  • Aplicações em classificação, tradução, sumarização e geração textual

12. Aplicações, estudos de caso e aspectos práticos

  • Mineração de textos
  • Tradução automática
  • Busca e recuperação de informação
  • Classificação de documentos
  • Extração de informação em bases textuais
  • Análise de sentimentos em redes sociais
  • Tradução automática
  • Sistemas de perguntas e respostas
  • Uso de modelos pré-treinados
  • Desenvolvimento de protótipos de PLN
  • Avaliação crítica de resultados
  • Aspectos éticos no uso de dados textuais e modelos de linguagem

Referências

  • MANNING, Christopher D.; SCHÜTZE, Hinrich. Foundations of Statistical Natural Language Processing
  • JURAFSKY, Daniel; MARTIN, James H. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models. 3. ed. Stanford: Online manuscript, 2026.