CD401 — Engenharia de Dados

Ementa, programa e bibliografia da disciplina CD401.

← Voltar para a lista de disciplinas

  • Carga horária: 60 horas
  • Pré-requisito: CD301

Ementa

Processamento e transformação de dados. Conceitos e ferramentas para grandes volumes de dados. Qualidade e governança de dados. Arquitetura de dados. Monitoramento de dados.

Programa

1. Introdução à Engenharia de Dados

  • Conceitos básicos de engenharia de dados
  • Ciclo de vida dos dados

2. Processamento e Transformação de Dados

  • Coleta e integração de dados
  • Processos ETL e ELT
  • Limpeza e transformação de dados

3. Grandes Volumes de Dados

  • Conceitos de Big Data
  • Armazenamento distribuído
  • Ferramentas para processamento de dados

4. Qualidade e Governança de Dados

  • Qualidade de dados
  • Consistência e integridade
  • Governança e segurança de dados

5. Arquitetura de Dados

  • Pipelines de dados
  • Data warehouses e data lakes
  • Introdução a arquiteturas modernas de dados

6. Monitoramento de Dados

  • Monitoramento de pipelines
  • Detecção de falhas e inconsistências
  • Observabilidade de dados

Referências

  • REIS, Joe; HOUSLEY, Matt. Fundamentos de Engenharia de Dados: Projete e Construa Sistemas de Dados Robustos. Novatec Editora, 2023.