Pipeline de Dados - Fórmula 1
👋 Introdução
Este projeto foi desenvolvido como parte da disciplina de Engenharia de Dados do curso da SATC. Utilizamos dados históricos da Fórmula 1 disponibilizados no Kaggle para a construção de um pipeline de dados completo, desde a ingestão até a visualização de KPIs em um modelo dimensional.
🎯 Objetivo
Desenvolver uma pipeline de ingestão, transformação e análise de dados da Fórmula 1, com foco em visualizações que destacam os pilotos mais rápidos por pista e as pistas com maior número de acidentes.
👥 Equipe
🧰 Tecnologias Utilizadas
- Azure Data Lake: Armazenamento de dados em nuvem
- Databricks: Processamento de dados com Apache Spark
- Delta Lake: Gerenciamento de dados com transações ACID
- Python e PySpark
- Terraform: Provisiona recursos na nuvem.
- SQL Server: Banco de dados relacional
- MkDocs + Material: Documentação do projeto