Descrição

NOAA Ice Lake é um projeto de Data Lakehouse totalmente serverless construído na AWS para processar, analisar e visualizar grandes volumes de dados climáticos públicos da NOAA (National Oceanic and Atmospheric Administration). A arquitetura combina a flexibilidade de um Data Lake com a estrutura de um Data Warehouse, utilizando particionamento e formatos otimizados com Apache Iceberg em S3, ingestão automatizada via EventBridge e Lambdas, transformação com DuckDB, e orquestração com Step Functions. Os dados são catalogados no AWS Glue e consultados via Athena, com dashboards interativos desenvolvidos no Amazon QuickSight. O projeto entrega uma solução escalável, governada e analítica para insights meteorológicos como padrões sazonais, extremos de temperatura e distribuição de precipitação por estação e região.

Tecnologias Utilizadas

Desafios Superados

Garantir que a orquestração com AWS Step Functions lidasse corretamente com falhas, timeouts e reprocessamentos, mantendo a rastreabilidade de cada etapa.

Link do Projeto/Aplicação