Dashboard
Carregando...
Serviços
4
online
Camadas
5
raw → ml
Storage
MinIO
bucket: datalake
Query Engine
Trino
v435 · Hive catalog
Pipeline de Dados
Ingestão
Airflow
Orquestração
▶
Storage
MinIO
Object store
PostgreSQL
Metastore DB
▶
Catálogo
Hive
Metastore
▶
Query
Trino
SQL engine
▶
Consumo
FastAPI
REST /query
Pipeline de Dados
Fluxo completo · ingestão → storage → catálogo → query → consumo
Fluxo detalhado
Ingestão
🌀
Airflow DAGs
Agendamento e orquestração de pipelines
↓
Storage
🗄
MinIO · datalake
raw / bronze / silver / gold / ml-artifacts
🐘
PostgreSQL
Airflow + Metastore DB
↓
Catálogo
🐝
Hive Metastore
Schemas e tabelas · PostgreSQL backend · porta 9083
↓
Query
⚡
Trino 435
SQL distribuído · lê MinIO via S3A · formato Parquet
↓
Consumo
⬡
FastAPI
REST · /api/query · auth via X-API-Key
Serviços
Infraestrutura completa do datalake
online
Apache Airflow
Orquestrador de pipelines. Agendamento e execução de DAGs com LocalExecutor.
online
Trino
Query engine SQL distribuído. Consulta dados no MinIO via catálogo Hive.
online
MinIO
Object storage S3-compatible. Armazena dados em camadas raw → gold → ml.
online
FastAPI
API REST do datalake. Executa queries Trino e lista buckets MinIO via X-API-Key.
Camadas de Dados
Arquitetura medallion · raw → bronze → silver → gold → ml
📥
RAW
s3a://datalake/raw/
Dados brutos como chegam da fonte. Sem transformação. Imutável — fonte da verdade.
🥉
BRONZE
s3a://datalake/bronze/
Limpeza básica, tipagem, deduplicação, parsing de datas. Formato Parquet.
🥈
SILVER
s3a://datalake/silver/
Regras de negócio, joins entre entidades, enriquecimento e validações.
🥇
GOLD
s3a://datalake/gold/
Agregações e KPIs prontos para consumo via FastAPI e relatórios.
🤖
ML ARTIFACTS
s3a://datalake/ml-artifacts/ · s3a://datalake/models/
Features, datasets de treinamento, modelos serializados e artefatos de experimentos.