Pipeline ETL — SQL Server + Python + Pandas

Pipeline ETL completo desenvolvido em Python para extração, transformação e carga de dados de vendas em SQL Server, aplicando boas práticas de Engenharia de Dados.

Arquitetura

CSV (Raw) → Extract → Transform (Pandas) → Load → SQL Server

Stack Utilizada

• Python 3.13
• Pandas
• SQLAlchemy
• PyODBC
• SQL Server
• Git

Estrutura do Projeto

pipeline-etl-sqlserver-python/
├── data/
│ ├── raw/ # Dados brutos de entrada
│ └── processed/ # Dados transformados
├── sql/
│ ├── create_tables.sql # DDL das tabelas
│ └── queries_analysis.sql
├── src/
│ ├── extract.py
│ ├── transform.py
│ └── load.py
├── main.py
├── requirements.txt
└── .gitignore \

Como Executar

1. Clone o repositório

git clone https://github.com/SEU_USUARIO/pipeline-etl-sqlserver-python.git

2. Ative o ambiente virtual

venv\Scripts\activate

3. Instale as dependências

pip install -r requirements.txt

4. Configure as variáveis de ambiente

set DB_SERVER=localhost set DB_NAME=etl_projeto

5. Execute o pipeline

python main.py

Transformações Aplicadas

• Conversão e validação de tipos de dados
• Remoção de duplicatas
• Tratamento de valores nulos
• Padronização de campos de texto
• Cálculo de valor bruto, desconto e valor líquido
• Extração de ano e mês para análise temporal

Autor

David Odorico LinkedIn