AULA 03 · 18 MIN DE REVISÃO
Fontes de Dados e
Fontes de Dados e
Ciclo de Vida dos Dados
Descubra de onde os dados vêm, como são coletados, transformados e entregues até um dashboard, relatório ou modelo de inteligência artificial.
API
SENSOR
ARQUIVO
REDE SOCIAL
PIPELINE
DE DADOS
DE DADOS
FONTES DE DADOS
Todo dado nasce em algum lugar
Uma fonte de dados é qualquer sistema, dispositivo, aplicação ou arquivo capaz de produzir registros que podem ser coletados e analisados.
Sistemas transacionais
Registram operações do cotidiano, como compras, pagamentos, pedidos, atendimentos e movimentações.
APIs
Permitem que sistemas troquem dados por meio de regras e formatos de comunicação definidos.
Sensores
Capturam temperatura, localização, velocidade, umidade, batimentos e outros eventos do mundo físico.
Redes sociais
Geram textos, imagens, vídeos, comentários, curtidas e conexões entre usuários.
Arquivos
CSV, Excel, TXT, JSON, XML, PDF e outros formatos também funcionam como fontes.
Logs
Registram eventos de sistemas, acessos, erros, chamadas e comportamento de aplicações.
Aplicativos
Cada clique, compra, rota ou interação pode gerar novos registros transacionais.
GPS e geolocalização
Produzem coordenadas e trajetórias usadas em mobilidade, logística e serviços.
SISTEMAS TRANSACIONAIS
O registro das operações do dia a dia
Esses sistemas são projetados para executar e registrar transações com rapidez e consistência.
Exemplos
Compra no cartão, pedido no aplicativo, emissão de nota fiscal, saque bancário e atualização de estoque.
Cliente compraPedido
↓
Pagamento aprovadoTransação
↓
Produto separadoEstoque
=
RESULTADONovos dados registrados
APIs
Sistemas conversando com sistemas
Uma API define como uma aplicação pode solicitar ou enviar dados para outra aplicação.
Atenção
API é uma interface de comunicação. Ela não é, por definição, um banco de dados.
AplicativoSolicitação
→
APIRegras de comunicação
→
RESPOSTADados em JSON, XML ou outro formato
CICLO DE VIDA
Do mundo real até a decisão
O dado percorre etapas. Ele nasce, é coletado, armazenado, processado, analisado e finalmente consumido.
Origemevento real
→
Coletacaptura
→
Armazenamentobanco ou lake
→
Processamentolimpeza
→
Análiseinterpretação
→
Consumodecisão
ETL E ELT
Duas maneiras de organizar a jornada
A principal diferença está no momento em que a transformação ocorre.
Extrair → Transformar → Carregar
Os dados são tratados antes de chegarem ao repositório de destino.
EExtrair dados das fontes.
TLimpar, padronizar e aplicar regras.
LCarregar o resultado no destino.
Extrair → Carregar → Transformar
Os dados chegam primeiro ao destino e são transformados utilizando o poder de processamento do ambiente.
EExtrair dados das fontes.
LCarregar os dados brutos.
TTransformar dentro do destino.
PIPELINE DE DADOS
Um fluxo automatizado de ponta a ponta
Pipeline é a sequência organizada de etapas que movimenta e processa dados desde a origem até o consumo.
APIorigem
Orquestraçãoagendamento
Processamentotransformação
Data Lakearmazenamento
Data Warehouseorganização
Dashboardconsumo
ETL × ELT
Comparação para prova
ETL
- Transforma antes da carga.
- Tradicional em Data Warehouses clássicos.
- Carrega dados já tratados.
- Pode reduzir o volume enviado ao destino.
ELT
- Carrega antes da transformação.
- Comum em ambientes cloud e Big Data.
- Mantém dados brutos no destino.
- Aproveita processamento do repositório.
PEGADINHAS DE PROVA
Não confunda as peças da arquitetura
API ≠ banco de dadosAPI permite comunicação; armazenamento é outra responsabilidade.
ETL ≠ ELTA ordem da transformação e da carga é diferente.
Pipeline ≠ ferramentaPipeline é o fluxo; várias ferramentas podem executá-lo.
Transacional ≠ analíticoO sistema operacional registra eventos; o ambiente analítico apoia análises.
Sensores são fontesDispositivos IoT geram dados continuamente.
Redes sociais são fontesProduzem texto, imagem, vídeo e dados de interação.
ETL e ELT coexistemUma arquitetura pode usar os dois padrões em fluxos distintos.
Pipeline pode ser em lote ou contínuoO processamento pode ocorrer por agendamento ou em streaming.
FLASHCARDS
Revise os conceitos essenciais
Clique nos cartões para revelar as respostas.
QUESTÕES
Banco de questões em preparação
As questões por banca serão adicionadas depois da seleção no TEC Concursos.