Engenheiro de Dados GCP

Há 1 dia

Remote, Brasil Runtalent Tempo integral

Engenheiro de Dados GCP

Sobre o Perfil:

Requisitos obrigatórios

  • Experiência com Google Cloud Platform (GCP).
  • Dataflow e Apache Beam para construção de pipelines de dados.
  • Pub/Sub para ingestão e processamento de eventos em tempo real.
  • BigQuery: modelagem, otimização de consultas, particionamento e clustering.
  • Cloud Storage para armazenamento e organização de Data Lakes.
  • Integração com bancos de dados Oracle, SQL Server e MySQL, incluindo conexões JDBC.
  • Dataform ou dbt para transformação e modelagem SQL.
  • Cloud Composer (Airflow) ou Workflows para orquestração.
  • Cloud Functions ou Cloud Run para execução de tarefas serverless.
  • SQL avançado, Python e Git com práticas de CI/CD.
  • Experiência com processamento batch e streaming.

Requisitos desejáveis

  • Conhecimento em Dataproc, Bigtable e Firestore.
  • Experiência com Dataplex e Data Catalog para catalogação e governança de dados.
  • Conhecimento de sistemas e dados da área da saúde, como:
  • PEP / EMR / EHR: prontuários eletrônicos e históricos clínicos.
  • RIS: sistemas de informação radiológica e gestão de exames de imagem.
  • LIS: sistemas de informação laboratorial e gestão de exames.
  • Sistemas de agendamento, regulação, internações e centro cirúrgico.

Principais responsabilidades

  • Projetar e implementar pipelines de ingestão, transformação e orquestração de dados na GCP.
  • Desenvolver fluxos de ETL/ELT escaláveis, garantindo qualidade, confiabilidade e performance.
  • Implementar soluções de ingestão em tempo real e processamento batch.
  • Integrar dados de bancos relacionais e ambientes externos, incluindo Oracle, SQL Server e MySQL.
  • Modelar e otimizar dados no BigQuery, aplicando particionamento, clustering e boas práticas de modelagem dimensional.
  • Estruturar Data Lakes no Cloud Storage, organizando as camadas raw, bronze, silver e gold.
  • Implementar orquestração de pipelines e automações serverless.
  • Otimizar custos de armazenamento e processamento na nuvem.