Engenheiro de Dados GCP
Há 1 dia
Remote, Brasil
Runtalent
Tempo integral
Grátis com e-mail ou Google
Salve esta vaga e mantenha sua pesquisa organizada
Crie uma conta gratuita para salvar vagas, criar alertas e retornar a esta listagem a partir do seu painel.
Grátis com e-mail ou Google
Ao continuar, você concorda com nossos Termos & Política de Privacidade.
Engenheiro de Dados GCP
Sobre o Perfil:
Requisitos obrigatórios
- Experiência com Google Cloud Platform (GCP).
- Dataflow e Apache Beam para construção de pipelines de dados.
- Pub/Sub para ingestão e processamento de eventos em tempo real.
- BigQuery: modelagem, otimização de consultas, particionamento e clustering.
- Cloud Storage para armazenamento e organização de Data Lakes.
- Integração com bancos de dados Oracle, SQL Server e MySQL, incluindo conexões JDBC.
- Dataform ou dbt para transformação e modelagem SQL.
- Cloud Composer (Airflow) ou Workflows para orquestração.
- Cloud Functions ou Cloud Run para execução de tarefas serverless.
- SQL avançado, Python e Git com práticas de CI/CD.
- Experiência com processamento batch e streaming.
Requisitos desejáveis
- Conhecimento em Dataproc, Bigtable e Firestore.
- Experiência com Dataplex e Data Catalog para catalogação e governança de dados.
- Conhecimento de sistemas e dados da área da saúde, como:
- PEP / EMR / EHR: prontuários eletrônicos e históricos clínicos.
- RIS: sistemas de informação radiológica e gestão de exames de imagem.
- LIS: sistemas de informação laboratorial e gestão de exames.
- Sistemas de agendamento, regulação, internações e centro cirúrgico.
Principais responsabilidades
- Projetar e implementar pipelines de ingestão, transformação e orquestração de dados na GCP.
- Desenvolver fluxos de ETL/ELT escaláveis, garantindo qualidade, confiabilidade e performance.
- Implementar soluções de ingestão em tempo real e processamento batch.
- Integrar dados de bancos relacionais e ambientes externos, incluindo Oracle, SQL Server e MySQL.
- Modelar e otimizar dados no BigQuery, aplicando particionamento, clustering e boas práticas de modelagem dimensional.
- Estruturar Data Lakes no Cloud Storage, organizando as camadas raw, bronze, silver e gold.
- Implementar orquestração de pipelines e automações serverless.
- Otimizar custos de armazenamento e processamento na nuvem.