Engenheiro de Dados Pleno/Senior

1 semana atrás

Brasil Alterdata Software Tempo inteiro R$80.000 - R$120.000 por ano
Description

Estamos buscando um Engenheiro de Dados com mentalidade de automação para integrar nosso time. Você será o elo entre a infraestrutura de nuvem AWS e a inteligência de negócio, projetando pipelines resilientes, escaláveis e seguros.

Esta função exige profundo conhecimento técnico no ecossistema de dados da Amazon Web Services (AWS) e a habilidade de transformar grandes volumes de dados brutos em formatos otimizados para análise.

Responsibilities
  • Arquitetura de Dados na AWS: Projetar, construir e manter o Data Lake (S3) e Data Warehouse (Redshift), garantindo alta disponibilidade e particionamento eficiente.
  • Engenharia de Pipelines (ETL/ELT): Desenvolver rotinas de ingestão e transformação de dados utilizando AWS Glue e EMR (Spark), priorizando performance e custo.
  • Infraestrutura como Código (IaC): Provisionar e gerenciar todos os recursos de dados (bancos, buckets, instâncias) utilizando Terraform. Nada é criado manualmente no console.
  • DataOps: Implementar esteiras de integração e entrega contínua para pipelines de dados utilizando GitLab CI, garantindo versionamento e testes automatizados.
  • Serverless e Eventos: Criar arquiteturas orientadas a eventos utilizando AWS Lambda, EventBridge e Step Functions para processamento em tempo real ou batch.
  • Governança e Qualidade: Configurar políticas de acesso e catálogo de dados via AWS Lake Formation, garantindo conformidade com LGPD e segurança da informação.
  • Monitoramento e Observabilidade: Implementar logs e métricas (CloudWatch) para garantir a saúde dos pipelines e atuar proativamente na resolução de incidentes.
  • Colaboração: Trabalhar em estreita colaboração com analistas de dados, cientistas de dados e engenheiros de software para entender os requisitos e entregar soluções de dados eficazes
Prerequisites
  • Formação: Graduação em Ciência da Computação, Engenharia de Dados/Software ou equivalente.
  • Experiência Prévia: Experiência comprovada atuando como Engenheiro de Dados ou em posição similar.
  • Linguagens: Domínio avançado em Python (foco em manipulação de dados e scripting) e SQL avançado.
  • AWS Core: Experiência prática comprovada com S3, Redshift, Glue, Lambda, Athena e IAM.
  • IaC (Mandatório): Experiência com Terraform para gerenciamento de infraestrutura.
  • Pyspark (Mandatorio)
  • AWS Core: + DMS, + EMR, +Lake Formation
Experiences

Conhecimentos Desejáveis (Diferenciais)

  • Orquestração Avançada: Experiência com Apache Airflow (Self-hosted ou MWAA).
  • Streaming: Conhecimento em Amazon Kinesis ou Kafka.
  • Containers: Familiaridade com Docker e orquestradores como Kubernetes (EKS).
  • Práticas de DevOps/DataOps: Vivência com esteiras de CI/CD para automação de deploy de pipelines de dados.
  • Certificações: AWS Certified Data Analytics ou AWS Certified Solutions Architect.

  • Engenheiro de Dados

    Há 5 dias

    Brasil Viacerta Tempo inteiro R$75.000 - R$150.000 por ano

    DescriptionEngenheiro(a) de Dados Pleno ou Sênior Sobre a VagaEstamos em busca de um(a) Engenheiro(a) de Dados Pleno ou Sênior para um desafio empolgante: ser uma peça-chave na construção da nossa nova plataforma de dados corporativa.Você fará parte do time responsável por desenhar, implementar e escalar nosso Data Lakehouse, estruturando o fluxo de...

  • Engenheiro de dados gcp pleno

    1 semana atrás

    Brasil ATRA Tempo inteiro

    Vaga: Engenheiro(a) de Dados Pleno – Google Cloud Modalidade: Remota | Contratação: PJEstamos em busca de um(a) Engenheiro(a) de Dados Pleno com sólida experiência na Google Cloud Platform (GCP) para atuar no desenvolvimento e otimização de pipelines de dados, garantindo alta performance e eficiência de custos em um ambiente de grande complexidade e...

  • Engenheiro de dados sênior

    2 semanas atrás

    brasil Conquest One Tempo inteiro

    A Conquest One é uma empresa especializada em Staffing de Tecnologia da Informação, que trabalha há 25 anos oferecendo soluções inovadoras e sustentáveis de outsourcing e hunting aos seus clientes, ajudando cada um deles nos seus desafios de forma única e exclusiva. Os nossos valores são cuidar de nossos profissionais, fomentar seu crescimento e...

  • Engenheiro de dados gcp sênior

    2 semanas atrás

    Brasil ATRA Tempo inteiro

    Vaga: Engenheiro(a) de Dados GCP Sênior A ATRA está buscando um(a) Engenheiro(a) de Dados Sênior para atuar em projetos estruturantes envolvendo modelagem, pipelines, migração e otimização de dados em ambiente Cloud. Responsabilidades Estruturar e modelar bases de dados, garantindo boas práticas e consistência. Criar pipelines com rastreabilidade...

  • Engenheiro de Dados Pleno

    Há 3 dias

    brasil Martinelli Advogados Tempo inteiro

    Conheça abaixo as oportunidades que estão disponíveis no momento: Engenheiro de Dados Pleno (IA) Engenheiro de Dados Pleno (BI) Qual será sua ocupação? Engenheiro de Dados Pleno O que esperamos de você? Engenheiro de Dados Pleno (IA): Experiência em modelagem, arquitetura e integração de dados (DW, Data Lake, Lakehouse). Domínio de Python e SQL,...

  • Engenheiro de Dados Pleno

    Há 4 dias

    Brasil Martinelli Advogados Tempo inteiro

    Conheça abaixo as oportunidades que estão disponíveis no momento: Engenheiro de Dados Pleno (IA) Engenheiro de Dados Pleno (BI) Qual será sua ocupação? Engenheiro de Dados Pleno O que esperamos de você? Engenheiro de Dados Pleno (IA): Experiência em modelagem, arquitetura e integração de dados (DW, Data Lake, Lakehouse). Domínio de Python e SQL,...

  • Engenheiro de Dados Pleno

    Há 11 horas

    Brasil Martinelli Advogados Tempo inteiro

    Conheça abaixo as oportunidades que estão disponíveis no momento: - Engenheiro de Dados Pleno (IA) - Engenheiro de Dados Pleno (BI) Qual será sua ocupação? Engenheiro de Dados Pleno O que esperamos de você? Engenheiro de Dados Pleno (IA): - Experiência em modelagem, arquitetura e integração de dados (DW, Data Lake, Lakehouse). - Domínio de...

  • ENGENHEIRO(A) DE DADOS

    3 semanas atrás

    Brasil Dadoteca Tempo inteiro

    Dadoteca é uma consultoria especializada em transformar dados em conhecimento, com expertise em inteligência de negócios e soluções de análise de dados. Somos referência em governança de dados, soluções de BI e inteligência artificial. Oferecemos treinamentos, workshops e palestras voltados para ferramentas como Microsoft Power BI e Azure. Nossa...

  • Engenheiro devops pleno/sênior

    2 semanas atrás

    Brasil DKW System Tempo inteiro

    Vaga: Engenheiro Dev Ops Sênior (Infraestrutura, Banco de Dados e Escalabilidade) Localização: Remoto ou Escritório (Novo Hamburgo - RS) Sobre nós: A DKW System é uma empresa inovadora no setor de tecnologia de CRM, omni-channel, inteligência artificial e marketing, que trabalha com uma stack moderna e escalável, voltada para ambientes de alta...

  • Engenheiro devops pleno/sênior

    2 semanas atrás

    Brasil DKW System Tempo inteiro

    Vaga: Engenheiro Dev Ops Sênior (Infraestrutura, Banco de Dados e Escalabilidade) Localização: Remoto ou Escritório (Novo Hamburgo - RS) Sobre nós: A DKW System é uma empresa inovadora no setor de tecnologia de CRM, omni-channel, inteligência artificial e marketing, que trabalha com uma stack moderna e escalável, voltada para ambientes de alta...