Engenheiro de dados

A VMBears é uma empresa jovem e moderna com o objetivo de ajudar seus clientes a aproveitar novas tecnologias para acelerar seus negócios. Fornece serviços de consultoria para arquitetura corporativa e modernização de sistemas para nuvem. Fundada em 2018, possui em seu DNA a ética, a positividade, o comprometimento e a inovação. Somos focados em oferecer os melhores serviços prestados através dos melhores profissionais do mercado. Esses recursos são utilizados para auxiliar os clientes em sua jornada de modernização tecnológica e transformação digital. O que buscamos? O Engenheiro(a) de Dados é o profissional que constrói e mantém a infraestrutura responsável por mover, transformar e disponibilizar dados com confiabilidade e performance. Um(a) Engenheiro(a) de Dados eficaz domina pipelines batch + streaming, otimiza consultas em data-warehouses colunares e garante a rastreabilidade ponta-a-ponta de cada registro. Na prática, atua como elo entre arquitetura e desenvolvimento, permanecendo intrinsecamente ligado(a) ao código que sustenta o fluxo de informações. Na VMBears, o Engenheiro(a) de Dados é o(a) guardião(ã) da qualidade dos dados: projeta pipelines escaláveis, monitora sua saúde em produção e antecipa gargalos. Para este projeto, a modernização de um motor de cálculo de alto volume no setor de energia, buscamos alguém que una profundidade técnica em processamento distribuído e lakehouse a uma mentalidade de produto baseada em dados. Você integrará o squad que modernizará o Motor de Cálculo, um engine que processa bilhões de registros, aplica centenas de fórmulas regulatórias e gera resultados contábeis que movem o mercado de energia elétrica. Procuramos alguém que combine habilidade de modelar dados massivos com espírito de colaboração, ajudando o time a migrar de um monolito PL/SQL para uma plataforma distribuída, event-driven e cloud-native, onde cada byte chegue rápido, íntegro e auditável ao novo motor. Responsabilidades: Implementar soluções com arquitetura de dados distribuída, garantindo latência e throughput que atendam aos requisitos da do negócio; Implantar pipelines de ingestão, transformação e publicação que suportem batch + streaming em larga escala; Desenvolver jobs Spark/Flink e para data-warehouses colunares; Seguir padrões de versionamento, catalogação e lineage de dados para rastreabilidade de processamento; Desenvolver processos sempre visando o menor custo e maior performance em Redshift/Big Query/Athena, propondo ajustes de partição, compressão e caching; Documentar processos e fluxos de trabalho de dados: Manter registros detalhados dos processos de dados para facilitar a manutenção e a melhoria contínua; Projetar sistemas que possam crescer conforme a demanda por dados aumenta. Stack desejável: Redshift, Big Query, Snowflake, Athena, Iceberg, Delta Lake; Spark (Data Frames, Structured Streaming), Flink, EMR, Dataproc, Databricks, Hadoop (YARN, HDFS); Apache Ni Fi, Kafka Connect, AWS DMS, Kafka, Kinesis, Pub/Sub; Airflow, Prefect, Dagster, Open Telemetry, Data Hub, Great Expectations; Terraform/Ia C, CI/CD Git, testes de dados automatizados, segurança LGPD (IAM fine-grained, encryption at rest/in transit). Requisitos imprescindíveis: Formação em Ciência da Computação ou área relacionada; Experiência comprovada como Engenheiro de Dados: Ter um histórico sólido na área de engenharia de dados. Pensamento lógico e solução de problemas complexos. Proficiência em alguma linguagem de programação (Python, Java e outras) e SQL: Ser capaz de usar essas linguagens de programação para manipular e gerenciar dados. Conhecimento em tecnologias de big data: Familiaridade com ferramentas que permitem o processamento de grandes volumes de dados. Experiência com sistemas de gerenciamento de banco de dados: Saber como projetar e manter bancos de dados eficientes. Organização para gerenciar grandes volumes de dados e processos críticos. Habilidades de resolução de problemas e pensamento analítico: Capacidade de identificar e resolver problemas complexos de dados. Habilidade de documentação e boas práticas em arquitetura de dados. Segue abaixo os benefícios oferecidos: Auxílio home-office; Nossa forma de trabalho é totalmente home-office permitindo que você esteja sempre perto de quem mais importa; Descontos em academias através do Total Pass; Desenvolvimento profissional aqui é primordial, por isso oferecemos um programa de capacitação online onde você recebe R$300,00 de crédito semestralmente para adquirir cursos na plataforma Udemy; Quer se certificar em algum skill que se faz necessário para sua atuação profissional? Reembolsamos suas certificações Gosta de trabalhar aqui? Então indique um amigo ou parente Nosso programa de indicação de novos Bears oferece R$2.000,00 por pessoa que permaneça conosco por mais de 3 meses.