Engenheiro De Dados

Engenheiro de dados - Líder Técnico VMBEARS • Cascavel, Paraná, Brazil Descrição da vaga: A VMBears é uma empresa jovem e moderna com o objetivo de ajudar seus clientes a aproveitar novas tecnologias para acelerar seus negócios. Fornece serviços de consultoria para arquitetura corporativa e modernização de sistemas para nuvem. Fundada em 2018, possui em seu DNA a ética, a positividade, o comprometimento e a inovação. Somos focados em oferecer os melhores serviços prestados através dos melhores profissionais do mercado. Esses recursos são utilizados para auxiliar os clientes em sua jornada de modernização tecnológica e transformação digital. O que buscamos? O Engenheiro(a) de Dados é o profissional que constrói e mantém a infraestrutura responsável por mover, transformar e disponibilizar dados com confiabilidade e performance. Um(a) Engenheiro(a) de Dados eficaz domina pipelines batch + streaming, otimiza consultas em data-warehouses colunares e garante a rastreabilidade ponta-a-ponta de cada registro. Na prática, atua como elo entre arquitetura e desenvolvimento, permanecendo intrinsecamente ligado(a) ao código que sustenta o fluxo de informações. Na VMBears, o Engenheiro(a) de Dados é o(a) guardião(ã) da qualidade dos dados: projeta pipelines escaláveis, monitora sua saúde em produção e antecipa gargalos. Para este projeto, a modernização de um motor de cálculo de alto volume no setor de energia, buscamos alguém que una profundidade técnica em processamento distribuído e lakehouse a uma mentalidade de produto baseada em dados. Você integrará o squad que modernizará o Motor de Cálculo, um engine que processa bilhões de registros, aplica centenas de fórmulas regulatórias e gera resultados contábeis que movem o mercado de energia elétrica. Procuramos alguém que combine habilidade de modelar dados massivos com espírito de colaboração, ajudando o time a migrar de um monolito PL / SQL para uma plataforma distribuída, event-driven e cloud-native, onde cada byte chegue rápido, íntegro e auditável ao novo motor. Responsabilidades Implementar soluções com arquitetura de dados distribuída, garantindo latência e throughput que atendam aos requisitos da do negócio; Implantar pipelines de ingestão, transformação e publicação que suportem batch + streaming em larga escala; Desenvolver jobs Spark / Flink e para data-warehouses colunares; Seguir padrões de versionamento, catalogação e lineage de dados para rastreabilidade de processamento; Desenvolver processos sempre visando o menor custo e maior performance em Redshift / BigQuery / Athena, propondo ajustes de partição, compressão e caching; Documentar processos e fluxos de trabalho de dados: Manter registros detalhados dos processos de dados para facilitar a manutenção e a melhoria contínua; Projetar sistemas que possam crescer conforme a demanda por dados aumenta. Stack desejável Redshift, BigQuery, Snowflake, Athena, Iceberg, Delta Lake; Spark (DataFrames, Structured Streaming), Flink, EMR, Dataproc, Databricks, Hadoop (YARN, HDFS); Apache NiFi, Kafka Connect, AWS DMS, Kafka, Kinesis, Pub/Sub; Airflow, Prefect, Dagster, OpenTelemetry, DataHub, Great Expectations; Terraform / IaC, CI/CD Git, testes de dados automatizados, segurança LGPD (IAM fine-grained, encryption at rest / in transit). Requisitos imprescindíveis Formação em Ciência da Computação ou área relacionada; Experiência comprovada como Engenheiro de Dados: Ter um histórico sólido na área de engenharia de dados. Pensamento lógico e solução de problemas complexos. Proficiência em alguma linguagem de programação (Python, Java e outras) e SQL: Ser capaz de usar essas linguagens de programação para manipular e gerenciar dados. Conhecimento em tecnologias de big data: Familiaridade com ferramentas que permitem o processamento de grandes volumes de dados. Experiência com sistemas de gerenciamento de banco de dados: Saber como projetar e manter bancos de dados eficientes. Organização para gerenciar grandes volumes de dados e processos críticos. Habilidades de resolução de problemas e pensamento analítico: Capacidade de identificar e resolver problemas complexos de dados. Habilidade de documentação e boas práticas em arquitetura de dados. Benefícios oferecidos Auxílio home-office; Nossa forma de trabalho é totalmente home-office permitindo que você esteja sempre perto de quem mais importa; Descontos em academias através do Total Pass; Desenvolvimento profissional aqui é primordial, por isso oferecemos um programa de capacitação online onde você recebe R$300,00 de crédito semestralmente para adquirir cursos na plataforma Udemy; Reembolso de certificações; Programa de indicação de novos Bears oferece R$2.000,00 por pessoa que permaneça conosco por mais de 3 meses. #J-18808-Ljbffr