Engenheiro de Plataforma de Dados Pleno

Estamos em busca de uma pessoa Engenheira de Plataforma de Dados para fortalecer nossa equipe talentosa. A pessoa será responsável pelo desenvolvimento e manutenção da infraestrutura de dados em nosso ambiente de Big Data.

Isso significa tanto o desenvolvimento de software, aprimorando projetos Open Source importantes da nossa área, quanto também a sustentação e realização de atividades de SRE aplicadas a esses produtos criados por nós.

O Engenheiro de Dados pode apresentar habilidades diferentes entre engenharia, análise e visualização de dados. Mas o dia a dia do time se resume a:

• Trabalhar em ambiente colaborativo juntos ao time e aos demais desenvolvedores do Labs;
• Estruturar pipelines de ingestão e transformação de dados;
• Prover dados limpos para análises e modelos preditivos;
• Aplicar boas práticas de Software, engenharia e testes;
• Sugerir e aplicar métricas e monitoramentos quando necessário;
• Conduzir análises profundas e contribuir para Insights e tomada de decisão;
• Traduzir regras de negócio para uma abordagem técnica e criar métricas e consolidações de dados;
• Melhorar e criar alertas para garantir a qualidade dos dados;
• Projetar e desenvolver pipelines de dados eficientes e escaláveis;
• Integrar diversas fontes de dados garantindo a consistência e integridade;
• Implementar e aprimorar medidas robustas de segurança de dados;
• Otimizar o desempenho dos sistemas de Big Data;
• Colaborar com equipes internas para entender e atender às suas necessidades de dados;
• Avaliar e implementar novas tecnologias e soluções para aprimorar a infraestrutura existente;
• Adaptar o IaC de ferramentas OpenSource para funcionarem em nosso ecossistema;
• Adaptar e evoluir ferramentas OpenSource para funcionarem dentro de nossos produtos;

Para atuar nessa posição, é essencial que tenha:

• Graduação em Engenharia de dados, Ciência da computação, ou área correlata;
• Experiência comprovada em Spark para desenvolvimento avançado e otimização de pipelines de dados distribuídos;
• Proficiência em comandos avançados de SQL para consultas complexas e administração de bancos de dados (de preferência MySQL e/ou Postgres);
• Experiência sólida em programação em Python para construção de ferramentas de análise de dados, scripts e automação;
• Conhecimento avançado em Git para gerenciamento eficiente de código, revisão de código e colaboração em equipe;
• Proficiência no ambiente Linux para administração avançada, scripts de automação e operações de linha de comando;
• Experiência prática em Kubernetes para orquestração e gerenciamento de contêineres em ambientes distribuídos;
• Habilidades em tecnologias de Big Data comprovadas (Arquitetura Datalake, Orquestração);
• Habilidades em programação, preferencialmente Python;
• Habilidades analíticas e exploratórias de dados;
• Conhecimentos em Modelagem de dados;
• Ter experiência em Spark e outras tecnologias do contexto de Bigdata Analytics;
• Experiência com ambiente cloud, preferencial GCP;

Será diferencial o conhecimento em:

• Experiência em modelagem preditiva;
• Experiência no desenvolvimento de testes automatizados;
• Experiência na construção de API's REST;
• Experiência em DevOps, IaC, CI/CD;
• Experiência em tecnologias como: Spark, Kafka, Kubernetes, Docker, Prometheus, Airflow, GCP (Dataflow, Dataproc, BigQuery, GCS );
• Experiência em CI/CD ( Continuous Integration /Continuous Delivery);
• Experiência em k8s Ambiente cloud (Preferencial GCP).
• Conhecimento estabelecido em Redes (vnets, roteamento, proxy, firewalls);
• Conhecimento estabelecido sobre monitoramento (Prometheus/Grafana);
• Conhecimento estabelecido de Java e/ou Scala;
• Conhecimento estabelecido de Javascript (React ou algum outro framework);
• Conhecimento básico de bancos NoSQL (Mongo, Neo4J);
• Infraestrutura on premise.

Como é o ambiente de trabalho?

No Luizalabs, temos grande autonomia e responsabilidade, somos multidisciplinares, auto gerenciáveis e com pouca burocracia no nosso cotidiano. Buscamos romper as barreiras que diminuem nossa capacidade de agregar valor ao negócio. Fazemos entregas frequentes e agimos rapidamente ao encontrar problemas; nosso ritmo é acelerado, mas temos tranquilidade e equilíbrio para planejar e executar nossas tarefas com qualidade.