Engenheiro de Dados Sênior

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.Isso não poderia ser diferente com o nosso principal combustível: as pessoasNossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.Cadastre-se agora mesmo em nossas vagasResponsabilidades e atribuições Responsabilidades do Engenheiro GCP na Migração SAS para GCP:Análise e Planejamento da Migração:Avaliar a arquitetura e os requisitos do DW SAS existente.Mapear os dados, transformações e processos de negócio do SAS para os serviços GCP (Cloud Storage, BigQuery, Dataproc).Definir a estratégia de migração de dados (full load, incremental, CDC).Elaborar um plano de arquitetura de dados no GCP.Design e Modelagem de Dados no GCP:Projetar esquemas de tabelas no BigQuery, considerando performance, custo e escalabilidade.Definir estratégias de particionamento e clustering para BigQuery.Modelar as zonas de dados no Cloud Storage (Bronze, Silver e Gold).Desenvolvimento de Pipelines de ELT/ETL:Criar rotinas de transformação de dados usando Dataproc (Spark) ou Dataflow para carregar dados para o BigQuery.Traduzir a lógica de negócios e as transformações existentes do SAS para o ambiente GCP.Implementar mecanismos de validação e qualidade de dados.Provisionamento e Gerenciamento de Infraestrutura:Utilizar ferramentas de IaC (Terraform) para provisionar e gerenciar recursos GCP (BigQuery datasets/tables, Cloud Storage buckets, Dataproc clusters).Configurar e otimizar clusters Dataproc para diferentes cargas de trabalho.Gerenciar redes, segurança (IAM) e acessos no GCP.Otimização de Performance e Custo:Otimizar consultas no BigQuery para reduzir custos e melhorar o desempenho.Ajustar e otimizar jobs Spark no Dataproc.Monitorar e otimizar o uso de recursos GCP para controlar custos.Segurança e Governança de Dados:Implementar e garantir a segurança dos dados em trânsito e em repouso.Definir e aplicar políticas de IAM para controlar o acesso aos dados e recursos.Garantir a conformidade com as políticas de governança de dados.Monitoramento e Suporte:Solucionar problemas de desempenho e funcionalidade dos pipelines de dados e recursos GCP.Documentação:Documentar a arquitetura, os pipelines de dados, os modelos de dados e os procedimentos operacionais.Comunicação:Comunicar-se de forma eficaz com membros da equipe, stakeholders e outras áreas da empresa.Garantir a comunicação clara entre as definições de arquitetura e componentes de software, evolução e a qualidade dos desenvolvimentos da equipe;Jira / Metodologias Ágeis:Conhecer as metodologias ágeis, seus ritos e proficiência com a ferramenta Jira.Requisitos e qualificações Conhecimentos Técnicos Essenciais:Google Cloud Platform (GCP):BigQuery: Profundo conhecimento em modelagem de dados, otimização de consultas, particionamento, clustering, carga de dados (streaming e batch), segurança e governança de dados.Cloud Storage: Experiência em gerenciamento de buckets, classes de armazenamento, políticas de ciclo de vida, controle de acesso (IAM) e segurança de dados.Dataproc: Habilidade em provisionamento, configuração e gerenciamento de clusters Spark/Hadoop, otimização de jobs, e integração com outros serviços GCP.Dataflow/Composer/Cloud Functions: Conhecimento em ferramentas de orquestração e processamento de dados para pipelines ELT/ETL.Cloud IAM (Identity and Access Management): Implementação de políticas de segurança e controle de acesso granular.VPC, Networking e Security: Entendimento de redes, sub-redes, regras de firewall e melhores práticas de segurança na nuvem.SAS:SAS Data Warehouse: Compreensão da arquitetura, modelos de dados, rotinas de ETL e processos de negócio do DW SAS existente.Linguagem SAS: Habilidade em ler e entender código SAS para traduzir lógicas para o ambiente GCP.Ferramentas SAS (desejável): SAS DI Studio, SAS Enterprise Guide.Processamento Distribuído e Big Data:Apache Spark: Experiência em desenvolvimento e otimização de aplicações Spark (Scala, Python ou Java).Bancos de Dados:SQL: Domínio de SQL para consulta e manipulação de dados.Conceitos de DW/BI: Modelagem dimensional, schemas estrela/floco de neve, conceitos de ETL/ELT.Linguagens de Programação:Python e PySpark: Essencial para scripts de automação, desenvolvimento de pipelines de dados e integração com APIs GCP.SQL (avançado): Para BigQuery e transformações de dados.Shell Scripting: Para automação de tarefas.Controle de Versão:Git/GitHub/Bitbucket.Trabalho 100% remotoInformações adicionaisNa nossa empresa, você encontrará um ambiente colaborativo e um pacote de benefícios que visa o seu crescimento, saúde e qualidade de vida. Confira abaixo os benefícios que oferecemos:Convênio Médico Porto SeguroCuidado completo para você e sua família, com possibilidade de incluir cônjuge e filhos.Convênio Odontológico Porto SeguroProteção odontológica para você e seus dependentes.Participação nos Lucros e Resultados (PLR)Reconhecimento pelo seu trabalho e contribuição para o sucesso da empresa.Auxílio CrecheSuporte financeiro para que pais e mães cuidem dos pequenos com tranquilidade.Vale Alimentação e Refeição AleloGarantindo refeições práticas e confortáveis no seu dia a dia.Auxílio Home OfficeIncentivo para que você tenha um espaço de trabalho confortável em casa.Parcerias com Instituições de EnsinoEducação ao seu alcance, com descontos e incentivos em cursos e graduações.Incentivo para Certificações, inclusive em CloudAvance sua carreira com certificações nas principais tecnologias como: GCP, Azure, AWS entre outras.Pontos LiveloAcumule pontos e use como preferir, com total liberdade de escolha.TotalPassIncentivo à saúde com planos de academia com desconto para colaboradores e familiares.MindselfIncentivo à melhorar a qualidade de vida através de meditação e o Mindfulness.A LEEGA é referência em consultoria e outsourcing para soluções de Data Analytics .Temos 15 ANOS de mercado e mais de 20 ANOS de experiência em soluções de Business Intelligence, Data Integration e Analytics, atendendo grandes empresas dos mais diversos segmentos do mercado e contamos com mais de 580 colaboradores.Conquistamos capacidade técnica e reunimos as melhores pessoas para proporcionar aos nossos clientes a melhor experiência.Brasileiros, com escritório de projetos, fábrica de software e centro de treinamento em São Paulo (capital) , atuação internacional com escritório também em Portugal, somos conhecidos por viver e respirar Analytics e Big Data, inovando nossa tecnologia, compartilhando conhecimento, evoluindo talentos e entregando VALOR.Em nosso porftólio de serviços ofertamos consultoria especializada, alocação de profissionais, treinamento e desenvolvimento de soluções customizadas para Cloud Computing, Business Intelligence, Big Data, Data Analytics, Machine Learning, Inteligência Artificial, Data Quality, MDM, Governança de Dados e demais soluções de dados