Engenheiro de Dados Sênior com Foco em IA

DescriptionA Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. Isso não poderia ser diferente com o nosso principal combustível: as pessoas  Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro. Cadastre-se agora mesmo em nossas vagasResponsibilitiesO que é a área de Engenharia de Dados para IA?A área de Engenharia de Dados com foco em Inteligência Artificial (IA) é responsável por projetar, implementar e otimizar a infraestrutura de dados que suporta soluções de IA e aprendizado de máquina (ML) dentro da vertical no cliente. Isso inclui garantir a disponibilidade, a qualidade e a segurança dos dados, facilitando a criação de modelos preditivos e soluções baseadas em IA que impulsionam a tomada de decisões estratégicas da Cia.Seus principais desafios serão:Compreender as necessidades do negócio e requisitos de IA: Colaborar com stakeholders e cientistas de dados para entender como a IA pode agregar valor e traduzir essas necessidades em soluções técnicas.Participar de discussões baseadas em dados e IA: Contribuir com insights e soluções de engenharia para desafios de dados e IA.Interface entre times de tecnologia, engenharia e data science: Trabalhar em sinergia com times de cientistas de dados, engenheiros de software e arquitetos de dados para garantir soluções escaláveis de IA.Ingestão e transformação de dados para o data lake e Feature Store: Implementar pipelines de dados que alimentem o data lake e as Feature Stores, garantindo a disponibilidade de features reutilizáveis para os modelos de IA.Análise e organização de dados brutos: Realizar a limpeza, a padronização e o enriquecimento dos dados para que estejam prontos para uso em projetos de IA.Desenvolver e apoiar a operacionalização de modelos de IA e ML: Facilitar a transição dos modelos desenvolvidos por cientistas de dados para ambientes de produção, garantindo automação e estabilidade dos pipelines de inferência.Construir e manter pipelines de dados e workflows de IA: Projetar pipelines de ponta a ponta, desde a coleta de dados até a disponibilização de features para modelos em produção.Conduzir análises complexas e monitorar a qualidade dos dados: Monitorar a qualidade, a completude e a integridade dos dados utilizados para IA.Colaborar com cientistas de dados e arquitetos em projetos de IA: Trabalhar lado a lado para assegurar a escalabilidade e a eficiência dos sistemas de IA e a entrega contínua de valor.O que você precisa para fazer parte deste time - Arquitetura de Dados para IA: Experiência na construção de pipelines de dados otimizados para projetos de machine learning (ML) e inteligência artificial (IA), com foco em ingestão, transformação e preparação de dados.ETL e ELT para Modelagem de Dados de IA: Conhecimento em processos de ETL/ELT voltados para a ingestão de grandes volumes de dados para aplicações de ML/IA.Programação e Scripts:Linguagens: Python (imprescindível) e R (diferencial).Frameworks de IA/ML: TensorFlow, PyTorch, Scikit-Learn, MLflow.Scripting: Bash/Shell para automação de fluxos de trabalho.PrerequisitesFerramentas de Dados - DataOps e MLOps: Experiência com ferramentas para CI/CD e automação de fluxos de machine learning, como MLflow, DVC e Kubeflow.Observabilidade de Dados: Familiaridade com ferramentas de monitoramento e validação de dados, Cloud Logging, Cloud Monitoring, Dynatrace ou Datadog.Orquestração de Pipelines: Airflow, Luigi ou Prefect para a orquestração de pipelines de ML/IA.Bancos de Dados e Armazenamento de Dados - Bancos Relacionais e NoSQL: Conhecimento em SQL e NoSQL (BigQuery, redshift, MongoDB, Cassandra, Redis).Data Lakes e Data Warehouses: Capacidade de gerenciar Data Lakes para preparação de dados de IA, com foco em AWS (S3) e GCP (BigQuery e Dataplex).Armazenamento de Features: Conhecimento em Feature Stores (ex: Vertex AI Feature Store, AWS SageMaker Feature Store ou Tecton).Cloud e InfraestruturaNuvem:AWS: Experiência com S3, Glue, SageMaker, EC2, Lambda e Redshift.GCP: Experiência com BigQuery, Dataflow, Pub/Sub, Dataproc, Cloud Run, Composer, Vertex AI, Cloud Functions e Dataplex.Contêineres e Orquestração: Docker e Kubernetes para execução e orquestração de modelos de IA/ML.Infraestrutura como Código (IaC): Conhecimento em Terraform e CloudFormation para provisionar a infraestrutura necessária para os fluxos de IA/ML. Machine Learning e Inteligência ArtificialConhecimento em Modelagem de IA: Capacidade de colaborar com Cientistas de Dados para preparar conjuntos de dados para modelos de IA, garantindo alta qualidade e performance.MLOps: Implementação de pipelines automatizados para treinamento, validação, deployment e monitoramento de modelos de IA (Apache Spark e MLFlow)Gestão de Features: Capacidade de definir e gerenciar repositórios de features para modelos de IA (Feature Engineering).Conhecimentos ComplementaresPrivacidade e Segurança de Dados: Conhecimento de LGPD/GDPR para garantir conformidade regulatória no tratamento de dados para IA.Metodologias Ágeis: Experiência de trabalho com metodologias ágeis (Scrum/Kanban).Capacidade Analítica: Capacidade de entender requisitos de negócio e convertê-los em soluções técnicas para IA.Atuação: Modelo Remoto ExperiencesNa nossa empresa, você encontrará um ambiente colaborativo e um pacote de benefícios que visa o seu crescimento, saúde e qualidade de vida. Confira abaixo os benefícios que oferecemos: Convênio Médico Porto SeguroCuidado completo para você e sua família, com possibilidade de incluir cônjuge e filhos. Convênio Odontológico Porto SeguroProteção odontológica para você e seus dependentes. Participação nos Lucros e Resultados (PLR)Reconhecimento pelo seu trabalho e contribuição para o sucesso da empresa. Auxílio CrecheSuporte financeiro para que pais e mães cuidem dos pequenos com tranquilidade. Vale Alimentação e Refeição AleloGarantindo refeições práticas e confortáveis no seu dia a dia. Auxílio Home Office Incentivo para que você tenha um espaço de trabalho confortável em casa. Parcerias com Instituições de EnsinoEducação ao seu alcance, com descontos e incentivos em cursos e graduações. Incentivo para Certificações, inclusive em CloudAvance sua carreira com certificações nas principais tecnologias como: GCP, Azure, AWS entre outras. Pontos LiveloAcumule pontos e use como preferir, com total liberdade de escolha. TotalPassIncentivo à saúde com planos de academia com desconto para colaboradores e familiares.MindselfIncentivo à melhorar a qualidade de vida através de meditação e o Mindfulness.