Engenheiro de dados sênior com foco em ia

Ferramentas de Dados - DataOps e MLOps:  Experiência com ferramentas para CI/CD e automação de fluxos de machine learning, como MLflow, DVC e Kubeflow. Observabilidade de Dados:  Familiaridade com ferramentas de monitoramento e validação de dados, Cloud Logging, Cloud Monitoring, Dynatrace ou Datadog. Orquestração de Pipelines:  Airflow, Luigi ou Prefect para a orquestração de pipelines de ML/IA. Bancos de Dados e Armazenamento de Dados - Bancos Relacionais e NoSQL:  Conhecimento em SQL e NoSQL (BigQuery, redshift, MongoDB, Cassandra, Redis). Data Lakes e Data Warehouses:  Capacidade de gerenciar Data Lakes para preparação de dados de IA, com foco em AWS (S3) e GCP (BigQuery e Dataplex). Armazenamento de Features:  Conhecimento em Feature Stores (ex: Vertex AI Feature Store, AWS SageMaker Feature Store ou Tecton). Cloud e Infraestrutura Nuvem: AWS: Experiência com S3, Glue, SageMaker, EC2, Lambda e Redshift. GCP: Experiência com BigQuery, Dataflow, Pub/Sub, Dataproc, Cloud Run, Composer, Vertex AI, Cloud Functions e Dataplex. Contêineres e Orquestração:  Docker e Kubernetes para execução e orquestração de modelos de IA/ML. Infraestrutura como Código (IaC):  Conhecimento em Terraform e CloudFormation para provisionar a infraestrutura necessária para os fluxos de IA/ML.  Machine Learning e Inteligência Artificial Conhecimento em Modelagem de IA:  Capacidade de colaborar com Cientistas de Dados para preparar conjuntos de dados para modelos de IA, garantindo alta qualidade e performance. MLOps:  Implementação de pipelines automatizados para treinamento, validação, deployment e monitoramento de modelos de IA (Apache Spark e MLFlow) Gestão de Features:  Capacidade de definir e gerenciar repositórios de features para modelos de IA (Feature Engineering). Conhecimentos Complementares Privacidade e Segurança de Dados: Conhecimento de LGPD/GDPR para garantir conformidade regulatória no tratamento de dados para IA. Metodologias Ágeis: Experiência de trabalho com metodologias ágeis (Scrum/Kanban). Capacidade Analítica: Capacidade de entender requisitos de negócio e convertê-los em soluções técnicas para IA. Atuação: Modelo Remoto O que é a área de Engenharia de Dados para IA? A área de Engenharia de Dados com foco em Inteligência Artificial (IA) é responsável por projetar, implementar e otimizar a infraestrutura de dados que suporta soluções de IA e aprendizado de máquina (ML) dentro da vertical no cliente. Isso inclui garantir a disponibilidade, a qualidade e a segurança dos dados, facilitando a criação de modelos preditivos e soluções baseadas em IA que impulsionam a tomada de decisões estratégicas da Cia. Seus principais desafios serão: Compreender as necessidades do negócio e requisitos de IA: Colaborar com stakeholders e cientistas de dados para entender como a IA pode agregar valor e traduzir essas necessidades em soluções técnicas. Participar de discussões baseadas em dados e IA: Contribuir com insights e soluções de engenharia para desafios de dados e IA. Interface entre times de tecnologia, engenharia e data science: Trabalhar em sinergia com times de cientistas de dados, engenheiros de software e arquitetos de dados para garantir soluções escaláveis de IA. Ingestão e transformação de dados para o data lake e Feature Store: Implementar pipelines de dados que alimentem o data lake e as Feature Stores, garantindo a disponibilidade de features reutilizáveis para os modelos de IA. Análise e organização de dados brutos: Realizar a limpeza, a padronização e o enriquecimento dos dados para que estejam prontos para uso em projetos de IA. Desenvolver e apoiar a operacionalização de modelos de IA e ML: Facilitar a transição dos modelos desenvolvidos por cientistas de dados para ambientes de produção, garantindo automação e estabilidade dos pipelines de inferência. Construir e manter pipelines de dados e workflows de IA: Projetar pipelines de ponta a ponta, desde a coleta de dados até a disponibilização de features para modelos em produção. Conduzir análises complexas e monitorar a qualidade dos dados: Monitorar a qualidade, a completude e a integridade dos dados utilizados para IA. Colaborar com cientistas de dados e arquitetos em projetos de IA: Trabalhar lado a lado para assegurar a escalabilidade e a eficiência dos sistemas de IA e a entrega contínua de valor. O que você precisa para fazer parte deste time - Arquitetura de Dados para IA:  Experiência na construção de pipelines de dados otimizados para projetos de machine learning (ML) e inteligência artificial (IA), com foco em ingestão, transformação e preparação de dados. ETL e ELT para Modelagem de Dados de IA:  Conhecimento em processos de ETL/ELT voltados para a ingestão de grandes volumes de dados para aplicações de ML/IA. Programação e Scripts: Linguagens: Python (imprescindível) e R (diferencial). Frameworks de IA/ML: TensorFlow, PyTorch, Scikit-Learn, MLflow. Scripting: Bash/Shell para automação de fluxos de trabalho.