Dataops engineer

Proficiência em Python, SQL e automação de scripts (shell).  Experiência sólida com Infrastructure as Code (Terraform) para ambientes de dados.  Experiência prática na construção de pipelines de CI/CD (GitHub Actions, GitLab CI, Jenkins) aplicados a dados e ML.  Profundo conhecimento em orquestradores de workflow, especialmente Apache Airflow.  Vivência com processamento de dados em larga escala usando Apache Spark (batch e streaming).  Familiaridade com o ecossistema de dados moderno, incluindo ferramentas como dbt, Kafka, Flink e Airbyte.  Experiência na implementação de monitoramento e observabilidade com ferramentas como Prometheus, Grafana ou ELK Stack.  Diferenciais (Conhecimentos Avançados): Experiência com múltiplas plataformas de cloud (AWS, GCP, Azure) e Databricks.  Conhecimento de arquiteturas modernas como Data Lakehouse e Data Mesh.  Vivência com frameworks de teste de dados (ex: Great Expectations, Soda).  Experiência com orquestração de containers com Kubernetes (e ferramentas como Kubeflow).  Conhecimento em bases de dados analíticas (OLAP) como ClickHouse, Pinot ou Trino.  Familiaridade com ferramentas de governança como Unity Catalog ou OpenMetadata.  Infraestrutura como Código (IaC) e Automação: Projetar, provisionar e gerenciar nossa infraestrutura de dados (AWS, GCP) utilizando Terraform. Automatizar tudo, desde a configuração de redes e permissões até o auto-scaling de clusters.  Orquestração e CI/CD para Dados: Construir e otimizar pipelines de CI/CD (GitHub Actions) para automação de testes, validação de schemas e deploy seguro de fluxos de dados, transformações (dbt) e modelos de ML.  Pipelines de Dados Robustos: Orquestrar fluxos de dados complexos (batch e streaming) com ferramentas como Airflow, Kafka, Flink, garantindo recuperação automática de falhas, alertas proativos e execução eficiente.  Observabilidade e Confiabilidade (Data SRE): Implementar um sistema de monitoramento completo com Prometheus, Grafana ou Datadog. Definir e garantir SLAs, SLOs e SLIs para os pipelines de dados, liderando a resposta a incidentes e a análise de causa raiz.  Qualidade de Dados e Governança: Integrar frameworks de testes automatizados de dados (Great Expectations, dbt tests) no ciclo de desenvolvimento. Implementar governança de dados com versionamento de schemas, catalogação e controle de linhagem (data lineage).  Performance e Otimização de Custos (FinOps): Otimizar o desempenho e o custo de e pipelines em ambientes distribuídos. Implementar estratégias de particionamento, cache e paralelização para garantir a eficiência dos nossos recursos de cloud.  Parceria Estratégica: Atuar como um parceiro técnico para as equipes de Engenharia de Dados, ML Engineering e Ciência de Dados, fornecendo uma plataforma estável e dados confiáveis para acelerar a inovação e a entrega de valor.