Engenheiro de Dados

Engenheiro de Dados Especialista Estamos em busca de um(a) Engenheiro(a) de Dados Especialista para atuar na exploração, tratamento, análise e engenharia de dados, contribuindo para a construção de pipelines, automação de processos e geração de informações que apoiem a tomada de decisão do negócio. Principais responsabilidades
• Desenvolver e manter pipelines de dados utilizando Apache Airflow como ferramenta de orquestração.
• Desenvolver scripts e soluções para automação de processos de análise e tratamento de dados.
• Executar processos de ETL/ELT utilizando Python, Apache Spark, PySpark, SQL e Databricks.
• Apoiar a exploração, limpeza, organização e análise de dados.
• Identificar, analisar e interpretar tendências e padrões em conjuntos de dados complexos.
• Desenvolver e implementar modelos de dados, incluindo:
• MER;
• Star Schema;
• Snowflake.
• Realizar otimização de scripts, consultas e componentes de dados, buscando maior performance e eficiência.
• Trabalhar com SQL, Python, Spark/PySpark e Shell Script.
• Atuar em ambientes de Cloud, especialmente AWS.
• Realizar versionamento de código utilizando Azure DevOps.
• Preparar dados para modelagem preditiva e prescritiva.
• Apoiar a avaliação da qualidade dos dados, realizando processos de filtragem, limpeza e validação.
• Desenvolver e implementar dashboards e visualizações de dados.
• Apresentar informações utilizando técnicas de Data Visualization e Data Storytelling.
• Apoiar a definição e documentação de padrões e direcionamentos de arquitetura de dados.
• Trabalhar em conjunto com a gestão na priorização de necessidades de negócio e informação.
• Dar suporte às equipes de projetos e demais integrantes da área.
• Atuar em ambiente com metodologias ágeis (Scrum).
• Cumprir procedimentos, normas e políticas de Saúde, Segurança e Meio Ambiente. Requisitos essenciais Buscamos profissionais que tenham experiência prática ou conhecimento consistente nas seguintes tecnologias:
• AWS.
• Apache Airflow.
• Databricks — experiência profissional ou conhecimento/estudos na ferramenta.
• SQL.
• Python.
• Apache Spark / PySpark.
• Shell Script.
• Conhecimento de ETL/ELT.
• Conhecimento de modelagem de dados e design de bancos de dados.
• Conhecimento dos conceitos de:
• Big Data;
• Business Intelligence (BI);
• Data Warehouse (DW);
• ETL.
• Conhecimento de técnicas de coleta, organização e análise de dados.
• Conhecimento de visualização de dados e storytelling.
• Conhecimento de ferramentas de observabilidade. Diferenciais Não são requisitos obrigatórios, mas serão considerados diferenciais:
• Conhecimento em Azure.
• Experiência com Docker e Kubernetes.
• Conhecimento em Power BI.
• Conhecimento em SSIS.
• Conhecimento em Terraform.
• Experiência com definição e documentação de arquitetura e padrões de dados.
• Experiência com ambientes de Big Data e processamento distribuído. Perfil que buscamos
• Capacidade analítica e investigativa.
• Proatividade na busca por conhecimento e soluções.
• Facilidade para trabalhar em equipe.
• Bom relacionamento interpessoal.
• Organização e atenção aos detalhes.
• Comprometimento com as entregas.
• Resiliência diante de desafios.
• Entusiasmo por pesquisa, análise de dados e resolução de problemas.
• Boa comunicação para elaboração de relatórios e apresentação de descobertas.
• Capacidade de transformar dados em informações relevantes para o negócio.