Data engineer

Excelente Essa é uma descrição bem detalhada. Vamos organizá-la em um formato de job description mais padronizado e atraente, dividindo-a em seções claras. Engenheiro(a) de Dados SêniorEstamos em busca de um(a) Engenheiro(a) de Dados Sênior talentoso(a) e proativo(a) para se juntar à nossa equipe de engenharia de dados. Você será fundamental na construção e manutenção da nossa infraestrutura de dados escalável e robusta, garantindo que os dados sejam acessíveis, confiáveis e seguros. Se você possui paixão por dados, expertise em nuvem Azure e Snowflake, e busca um ambiente desafiador, essa oportunidade é para você Responsabilidades: Colaborar com o arquiteto de dados no design e construção de pipelines de dados e soluções de armazenamento escaláveis e eficientes. Integrar diversas fontes de dados, incluindo streams em tempo real, para assegurar uma coleta de dados abrangente e precisa. Projetar, construir e manter pipelines de dados escaláveis utilizando Azure Data Factory (ADF) para orquestrar processos ETL/ELT, garantindo movimentação e transformação de dados confiáveis e eficientes. Administrar e otimizar ambientes Snowflake, incluindo ajuste de performance de consultas, otimização de armazenamento e garantia de integridade e segurança dos dados. Implementar processos de validação e limpeza de dados para manter altos padrões de qualidade de dados. Garantir a segurança dos dados e a conformidade com regulamentações e padrões relevantes. Monitorar e otimizar o desempenho do processamento de dados para atender aos requisitos do projeto. Trabalhar em estreita colaboração com o Arquiteto de Dados, cientistas de dados e outras partes interessadas para entender as necessidades de dados e fornecer soluções. Criar e manter documentação abrangente para processos de dados, infraestrutura e fluxos de trabalho. Identificar e resolver prontamente problemas relacionados a dados para garantir o fluxo de dados ininterrupto. Manter-se atualizado com as mais recentes tecnologias e práticas recomendadas de engenharia de dados, propondo soluções inovadoras para aprimorar a infraestrutura de dados. Qualificações Essenciais: Bacharelado em Ciência da Computação, Tecnologia da Informação ou área relacionada. Experiência comprovada como Engenheiro(a) de Dados Sênior, com forte compreensão de arquitetura de dados e princípios de gerenciamento de dados. Proficiência primária em nuvem Azure: Experiência prática com recursos como Azure Storage, Azure SQL Database, Azure Synapse e capacidade de solucionar problemas específicos do Azure. Proficiência em Snowflake: Forte conhecimento em design de esquema, otimização de consulta, ajuste de desempenho e uso de recursos como armazéns virtuais, microparticionamento e funções de segurança. Experiência comprovada em Azure Data Factory (ADF): Habilidade em design, construção e manutenção de pipelines de dados, com fortes conhecimentos em solução de problemas relacionados ao ADF. Proficiência em SQL, Python e frameworks de processamento de dados como Apache Spark e Hadoop. Experiência prática com APIs REST e manipulação de payloads JSON para ingestão e integração de dados. Forte compreensão da modelagem de dados relacionais, incluindo restrições, chaves estrangeiras, tipos de dados e princípios de normalização de banco de dados. Habilidade em design e construção de integração de sistema para sistema, com experiência prática em controle de versão usando GitHub. Fortes habilidades analíticas e de resolução de problemas, com capacidade de trabalhar com conjuntos de dados complexos. Excelentes habilidades de comunicação e colaboração, com capacidade de trabalhar efetivamente em um ambiente de equipe. Alta atenção aos detalhes e comprometimento com a precisão e qualidade dos dados. Adaptabilidade a mudanças nos requisitos do projeto e capacidade de trabalhar em um ambiente de ritmo acelerado. Diferenciais: Mestrado na área. Experiência com outras plataformas de nuvem (ex: AWS, Google Cloud). Certificações relevantes em Azure e/ou Snowflake.