Data Engineer SR

Há 5 dias

Remoto, Brasil Pantheon Tempo inteiro R$80.000 - R$120.000 por ano

Procuramos um Engenheiro de Dados experiente para desenvolver e manter infraestruturas de dados robustas e escaláveis, com foco principal no ecossistema Snowflake.

Foco Principal: Snowflake
  • SQL Avançado: Domínio de SQL avançado, incluindo window functions, CTEs (Common Table Expressions) e performance tuning.
  • Arquitetura Snowflake: Conhecimento aprofundado em Warehouses, micro-partitions, clustering (agrupamento) e ELT com Tasks.
  • Modelagem e Transformação: Experiência ou familiaridade com dbt (Data Build Tool) para transformações e modelagem de dados (ferramenta futura para gestão de bancos de dados).
  • Segurança: Implementação de segurança (Role-based access, masking policies e row-level security).

  • Integração: Configuração de External Stages (Azure Blob, S3) e manipulação de formatos de arquivo (Parquet, JSON, CSV).

  • Cloud e Big Data (Microsoft Azure & Databricks)

Microsoft Azure
  • Orquestração: Experiência com Azure Data Factory (ADF) (Pipelines, linked services, triggers).
  • Armazenamento e Staging: Uso do Azure Blob Storage para data staging e integração.
  • Automação: Desenvolvimento de automação orientada a eventos usando Azure Functions / Logic Apps.
  • Segurança: Gerenciamento de segredos e credenciais com Azure Key Vault.
  • Observabilidade: Utilização do Azure Monitor / Log Analytics para diagnóstico e monitoramento.
Databricks
  • Processamento Distribuído: Proficiência em PySpark / Spark SQL para processamento distribuído de dados.
  • Desenvolvimento: Uso de Databricks Notebooks para desenvolvimento colaborativo.
  • Integração: Habilidade de integração com Snowflake, Azure Data Lake e ADF.
  • Otimização: Técnicas de otimização como caching, particionamento e broadcast joins.
Habilidades Técnicas Gerais

  • Linguagens de Programação:

  • Python: Scripting, automação e manipulação de dados.

  • JavaScript: Para desenvolvimento de procedures dentro do Snowflake.

  • Controle de Versão & CI/CD:

  • Git e GitHub (branching, pull requests, actions).

  • Criação de Pipelines CI/CD (GitHub Actions, Azure DevOps, GitLab CI).

  • APIs e Integração:

  • Consumo e construção de APIs RESTful para troca de dados.

  • Uso de APIs Nativas para conexões em rede on-prem (local).
  • Conhecimento em autenticação (OAuth2, API keys, JWT) e uso de ferramentas (Postman, Python requests / aiohttp).

  • Modelagem de Dados e Governança:

  • Conhecimento em Modelagem de Dados (Star/Snowflake schemas).

  • Data Governance (gerenciamento de metadados, linhagem - lineage, catalogação).
Conhecimento Desejável (SAP HANA)

  • SAP HANA:

  • SQLScript (Stored procedures, table functions).

  • Modelagem de Dados (Calculation views, attribute/analytic views).
  • Otimização de Performance (Indexação, particionamento, otimização de queries).

  • AWS Data Engineer

    2 semanas atrás

    Remoto, Brasil Zummit Tempo inteiro R$120.000 - R$240.000 por ano

    Project Description We are looking for an experienced AWS data engineer, who will join the team responsible for the second phase of data warehouse cloud migration project. The initial "lift-and-shift" of an on-premise MS SQL data warehouse to AWS RDS has been completed. This next phase focuses on refactoring the legacy system into a modern, serverless data...

  • Sr. Engineer

    2 semanas atrás

    Remoto, Brasil PureSpectrum Tempo inteiro R$13.200 - R$39.600 por ano

    Who We Are:PureSpectrum is a rapidly growing market research and insights platform that simplifies technology, allowing researchers to gather and activate consumer data without disruption. As the go-to solution for high-quality multi-sourcing and fully automated research, PureSpectrum is helping to shape the future of insights.Our Marketplace facilitates...

  • Data Engineer ID43407

    1 dia atrás

    Remoto, Brasil AgileEngine Tempo inteiro R$80.000 - R$120.000 por ano

    About usAgileEngine is an Inc. 5000 company that creates award-winning software for Fortune 500 brands and trailblazing startups across 17+ industries. We rank among the leaders in areas like application development and AI/ML, and our people-first culture has earned us multiple Best Place to Work awards.If you're looking for a place to grow, make an impact,...

  • SR Data Engineer

    1 dia atrás

    Remoto, Brasil Zallpy Digital Tempo inteiro R$8.000 - R$20.000 por ano

    Muito prazer, somos a ZallpySomos muito mais que uma empresa de tecnologia; somos uma comunidade diversa, plural e talentosa. Nosso propósito é liderar a transformação digital, com excelência e agilidade, promovendo crescimento mútuo e genuíno em relações éticas e duradouras. Flexibilidade é uma de nossas marcas registradas, atuamos em diferentes...

  • Senior Data Engineer

    Há 5 dias

    Remoto, Brasil Ci&T Tempo inteiro R$120.000 - R$180.000 por ano

    We are tech transformation specialists, uniting human expertise with AI to create scalable tech solutions.With over 7.400 CI&Ters around the world, we've built partnerships with more than 1,000 clients during our 30 years of history. Artificial Intelligence is our reality.About the RoleWe are seeking an experienced Senior Data Engineer to lead the migration...

  • Business Data Engineer

    1 dia atrás

    Remoto, Brasil Zallpy Digital Tempo inteiro R$80.000 - R$120.000 por ano

    Muito prazer, somos a ZallpySomos muito mais que uma empresa de tecnologia; somos uma comunidade diversa, plural e talentosa. Nosso propósito é liderar a transformação digital, com excelência e agilidade, promovendo crescimento mútuo e genuíno em relações éticas e duradouras. Flexibilidade é uma de nossas marcas registradas, atuamos em diferentes...

  • Data Visualisation Engineer

    2 semanas atrás

    Remoto, Brasil Ci&T Tempo inteiro R$80.000 - R$120.000 por ano

    We are tech transformation specialists, uniting human expertise with AI to create scalable tech solutions.With over 7.400 CI&Ters around the world, we've built partnerships with more than 1,000 clients during our 30 years of history. Artificial Intelligence is our reality.We are looking for a Senior Data Visualisation Engineer with strong knowledge in...

  • Data Engineer Junior

    Há 7 dias

    Remoto, Brasil Cortex Intelligence Tempo inteiro R$4.000 - R$12.000 por ano

    #Conheça um pouco sobre a área:Estamos à procura de um Data Engineer para integrar nosso time de Dados. O profissional será responsável por desenvolver e manter pipelines de dados robustos e escaláveis, garantir a qualidade e a integridade dos dados, além de colaborar com diferentes equipes para fornecer soluções de dados eficientes. Se você tem...

  • Lead - Data Engineer |

    2 semanas atrás

    Remoto, Brasil Grupo Autoglass Tempo inteiro R$90.000 - R$120.000 por ano

    Descrição da vagaOlá :DBuscamos um profissional para liderar o time de Data Engineer (DataOps) da Autoglass Tech Esse profissional possui o compromisso de garantir a entrega contínua, confiável e automatizada de dados para consumo analítico e operacional, liderando a equipe técnica e promovendo integração entre engenharia de dados, governança de...

  • Data Engineer

    Há 5 dias

    Remoto, Brasil Carreira Involves Tempo inteiro US$90.000 - US$120.000 por ano

    Conheça a nossa bandaInovadora. Com garra e vontade de dominar o mundo quando o assunto é trade marketing. Empresa de tecnologia de Floripa que valoriza o comprometimento com as entregas e resultados, prezando por relações colaborativas e humanas. Aqui respeitamos a diversidade e valorizamos a autenticidade de cada pessoa. Para subir no palco com a...