Data Engineer SR

Há 4 dias

Remoto, Brasil Pantheon Tempo inteiro R$80.000 - R$120.000 por ano

Procuramos um Engenheiro de Dados experiente para desenvolver e manter infraestruturas de dados robustas e escaláveis, com foco principal no ecossistema Snowflake.

Foco Principal: Snowflake
  • SQL Avançado: Domínio de SQL avançado, incluindo window functions, CTEs (Common Table Expressions) e performance tuning.
  • Arquitetura Snowflake: Conhecimento aprofundado em Warehouses, micro-partitions, clustering (agrupamento) e ELT com Tasks.
  • Modelagem e Transformação: Experiência ou familiaridade com dbt (Data Build Tool) para transformações e modelagem de dados (ferramenta futura para gestão de bancos de dados).
  • Segurança: Implementação de segurança (Role-based access, masking policies e row-level security).

  • Integração: Configuração de External Stages (Azure Blob, S3) e manipulação de formatos de arquivo (Parquet, JSON, CSV).

  • Cloud e Big Data (Microsoft Azure & Databricks)

Microsoft Azure
  • Orquestração: Experiência com Azure Data Factory (ADF) (Pipelines, linked services, triggers).
  • Armazenamento e Staging: Uso do Azure Blob Storage para data staging e integração.
  • Automação: Desenvolvimento de automação orientada a eventos usando Azure Functions / Logic Apps.
  • Segurança: Gerenciamento de segredos e credenciais com Azure Key Vault.
  • Observabilidade: Utilização do Azure Monitor / Log Analytics para diagnóstico e monitoramento.
Databricks
  • Processamento Distribuído: Proficiência em PySpark / Spark SQL para processamento distribuído de dados.
  • Desenvolvimento: Uso de Databricks Notebooks para desenvolvimento colaborativo.
  • Integração: Habilidade de integração com Snowflake, Azure Data Lake e ADF.
  • Otimização: Técnicas de otimização como caching, particionamento e broadcast joins.
Habilidades Técnicas Gerais

  • Linguagens de Programação:

  • Python: Scripting, automação e manipulação de dados.

  • JavaScript: Para desenvolvimento de procedures dentro do Snowflake.

  • Controle de Versão & CI/CD:

  • Git e GitHub (branching, pull requests, actions).

  • Criação de Pipelines CI/CD (GitHub Actions, Azure DevOps, GitLab CI).

  • APIs e Integração:

  • Consumo e construção de APIs RESTful para troca de dados.

  • Uso de APIs Nativas para conexões em rede on-prem (local).
  • Conhecimento em autenticação (OAuth2, API keys, JWT) e uso de ferramentas (Postman, Python requests / aiohttp).

  • Modelagem de Dados e Governança:

  • Conhecimento em Modelagem de Dados (Star/Snowflake schemas).

  • Data Governance (gerenciamento de metadados, linhagem - lineage, catalogação).
Conhecimento Desejável (SAP HANA)

  • SAP HANA:

  • SQLScript (Stored procedures, table functions).

  • Modelagem de Dados (Calculation views, attribute/analytic views).
  • Otimização de Performance (Indexação, particionamento, otimização de queries).

  • AWS Data Engineer

    2 semanas atrás

    Remoto, Brasil Zummit Tempo inteiro R$120.000 - R$240.000 por ano

    Project Description We are looking for an experienced AWS data engineer, who will join the team responsible for the second phase of data warehouse cloud migration project. The initial "lift-and-shift" of an on-premise MS SQL data warehouse to AWS RDS has been completed. This next phase focuses on refactoring the legacy system into a modern, serverless data...

  • Sr. Engineer

    2 semanas atrás

    Remoto, Brasil PureSpectrum Tempo inteiro R$13.200 - R$39.600 por ano

    Who We Are:PureSpectrum is a rapidly growing market research and insights platform that simplifies technology, allowing researchers to gather and activate consumer data without disruption. As the go-to solution for high-quality multi-sourcing and fully automated research, PureSpectrum is helping to shape the future of insights.Our Marketplace facilitates...

  • Data Engineer

    2 semanas atrás

    Remoto, Brasil Dadosfera Brasil Tempo inteiro R$90.000 - R$120.000 por ano

    Company OverviewDadosfera is transforming the data landscape with a platform that delivers advanced Data, AI, and Analytics capabilities—previously available only to tech giants like Meta, Amazon, Alphabet, and Microsoft—into the hands of small and medium-sized businesses. By democratizing access to these technologies, we empower our clients to...

  • Senior Data Engineer

    Há 3 dias

    Remoto, Brasil Ci&T Tempo inteiro R$120.000 - R$180.000 por ano

    We are tech transformation specialists, uniting human expertise with AI to create scalable tech solutions.With over 7.400 CI&Ters around the world, we've built partnerships with more than 1,000 clients during our 30 years of history. Artificial Intelligence is our reality.About the RoleWe are seeking an experienced Senior Data Engineer to lead the migration...

  • Data Engineer Sênior

    2 semanas atrás

    Remoto, Brasil CADASTRA Tempo inteiro R$80.000 - R$120.000 por ano

    Quer fazer a diferença na nova economia e transformar pessoas e negócios para prosperarem? Vem pra CadastraComo Data Engineer, você atuará em projetos de transformação digital para clientes. Desenvolverá soluções de dados usando GCP, Databricks, Python e SQL, construindo pipelines robustos que conectam múltiplas fontes e geram inteligência...

  • Data Visualisation Engineer

    1 semana atrás

    Remoto, Brasil Ci&T Tempo inteiro R$80.000 - R$120.000 por ano

    We are tech transformation specialists, uniting human expertise with AI to create scalable tech solutions.With over 7.400 CI&Ters around the world, we've built partnerships with more than 1,000 clients during our 30 years of history. Artificial Intelligence is our reality.We are looking for a Senior Data Visualisation Engineer with strong knowledge in...

  • Lead - Data Engineer |

    1 semana atrás

    Remoto, Brasil Grupo Autoglass Tempo inteiro R$90.000 - R$120.000 por ano

    Descrição da vagaOlá :DBuscamos um profissional para liderar o time de Data Engineer (DataOps) da Autoglass Tech Esse profissional possui o compromisso de garantir a entrega contínua, confiável e automatizada de dados para consumo analítico e operacional, liderando a equipe técnica e promovendo integração entre engenharia de dados, governança de...

  • Senior Data Engineer, Brazil

    1 semana atrás

    Remoto, Brasil Ci&T Tempo inteiro R$90.000 - R$120.000 por ano

    We are tech transformation specialists, uniting human expertise with AI to create scalable tech solutions.With over 7.400 CI&Ters around the world, we've built partnerships with more than 1,000 clients during our 30 years of history. Artificial Intelligence is our reality.Hey everyone This is Thai Viapiana from CI&T's Talent Attraction Team :) I am looking...

  • Data Engineer Assistant

    1 semana atrás

    Remoto, Brasil Teltec Solutions Tempo inteiro R$80.000 - R$120.000 por ano

    Você é movido(a) por dados e tem interesse em engenharia de dados? Estamos procurando um(a) Data Engineer Assistant para apoiar na construção e manutenção de pipelines e estruturas de dados eficientes e escaláveis.Responsabilidades e atribuiçõesSUAS RESPONSABILIDADES SERÃO:Desenvolver e manter dashboards interativos e relatórios no Power BI,...

  • Senior Data Platform Engineer

    1 semana atrás

    Remoto, Brasil Ci&T Tempo inteiro R$120.000 - R$180.000 por ano

    We are tech transformation specialists, uniting human expertise with AI to create scalable tech solutions.With over 7.400 CI&Ters around the world, we've built partnerships with more than 1,000 clients during our 30 years of history. Artificial Intelligence is our reality.Location: Brazil (Remote)Industry: Financial Services / Mortgage LendingProject Type:...