Data engineer sr
Há 2 dias
Procuramos um Engenheiro de Dados experiente para desenvolver e manter infraestruturas de dados robustas e escaláveis, com foco principal no ecossistema Snowflake. Foco Principal: SnowflakeSQL Avançado: Domínio de SQL avançado, incluindo window functions, CTEs (Common Table Expressions) e performance tuning. Arquitetura Snowflake: Conhecimento aprofundado em Warehouses, micro-partitions, clustering (agrupamento) e ELT com Tasks. Modelagem e Transformação: Experiência ou familiaridade com dbt (Data Build Tool) para transformações e modelagem de dados (ferramenta futura para gestão de bancos de dados). Segurança: Implementação de segurança (Role-based access, masking policies e row-level security). Integração: Configuração de External Stages (Azure Blob, S3) e manipulação de formatos de arquivo (Parquet, JSON, CSV). Cloud e Big Data (Microsoft Azure & Databricks)Microsoft AzureOrquestração: Experiência com Azure Data Factory (ADF) (Pipelines, linked services, triggers). Armazenamento e Staging: Uso do Azure Blob Storage para data staging e integração. Automação: Desenvolvimento de automação orientada a eventos usando Azure Functions / Logic Apps. Segurança: Gerenciamento de segredos e credenciais com Azure Key Vault. Observabilidade: Utilização do Azure Monitor / Log Analytics para diagnóstico e monitoramento. DatabricksProcessamento Distribuído: Proficiência em PySpark / Spark SQL para processamento distribuído de dados. Desenvolvimento: Uso de Databricks Notebooks para desenvolvimento colaborativo. Integração: Habilidade de integração com Snowflake, Azure Data Lake e ADF. Otimização: Técnicas de otimização como caching, particionamento e broadcast joins. Habilidades Técnicas GeraisLinguagens de Programação: Python: Scripting, automação e manipulação de dados. JavaScript: Para desenvolvimento de procedures dentro do Snowflake. Controle de Versão & CI/CD: Git e GitHub (branching, pull requests, actions). Criação de Pipelines CI/CD (GitHub Actions, Azure DevOps, GitLab CI). APIs e Integração: Consumo e construção de APIs RESTful para troca de dados. Uso de APIs Nativas para conexões em rede on-prem (local). Conhecimento em autenticação (OAuth2, API keys, JWT) e uso de ferramentas (Postman, Python requests / aio Modelagem de Dados e Governança: Conhecimento em Modelagem de Dados (Star/Snowflake schemas). Data Governance (gerenciamento de metadados, linhagem - lineage, catalogação). Conhecimento Desejável (SAP HANA)SAP HANA: SQLScript (Stored procedures, table functions). Modelagem de Dados (Calculation views, attribute/analytic views). Otimização de Performance (Indexação, particionamento, otimização de queries).
-
Data engineer
4 semanas atrás
HOME OFFICE, Brasil Feel Tech RH Tempo inteiroOportunidade para Data Engineer em uma empresa multinacional que fornece serviços e soluções de TI com foco em Quality Assurance. Quais serão as responsabilidades dessa pessoa: Projetar, desenvolver e manter pipelines de dados ETL/ELT escaláveis usando Databricks com PySpark, SQL e Delta Lake. Otimizar o desempenho dos pipelines de dados, gerenciar...
-
Data engineer sr
2 semanas atrás
HOME OFFICE, Brasil Pantheon Tempo inteiroDescrição do cargo de engenheiro de dados da PolarisO engenheiro de dados da Polaris estará na vanguarda do projeto e da construção de soluções analíticas modernas dentro do ecossistema Polaris Data & Analytics.ResponsabilidadesEngenharia de DadosColaborar com os Arquitetos de Soluções para entender o design dos Produtos de Dados para permitir uma...
-
Data engineer
2 semanas atrás
HOME OFFICE, Brasil Zappts Tempo inteiroPor que essa vaga já é sua? Sabemos que o seu talento em engenharia de dados pode transformar a forma como as empresas tomam decisões estratégicas. Estamos em busca de uma Data Engineer para se juntar à nossa equipe e liderar projetos que impactam o mercado de maneira significativa. Queremos que você seja parte da nossa jornada, e que sua expertise...
-
Staff data engineer
Há 2 dias
HOME OFFICE, Brasil Grupo OLX Tempo inteiroE o que você precisa ter? Bom conhecimento em fundamentos de Engenharia de Software; Vivência em métodos ágeis (Scrum, Kanban); Conhecimento em Python e SQL avançado; Airflow, Pipelines de ETL e Athena/Presto/Trino; Experiência em Data Warehouse Architecture, Data Modeling; AWS (conhecimento aprofundado da Stack de Data Engineer). Será considerado...
-
Staff data engineer
2 semanas atrás
HOME OFFICE, Brasil Conta Simples Tempo inteiroO que esperamos de você: Ótimos conhecimentos em SQL, Python, Spark/PySpark e Linux; Conhecimentos amplos em AWS, preferencialmente: IAM, EC2, Athena, DynamoDB, RDS, S3, EMR, Lambda, StepFunctions, Lake Formation, CloudWatch, Kinesis; Experiência com Prometheus, Grafana, CloudTrail; Experiência na manutenção de ferramentas de dados, como Airflow,...
-
Sr software developer engineer
1 semana atrás
HOME OFFICE, Brasil Qibit Tempo inteiroQibit was born to transform peoples futures! We are a global network for technology, UX, and digital professionals. Here, companies discover extraordinary talents, while professionals find the best digital job opportunities worldwide. We are looking for a Sr Software Developer to work with one of our clients: a global commerce platform that simplifies the...
-
Analista de estratégia de crédito sr
2 semanas atrás
HOME OFFICE, Brasil Magazine Luiza Tempo inteiroSobre nós A MagaluPay, plataforma de pagamentos do grupo Magazine Luiza, busca um(a) Analista de Estratégia de Crédito Sr (Credit Data Science SR) para atuar no desenvolvimento e revisão de políticas de crédito com base em dados. O foco é otimizar filtros, limites e regras de motores de crédito, além de apoiar a construção de modelos e análises...
-
Data analytics engineer pl
2 semanas atrás
HOME OFFICE, Brasil Celero Tempo inteiroNa Celero, estamos construindo a infraestrutura que conecta dados financeiros de PMEs com produtos inteligentes e automatizados. E para isso, precisamos de quem transforme dados brutos em ativos prontos para decisão. Estamos em busca de uma pessoa Analytics Engineer com olhar técnico e sensível ao negócio, alguém que entenda tanto de modelagem quanto de...
-
Sr. data engineer
Há 5 dias
HOME OFFICE, Brasil Carreira Involves Tempo inteiroPara fazer esse show acontecer, precisamos que você domine: Ser organizado para trabalhar em um formato auto gerenciável; Sólido conhecimento com banco de dados relacional e não-relacional; Experiência com modelagem multidimensional; SQL/T-SQL avançado (procedimentos armazenados, otimização de performance). Ter atuado em projetos de Business...
-
Data engineer
Há 5 dias
HOME OFFICE, Brasil ioasys Tempo inteiroConhecimento no ecossistema Azure; Experiência básica com Azure DevOps, incluindo trabalho com Repos, branches, Pull requests, tarefas, acompanhamento de pipelines CI/CD e uso de GIT; Conhecimento em linguagens Python; Domínio em SQL, incluindo DDL e DML; Experiência com Azure Data Factory; Experiência com Azure Databricks, incluindo criação,...
