Data engineer sr
4 semanas atrás
Procuramos um Engenheiro de Dados experiente para desenvolver e manter infraestruturas de dados robustas e escaláveis, com foco principal no ecossistema Snowflake. Foco Principal: SnowflakeSQL Avançado: Domínio de SQL avançado, incluindo window functions, CTEs (Common Table Expressions) e performance tuning. Arquitetura Snowflake: Conhecimento aprofundado em Warehouses, micro-partitions, clustering (agrupamento) e ELT com Tasks. Modelagem e Transformação: Experiência ou familiaridade com dbt (Data Build Tool) para transformações e modelagem de dados (ferramenta futura para gestão de bancos de dados). Segurança: Implementação de segurança (Role-based access, masking policies e row-level security). Integração: Configuração de External Stages (Azure Blob, S3) e manipulação de formatos de arquivo (Parquet, JSON, CSV). Cloud e Big Data (Microsoft Azure & Databricks)Microsoft AzureOrquestração: Experiência com Azure Data Factory (ADF) (Pipelines, linked services, triggers). Armazenamento e Staging: Uso do Azure Blob Storage para data staging e integração. Automação: Desenvolvimento de automação orientada a eventos usando Azure Functions / Logic Apps. Segurança: Gerenciamento de segredos e credenciais com Azure Key Vault. Observabilidade: Utilização do Azure Monitor / Log Analytics para diagnóstico e monitoramento. DatabricksProcessamento Distribuído: Proficiência em PySpark / Spark SQL para processamento distribuído de dados. Desenvolvimento: Uso de Databricks Notebooks para desenvolvimento colaborativo. Integração: Habilidade de integração com Snowflake, Azure Data Lake e ADF. Otimização: Técnicas de otimização como caching, particionamento e broadcast joins. Habilidades Técnicas GeraisLinguagens de Programação: Python: Scripting, automação e manipulação de dados. JavaScript: Para desenvolvimento de procedures dentro do Snowflake. Controle de Versão & CI/CD: Git e GitHub (branching, pull requests, actions). Criação de Pipelines CI/CD (GitHub Actions, Azure DevOps, GitLab CI). APIs e Integração: Consumo e construção de APIs RESTful para troca de dados. Uso de APIs Nativas para conexões em rede on-prem (local). Conhecimento em autenticação (OAuth2, API keys, JWT) e uso de ferramentas (Postman, Python requests / aio Modelagem de Dados e Governança: Conhecimento em Modelagem de Dados (Star/Snowflake schemas). Data Governance (gerenciamento de metadados, linhagem - lineage, catalogação). Conhecimento Desejável (SAP HANA)SAP HANA: SQLScript (Stored procedures, table functions). Modelagem de Dados (Calculation views, attribute/analytic views). Otimização de Performance (Indexação, particionamento, otimização de queries).
-
Data engineer sr
Há 2 dias
HOME OFFICE, Brasil Stefanini Tempo inteiroWe are looking for a Data Engineer Sr to be responsible for proactive and agile onboarding, taking ownership of the maintenance and development of data pipelines (existing and new) with autonomy, integrating multiple data sources to deliver reliable data to analysts. Key Responsibilities Develop and maintain data pipelines (batch and streaming)...
-
Devops engineer sr
3 semanas atrás
HOME OFFICE, Brasil Celero Tempo inteiroBuscamos um(a) DevOps Engineer Sr, apaixonado(a) por automação e orquestração para impulsionar a eficiência da nossa plataforma na nuvem. Você irá trabalhar mantendo nossa infraestrutura Kubernetes, garantindo a escalabilidade, confiabilidade e segurança dos nossos sistemas. Responsabilidades: Construção e Manutenção de Infraestrutura: Projetar,...
-
Staff data engineer
4 semanas atrás
HOME OFFICE, Brasil Grupo OLX Tempo inteiroE o que você precisa ter? Bom conhecimento em fundamentos de Engenharia de Software; Vivência em métodos ágeis (Scrum, Kanban); Conhecimento em Python e SQL avançado; Airflow, Pipelines de ETL e Athena/Presto/Trino; Experiência em Data Warehouse Architecture, Data Modeling; AWS (conhecimento aprofundado da Stack de Data Engineer). Será considerado...
-
Software engineer sr
3 semanas atrás
HOME OFFICE, Brasil Turbi Tempo inteiroE aí, tudo azul por aí? A Turbi é a locadora do futuro: 100% digital, movida a tecnologia, gente boa e paixão por transformar a forma como as pessoas se locomovem. A gente abre carro pelo app (sim, sem chave!) e acredita que inovação de verdade começa com um time engajado e com liberdade pra criar. Estamos procurando uma pessoa para a posição de...
-
HOME OFFICE, Brasil Cadastra Tempo inteiroO que a Cadastra espera de você: Bacharelado em Computação, Engenharia de Dados, Sistemas ou áreas correlatas; Experiência em Engenharia de Dados com pipelines ETL | ELT Conhecimento de GCP (BigQuery, Cloud Storage, Dataflow e Composer/Airflow) e DataBricks (Notebooks, Delta Lake, PySpark) Conhecimento intermediário de SLQ (queries complexas,...
-
Senior data engineer
3 semanas atrás
HOME OFFICE, Brasil EXA Tempo inteiroSENIOR DATA ENGINEER Sua missão: Sua missão será liderar a construção da espinha dorsal de dados da nossa empresa. Você será a força motriz por trás da criação de uma infraestrutura de dados escalável e de alta performance, capacitando nossas equipes de análise, ciência de dados e produto a transformar dados brutos em inteligência de negócio...
-
Data analytics engineer pl
Há 2 dias
HOME OFFICE, Brasil Celero Tempo inteiroNa Celero, estamos construindo a infraestrutura que conecta dados financeiros de PMEs com produtos inteligentes e automatizados. E para isso, precisamos de quem transforme dados brutos em ativos prontos para decisão. Estamos em busca de uma pessoa Analytics Engineer com olhar técnico e sensível ao negócio, alguém que entenda tanto de modelagem quanto de...
-
Sr. data engineer
4 semanas atrás
HOME OFFICE, Brasil Carreira Involves Tempo inteiroPara fazer esse show acontecer, precisamos que você domine: Ser organizado para trabalhar em um formato auto gerenciável; Sólido conhecimento com banco de dados relacional e não-relacional; Experiência com modelagem multidimensional; SQL/T-SQL avançado (procedimentos armazenados, otimização de performance). Ter atuado em projetos de Business...
-
Senior data engineer
Há 4 dias
HOME OFFICE, Brasil Zallpy Digital Tempo inteiroPleased to meet you, we are Zallpy. We are much more than a technology company; we are a diverse, plural, and talented community. Our purpose is to lead digital transformation with excellence and agility, promoting mutual and genuine growth in ethical and long-lasting relationships. Flexibility is one of our trademarks; we operate in different team models...
-
Data engineer
4 semanas atrás
HOME OFFICE, Brasil ioasys Tempo inteiroConhecimento no ecossistema Azure; Experiência básica com Azure DevOps, incluindo trabalho com Repos, branches, Pull requests, tarefas, acompanhamento de pipelines CI/CD e uso de GIT; Conhecimento em linguagens Python; Domínio em SQL, incluindo DDL e DML; Experiência com Azure Data Factory; Experiência com Azure Databricks, incluindo criação,...