Engenheiro de dados sr.
3 meses atrás
O que o time busca?
- Graduação em cursos relacionados à computação, como Engenharia da Computação, Ciência da Computação ou área afim.
- Mais de 3 anos de experiência como engenheiro de dados enfrentando problemas tecnicamente desafiadores.
- Proficiência em SQL.
- Experiência na criação de pipelines (Ingestão, tratamento, disponibilização e monitoramento) de dados.
- Conhecimento e experiência com Python, Deltalake (lib) e Spark.
- Conhecimento avançado em Data Lake, Data Warehouse e Data Lakehouse.
- Experiência com AWS.
- Conhecimento e experiência com Terraform e Docker, Git e GitHub.
- Conhecimento em CI/CD.
- Conhecimento e experiência com Airflow;
- Modelagem Multidimensional.
Para o match perfeito, seria legal se você tivesse:
- Experiência com metodologias ágeis (Kanban e Scrum).
- Experiência e domínio de Linux/Shell Script.
- Experiência com ferramentas Lakehouse (Delta, Iceberg ou Hudi).
- Experiência com GitHub Actions.
Quais serão os principais desafios?
- Ser parte de uma equipe de alto desempenho, contribuindo diretamente para os resultados da empresa.
- Alimentar e estruturar o Data Lake por meio de ingestão de dados que contemple ETL/ELT para consolidar informações de múltiplas fontes de dados.
- Atuar no Enriquecimento de dados para aprimorar nossas capacidades de descoberta e governança de dados.
- Identificar dados não utilizados/obsoletos e propor como lidar com eles (amostragem, exclusão, movimento para classes de armazenamento mais frias).
- Encontrar e propor otimizações de modelagem de dados em todo o data lake, como ineficiências com dados duplicados, normalização de dados, tipos de dados, contrato, segurança, etc. (particionamento de tabelas, migração para tabelas delta).
- Descobrir e testar novas ferramentas de dados para aprimorar nossa infraestrutura.
- Auxiliar o time com padrões de design de código e melhores práticas de engenharia de dados.
- Desenvolver pipelines de dados no Apache Airflow.
- Desenvolver e administrar consultas SQL e tabelas no Data Lake.
- Governança de dados.
- Desenvolver pipelines de CI no GitHub Actions.
- Desenvolver projetos de terraform.
- Sustentabilidade de nossas aplicações de dados no Kubernetes (EKS).
- Realizar reuniões de alinhamento com partes interessadas para construir soluções de dados.
-
HOME OFFICE, Brasil Zallpy Digital Tempo inteiroResumo da VagaNossa empresa, a Zallpy Digital, está procurando por um Analista de Qualidade Sr. Dados para se juntar à nossa equipe de transformação digital.
-
Engenheiro de dados | pl/sr
Há 1 mês
HOME OFFICE, Brasil Zallpy Digital Tempo inteiroMuito prazer, somos a Zallpy! Somos muito mais que uma empresa de tecnologia; somos uma comunidade diversa, plural e talentosa. Nosso propósito é liderar a transformação digital, com excelência e agilidade, promovendo crescimento mútuo e genuíno em relações éticas e duradouras. Flexibilidade é uma de nossas marcas registradas, atuamos em...
-
Engenheiro/a de dados
Há 1 mês
HOME OFFICE, Brasil Nitro Agro Tempo inteiroExperiência comprovada como Engenheiro de Dados ou em posição similar. Proficiência em ferramentas de ETL (ex.: Apache NiFi, Talend, Informatica). Sólidos conhecimentos em bancos de dados relacionais e NoSQL (ex.: PostgreSQL, MongoDB). Experiência com tecnologias de Big Data (ex.: Hadoop, Spark, Kafka). Proficiência em linguagens de programação como...
-
Engenheiro de Dados Senior
4 semanas atrás
Home office, Brasil Rehva Tech LTDA Tempo inteiroApoiamos uma provedora líder de serviços de aumento de pessoal nearshore, localizada em Nova York. Nossa equipe de 500 talentos de tecnologia está impulsionando a disrupção digital da América Latina para os principais projetos em empresas dos EUA. A Truelogic tem ajudado empresas de todos os tamanhos a atingir suas metas de transformação...
-
Pessoa engenheira de dados sênior
3 meses atrás
HOME OFFICE, Brasil AI Solutions Tempo inteiroPessoa Engenheira de Dados Remoto. Contrato: PJ Iniciar: Disponibilidade Imediata Sobre a Empresa:A AI Solutions é uma empresa focada no desenvolvimento de soluções tecnológicas com inteligência artificial e machine learning, através da extração, estruturação e consolidação de base de dados e informações. Proporcionamos aos nossos...
-
Engenheiro de dados pl
2 meses atrás
HOME OFFICE, Brasil Stefanini Group Tempo inteiroRequired Skills: Python -> Pandas, Boto3 Scala -> Spark, SBT Cloud -> AWS: Glue, Athena, Lakeformation (administrators), Lambda Terraform -> AWS Provider Data Modeling Knowledge Git Optional Skills: Platform -> Databricks Docker gitlab ci O que esperamos que você realize: O Engenheiro de Dados será responsável por desenvolver e manter pipelines de dados...
-
Engenheiro de Dados Especialista em Ciência de Dados
4 semanas atrás
HOME OFFICE, Brasil Cortex Tempo inteiroO Cortex está procurando por um engenheiro de dados experiente para se juntar a nossa equipe.Sobre a VagaEstamos oferecendo uma oportunidade excelente para alguém que deseja trabalhar com tecnologia e contribuir para o sucesso da empresa.SalárioR$ 12.000,00 a R$ 18.000,00 por mês.Descrição do CargoDesenvolver e manter pipelines de dados utilizando...
-
Engenheiro de dados sênior azure
2 semanas atrás
HOME OFFICE, Brasil NAVA | Technology for Business Tempo inteiroO que esperamos de você? Experiência profissional comprovada anterior como Engenheiro de Dados; Experiência com Python, Spark, Pandas, Databricks (Databricks Mandatório); Experiência com desenvolvimento e implementação de APIs; Experiência com Azure Cloud e seus respectivos serviços; Ferramentas e Tecnologias: SQL, NoSQL, Hadoop, Spark, Kafka,...
-
Engenheiro de dados sênior
3 meses atrás
HOME OFFICE, Brasil CERC Tempo inteiroRESPONSABILIDADES E ATRIBUIÇÕESComo Engenheiro de Dados Sênior, você irá: Conhecer, entender e se envolver com os problemas de negócio do início ao fim, para propor soluções tech eficientes e inovadoras; Participar ativamente da expansão dos nossos sistemas atuais, da construção de novas features com foco no governança de dados; Construir...
-
Engenheiro de dados sr
3 semanas atrás
HOME OFFICE, Brasil Stefanini Group Tempo inteiroHabilidades e Competências exigidas: - Plataforma de Dados GCP: Proficiência em BigQuery, Dataflow, Pub/Sub, Cloud Storage e Dataproc. - Governança e Segurança de Dados: Implementação de políticas de segurança com PolicyTags. - Ferramentas de Big Data: Experiência com Apache Spark e Hadoop. - Linguagens de Programação: Proficiência em Python e...
-
Engenheiro de dados gcp
Há 1 mês
HOME OFFICE, Brasil Leega Consultoria Tempo inteiro- Google Cloud Platform (GCP); - Programação (Python, SQL, etc.); - Conhecimento em Big Data e ferramentas como Hadoop e Spark. Engenheiro de Dados para Sustentação de Pipelines GCP Pipeline de Dados: - Criar e manter pipelines ETL (extração, transformação e carregamento); - Coletar dados brutos de diferentes fontes; - Transformar os dados em um...
-
Pessoa engenheira de dados
2 semanas atrás
HOME OFFICE, Brasil MJV Technology & Innovation Tempo inteiroConhecimento com Databricks; Conhecimento com sintaxe do Linux; Domínio com banco de dados SQL; Conhecimento sobre arquivos delta e/ou parquet; Noções de jupites/notebook; Domínio em JSON; Conhecimento em tuning de query; Desejável conhecimento em python; Descrição da Vaga: Estamos buscando um(a) Engenheiro(a) de Dados talentoso(a) e motivado(a) para...
-
Engenheiro(a) de dados pleno
2 meses atrás
HOME OFFICE, Brasil EloGroup Tempo inteiroCom um time multidisciplinar, que combina a abordagem de Tecnologia, Analytics e Gestão, valorizando a qualidade técnica, buscamos solucionar os grandes desafios de negócios do mundo atual. Na EloGroup você terá oportunidade de participar de projetos de diferentes contextos: Big Data e Small Data, implementação de arquiteturas em Cloud e...
-
Pessoa engenheira de dados
2 meses atrás
HOME OFFICE, Brasil Deal Tempo inteiroSobre a Deal Somos uma consultoria de serviços de tecnologia e parceira estratégica para empresas em qualquer estágio de maturidade digital, sejam aquelas que estão iniciando sua jornada ou as que já nasceram digitalizadas. Com projetos sob medida e equipes de especialistas multidisciplinares, cocriamos soluções criativas e inteligentes em torno...
-
Analista de engenharia de dados sr
2 semanas atrás
HOME OFFICE, Brasil Vagas Inmetrics Tempo inteiroExperiência sólida como Engenheiro de Dados, atuando com a plataforma Google Cloud Platform (GCP); Conhecimento avançado em Python para gerenciar Data Proc e Cloud Composer (Airflow); Habilidades em migração de dados, incluindo migração de pipelines ETL/ELT existentes para novos pipelines; Capacidade de criar automações utilizando Cloud Composer...
-
Engenheiro de dados aws pleno
2 meses atrás
HOME OFFICE, Brasil Leega Consultoria Tempo inteiroCONHECIMENTOS Conhecimento nos serviços / padrões arquiteturas de Cloud (AWS, Azure ou Google); Sólidos conhecimentos nas ferramentas de evento distribuído (Kafka, eventhub, etc); Sólidos conhecimentos em Ecossistema Hadoop, Spark/Databricks, Python, Scala, Java; Conhecimentos de intermediários à avançados em Banco de dados relacional e NoSQL...
-
HOME OFFICE, Brasil Gupy Tempo inteiroDescubra a oportunidade perfeita em Gupy, onde podemos oferecer uma carreira repleta de desafios e crescimento profissional.Oportunidades de DesenvolvimentoComo Engenheiro(a) de Dados, você terá a responsabilidade de construir, sustentar e evoluir a infraestrutura do Data Lake. Além disso, será necessário implementar sistemas e rotinas de monitoramento,...
-
Engenheiro dados
3 meses atrás
HOME OFFICE, Brasil Bernoulli Educação Tempo inteiroSuperior completo em Engenharia, TI ou áreas correlatas. Desejável especialização em engenharia de dados. Conhecimento avançado em ferramentas de engenharia de dados (SQL, GCP, Aws, Azure ou outra ferramenta voltada a engenharia de dados). Conhecimento intermediário em ferramentas de análise/ciência de dados (Python, R, etc.). Experiência...
-
Engenheiro de Dados Senior: Arquiteto de Tecnologia de Dados
4 semanas atrás
HOME OFFICE, Brasil Zallpy Digital Tempo inteiroDescrição da VagaNossa empresa, Zallpy Digital, está em busca de um Engenheiro de Dados Seniorm/Arquiteto de Tecnologia de Dados, para compor nossa equipe de tecnologia e liderar a transformação digital. Nesta posição, você será o responsável por apoiar analistas de dados em temas avançados de engenharia de dados, atuar como ponto-chave para a...
-
Engenheiro de dados azure sênior
3 meses atrás
HOME OFFICE, Brasil ICON Solutions do Brasil Tempo inteiroEngenheiro de Dados Azure - Sênior (Remoto) Você conhece a Icon? Apaixonados por pessoas e especialistas em tecnologia. Nosso trabalho é encontrar talentos e soluções sob medida para os nossos clientes. Vem encontrar o seu projeto ideal conosco e participar da comunidade ICON! Sobre a Vaga Código da vaga: 9ad3f498Modelo de contratação: PJ Estamos...