Analista Data Engineer PySpark e Azure

Há 5 dias

Manaus, Amazonas, Brasil 4DF Connect Tempo inteiro

Responsabilidades

  • Desenvolver, manter e otimizar pipelines de dados utilizando PySpark.
  • Automatizar e gerenciar processos de ingestão, transformação e disponibilização de dados.
  • Implementar práticas de versionamento e integração contínua com Azure DevOps.
  • Monitorar a performance das cargas de dados e atuar proativamente na resolução de problemas.
  • Garantir a governança, segurança e qualidade dos dados ao longo de todo o ciclo de vida.
Requisitos Obrigatórios
  • Experiência prática com PySpark (manipulação e transformação de dados em larga escala).
  • Experiência com Azure DevOps (CI/CD, versionamento de código, automação de pipelines).
Conhecimentos Desejáveis (não Obrigatórios)
  • Linguagens de programação: Python, SQL, Scala.
  • Orquestração de pipelines com ferramentas como Apache Airflow, Azure Data Factory ou similares.
  • Armazenamento e processamento de dados em nuvem: Azure, AWS ou GCP.
  • Modelagem de dados (conceitual, lógica e física).
  • Experiência com bancos de dados relacionais (PostgreSQL, SQL Server) e não-relacionais (MongoDB, Cassandra).
  • Conhecimento em Data Lakes, Data Warehouses e arquitetura orientada a dados.
  • Familiaridade com ferramentas de versionamento além do Azure DevOps, como Git/GitHub.
  • Práticas de DataOps, DevOps e CI/CD aplicadas a pipelines de dados.
  • Monitoramento e observabilidade com ferramentas como Datadog, Prometheus, Grafana, entre outras.
A vaga aceita trabalho remoto?
Não Analista Pleno de Dados e Planejamento - Mercado Envios Analista de Dados de Experiência do Cliente - PE Engenheiro (a) de Dados Júnior | Recife-PE 6428 - Analista de Governança de Dados Pleno Analista de Dados – Pleno e Sênior | DataViz & Cloud | Inglês Avançado Pessoa Analista de Desenvolvimento de Sistemas II Analista de Banco de Dados Sênior (Oracle) Visagio Talentos - Estágio: Engenheiro(a) de Dados NE Engenheiro de Dados - Trabalho Remoto | REF#259078

Jaboatão dos Guararapes, Pernambuco, Brazil 6 months ago

Engenheiro de Dados GCP – Júnior | Pleno | Sênior #J-18808-Ljbffr

  • Data Engineer

    4 semanas atrás

    Manaus, Amazonas, Brasil Insight Global Tempo inteiro

    This position is fully remote and is a contractor (PJ) position. Salary range is 18-25/hr.Required Skills & Experience- 3+ years of experience with Power BI development and engineering (DAX and semantic model development and deployment) - Strong hands on coding ability in PySpark and Python - Professional working experience with Databricks, Fabric, or...

  • Senior Data Engineer

    Há 14 horas

    Manaus, Amazonas, Brasil beBeeDataEngineering Tempo inteiro R$80.509 - R$114.569

    Data Engineering PositionThis is a challenging role that involves designing and implementing data pipelines using Azure Data Factory. You will work with large datasets to ensure data integrity and quality.Key Responsibilities:Design and implement data pipelines: Utilize Azure Data Factory to create efficient and scalable data pipelines.Develop ETL processes:...

  • Azure Devops Engineer

    Há 6 horas

    Manaus, Amazonas, Brasil Decskill Tempo inteiro

    Join to apply for the Azure Devops Engineer role at Decskill 2 weeks ago Be among the first 25 applicants Join to apply for the Azure Devops Engineer role at Decskill Decskill was founded in 2014 as an IT Consulting Company and their main mission is to delivery value through the knowledge. We enable companies to meet the chalenges of digital world by...

  • Azure Devops Engineer

    Há 3 dias

    Manaus, Amazonas, Brasil Decskill Tempo inteiro

    Overview Join to apply for the Azure DevOps Engineer role at Decskill . We are looking for an Azure DevOps Engineer for a remote project in Brazil. Decskill was founded in 2014 as an IT Consulting Company and their main mission is to deliver value through knowledge. We enable companies to meet the challenges of the digital world by providing our clients...

  • Senior Clinical Data Developer

    1 dia atrás

    Manaus, Amazonas, Brasil beBeeDataEngineer Tempo inteiro R$27.000 - R$36.000

    We are seeking a Data Engineering professional to support our portfolio of ongoing clinical operations projects.The successful candidate will work closely with technical and functional partners to meet project needs, leveraging expertise in Power BI, DAX, and Semantic Model Development.To succeed in this role, you will need to have:3+ years of experience...

  • Data Engineer

    Há 6 horas

    Manaus, Amazonas, Brasil FullStack Labs Tempo inteiro

    Overview Join to apply for the Data Engineer - Remote - Latin America role at FullStack Labs . 1 day ago Be among the first 25 applicants. Get AI-powered advice on this job and more exclusive features. About FullStack FullStack is the most transparent IT talent network, connecting highly skilled individuals with top global companies and Silicon Valley...

  • Analista de Dados Sênior

    Há 5 dias

    Manaus, Amazonas, Brasil Netbrokers Tempo inteiro

    Vaga – Analista de Dados Sênior Modelo: Remoto Contratação: PJ Início: Imediato Sobre a vagaEstamos em busca de um(a) Analista de Dados Sênior para fortalecer nosso time de dados, atuando no tratamento, modelagem e visualização de informações estratégicas para o negócio. O(a) profissional será responsável por transformar dados brutos em...

  • Expert Data Solutions Developer

    Há 6 dias

    Manaus, Amazonas, Brasil beBeeDataEngineer Tempo inteiro R$18.224 - R$25.488

    Job Summary: This is a remote Data Engineer position that requires strong expertise in data analysis, Spark technologies, and Python programming. The ideal candidate should have 3+ years of experience with Power BI development and engineering to design, develop, and maintain robust data solutions.A professional working experience with Databricks, Fabric,...

  • Senior Data Engineering Specialist

    Há 3 dias

    Manaus, Amazonas, Brasil beBeeDataEngineer Tempo inteiro R$96.000 - R$128.000

    Job OpportunityA global organization with a presence in Portugal seeks an experienced Data Engineer to spearhead the development and maintenance of information systems.Key Responsibilities:Collaborate with cross-functional teams to drive data engineering initiativesDesign and implement scalable data pipelines using PysparkEnsure seamless integration with...

  • Data Engenheiro Global

    Há 3 dias

    Manaus, Amazonas, Brasil beBeedataengenheiro Tempo inteiro R$60.000 - R$80.000

    A Dexian é uma empresa líder no mercado de soluções de tecnologia e staffing global. Com quase 30 anos de experiência, a companhia tem presença em mais de 60 clientes de diferentes setores da economia.Em 2007, iniciamos nosso trabalho no Brasil como DISYS, conquistando desde então reconhecimento por nossa entrega de serviços exclusivos que combinam...