Senior Data Engineer

SOBRE A WINNIN:

A Winnin é uma plataforma de inteligência cultural que, por meio de Inteligência Artificial, decodifica o comportamento de consumo de vídeo e ajuda grandes marcas a transformar tendências culturais em estratégias criativas orientadas por dados. Trabalhamos com marcas como Coca-Cola, Meta, Netflix, AB InBev e Unilever.

Na Winnin, somos apaixonados pelo nosso trabalho, sonhamos grande e buscamos sempre ser ágeis e criativos. Somos, acima de tudo, um time. Afinal, quando diferentes talentos se unem em torno de um mesmo objetivo e compartilham conhecimento, coisas incríveis acontecem. É isso que buscamos viver todos os dias.

#BeAWinner

SOBRE O TIME

Nossa plataforma captura dados de diversas APIs e fontes externas e usa Inteligência Artificial para extrair insights a partir deles. No time de Engenharia de Dados, capturamos milhões de dados diariamente, que precisam estar disponíveis para os nossos clientes o mais rápido possível, próximo do tempo real.

O desafio do time é criar e manter centenas de pipelines que capturam, classificam e transformam esses dados, facilitando o acesso para os nossos clientes e para o time de Ciência de Dados, que constrói modelos a partir deles. E tudo isso prezando pela segurança e pela privacidade dos dados.

COMO SERÁ O SEU DIA A DIA

• Desenvolver e manter crawlers e scrapers de diferentes complexidades (API e HTML);

• Mapear novas fontes de dados externas e avaliar a viabilidade técnica de coleta;

• Automatizar fluxos de coleta de dados em larga escala;

• Ajustar e adaptar scrapers conforme mudanças nos sites;

• Garantir a qualidade e a atualização contínua dos crawlers;

• Processar e organizar os dados coletados para integração aos pipelines de dados;

• Trabalhar em conjunto com o time para resolver problemas de negócio e entregar dados confiáveis.

O QUE ESPERAMOS DE VOCÊ

• Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas;

• Bons conhecimentos de programação em Python (requests, httpx, asyncio) ou Node.js (axios, puppeteer, crawlee);

• Experiência com desenvolvimento de web scrapers ou crawlers, tanto via API quanto via parsing de HTML;

• Familiaridade com inspeção de chamadas de rede (Developer Tools / Network) para análise de APIs e engenharia reversa;

• Conhecimento avançado de SQL para modelagem e análise de dados;

• Noção geral de como estruturar pipelines de dados (ETL) e lidar com armazenamento de dados (ex.: Parquet, JSON, bancos relacionais);

• Experiência com ferramentas de orquestração e workflow, como Prefect, Airflow ou Temporal, para execução confiável de pipelines e processos de longa duração;

• Alguma experiência com ambientes de nuvem (AWS, GCP ou Azure) para rodar crawlers e pipelines;

• Atenção à qualidade dos dados coletados e capacidade de manter o funcionamento dos crawlers.

DIFERENCIAIS QUE TE DESTACAM

• Experiência prática com automação de browsers com Playwright, Selenium ou ferramentas similares;

• Experiência sólida com rotação de proxies, bypass de rate limits e estratégias anti-bloqueio (ex.: proxy rotation, captchas);

• Vivência com ferramentas de scraping avançadas (Scrapy, Crawlee etc.);

• Experiência com engenharia reversa de APIs privadas e análise profunda de chamadas de rede;

• Experiência com manutenção e operação de crawlers