[banco de talentos] engenheiro(a) de software backend - integrações e web scrpaing

O Desafio: Além do Básico

Estamos buscando uma pessoa Engenheira de Software que encare o Web Scraping como um desafio de Engenharia Reversa e Arquitetura Distribuída. Você será responsável por construir e manter o "motor" que conecta nossa plataforma a dezenas de sistemas governamentais e bancários complexos, lidando com centenas de milhares de requisições, contornando limitações de acesso e garantindo latência mínima.

Se você sabe a diferença entre um headless browser e uma requisição HTTP direta, entende como um WAF identifica um bot e sabe debugar um handshake TLS, este é o seu lugar.

Principais Responsabilidades

• Engenharia de Extração: Desenvolver scrapers robustos e performáticos utilizando TypeScript (Node.js), priorizando engenharia reversa de APIs (HTTP clients) sobre automação de navegador sempre que possível.

• Bypass de Proteções: Implementar estratégias para contornar sistemas anti-bot (Cloudflare, Akamai, Incapsula), gerenciando rotação de IPs (Proxies Residenciais/Datacenter), User-Agents e TLS Fingerprinting.

• Orquestração de Captchas: Integrar e otimizar o uso de serviços de resolução de CAPTCHA (2Captcha, Anti-Captcha, CapSolver), balanceando custo vs. tempo de resolução.

• Gestão de Sessão e Credenciais: Criar lógicas seguras para gerenciamento de credenciais de clientes, respeitando rigorosamente janelas de Rate Limiting e concorrência de sessões.

• Arquitetura Assíncrona: Manter e evoluir filas de processamento de alta vazão (RabbitMQ) para lidar com picos de tráfego e garantir a ordem e entrega dos dados.

• Observabilidade: Monitorar a saúde dos bots em tempo real (taxas de sucesso, tempo de resposta, bloqueios) utilizando ferramentas como Prometheus/Grafana ou stacks de logs centralizados.

Requisitos Obrigatórios

• Domínio de Node.js & TypeScript: Experiência comprovada com desenvolvimento backend, tipagem estrita e o event loop do Node.

• Deep Dive em HTTP: Conhecimento profundo de headers, cookies, verbos HTTP e autenticação. Você deve se sentir confortável analisando o Network Tab do DevTools ou usando Wireshark/Charles Proxy.

• Experiência com Puppeteer: Saber utilizar automação de browser quando APIs diretas não estão disponíveis, aplicando técnicas de stealth.

• Filas e Mensageria: Experiência prática com RabbitMQ, Kafka ou SQS.

• Conteinerização: Docker é o padrão para nossos ambientes de desenvolvimento e produção.

• Mentalidade de Engenheiro: Código limpo, testes unitários, CI/CD (GitHub Actions) e Code Review fazem parte do dia a dia.

Diferenciais (O que brilha nossos olhos)

• Experiência prévia contornando proteções avançadas de WAFs e Fingerprinting de navegador.

• Experiência com Redis para cache e controle de throttling distribuído.

• Vivência em ambientes de alta concorrência.