Engenheiro de Dados sênior (Hadoop & AWS)

Na Stefanini , acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global. Ao se juntar à Stefanini , você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui! Junte-se a nós e seja parte da mudança! Atuação 100% remoto Mapeamento e Descoberta: Levantar, documentar e priorizar jobs , pipelines e queries HQL no Cloudera, mapeando dependências, volumes, SLAs e rotinas em Shell Script. Desenho e Arquitetura de Dados: Redesenhar pipelines para AWS (Athena, Glue, EMR, Step Functions, Lambda), definindo a modelagem no Amazon S3 (zonas raw , trusted , refined ) e Amazon Redshift. Desenvolvimento e Automação: Implementar pipelines de ETL no AWS Glue com versionamento de código, aplicando automação via Infraestrutura como Código (Terraform ou CloudFormation). Qualidade e Performance: Garantir boas práticas de particionamento, catalogação (Glue Data Catalog), formatos otimizados (Parquet/Iceberg) e validação rigorosa da paridade de dados (reconciliação) pré-produção. Operação e Sustentação: Conduzir a janela de virada ( cutover ), gerenciar planos de rollback , prestar suporte pós-migração ( hypercare ) e documentar runbooks para repasse de conhecimento. Experiência: Histórico prático comprovado em migração de consultas/rotinas HQL para AWS (Athena, Glue ou EMR). Ambiente de Origem: Vivência real e sólida em ambientes de produção com Cloudera, Hadoop e Hive. Automação & Orquestração: Domínio avançado em Shell Script para automação e orquestração de processos. Infraestrutura como Código: Prática em desenvolvimento com Terraform ou CloudFormation e esteiras de CI/CD. Governança & Segurança: Conhecimento em gestão de acessos via IAM ( least privilege ), AWS Lake Formation, criptografia de dados e conformidade com LGPD. Perfil & Metodologia: Senso de dono para assumir a operação ponta a ponta, autonomia para tomada de decisões técnicas e atuação em times ágeis (Scrum/Kanban). Informações adicionais 🍛 Vale-alimentação ou vale-refeição; 👨🏼‍🎓 Desconto em cursos, universidades e instituições de idiomas; 📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado; 🗣 Mentoring; 💉 Clube de vantagens para consultas e exames; 🏥 Assistência médica; 🦷 Assistência odontológica; 💰 Clube de vantagens e descontos nos melhores estabelecimentos; 🛫 Clube de viagens; 🐶 Convênio para pets. Originally posted on Himalayas