YellowIpe
Publicada Há 2 semanas
Sobre a YellowIpe Temos a missão de inspirar a conexão da tecnologia com as pessoas, fomentamos o melhor de nossos profissionais através de nossa expertise em encontrar e atrair os melhores talentos para os melhores projetos. O Foco nas Pessoas, Colaboração e Comprometimento são os pilares que nos guiam nessa trajetória. Junte-se à equipa amarela como nosso novo Databricks Data Engineer! Responsabilidades: - Colaborar com a equipa de Data & Analytics de uma instituição financeira prestigiada em Lisboa, suportando a migração das capacidades de engenharia de dados da Azure Synapse para a plataforma Databricks. - Executar tarefas de engenharia de dados, focando na adoção e implementação eficaz do Databricks, utilizando a arquitetura Data Vault estabelecida que classifica os dados em camadas de bronze (dados brutos), prata (dados estruturados e processados que compõem a camada de data lake) e ouro (camada orientada ao negócio e pronta para consumo). - Construir, otimizar e manter pipelines de transformação de dados, garantindo a eficiência e escalabilidade na movimentação de dados entre as várias camadas. - Implementar práticas robustas de governança de dados durante o processo de engenharia, assegurando a criação de um catálogo de dados abrangente e a rastreabilidade dos dados (data lineage), integrando essas funcionalidades na nova arquitetura. - Trabalhar em estreita colaboração com a equipa interna, proporcionando suporte técnico e compartilhando conhecimento para reforçar as capacidades de engenharia da equipa. - Realizar testes rigorosos e garantir a qualidade dos dados durante todo o processo de migração, abordando e resolvendo problemas de performance de forma proativa. - Contribuir para a documentação técnica e manual de melhores práticas, garantindo que todo o conhecimento adquirido durante o projeto esteja acessível para a equipa. Requisitos: - Experiência prática comprovada com Databricks, não sendo suficiente experiência genérica em Spark ou engenharia de dados na nuvem (obrigatório). - Sólidos conhecimentos em Engenharia de Dados, com historial demonstrado na construção e otimização de pipelines em arquiteturas de dados em camadas (obrigatório). - Experiência prévia em práticas de governança de dados, incluindo implementação e gestão de catálogos de dados e rastreabilidade de dados (obrigatório). - Familiaridade com modelagem Data Vault será considerada uma vantagem significativa. - Entre 4 a 5 anos de experiência relevante em Engenharia de Dados, preferencialmente em ambientes financeiros ou similares. - Fluência em inglês é essencial; conhecimento de português será um diferencial valorizado. - Disponibilidade para um regime híbrido de trabalho, com pelo menos 2 dias por semana requerendo presença física no escritório. - Localização: Lisboa, Portugal. Diferenciais: - Experiência com as capacidades de Inteligência Artificial e Machine Learning do Databricks será considerada uma vantagem, embora não constitua um requisito essencial. - Habilidade em trabalhar em equipas multifuncionais e em ambientes ágeis, adaptando-se rapidamente a novas tecnologias e desafios. - Certificações em Databricks, Azure ou outras plataformas relevantes são um plus. Informações importantes: Tipo de contrato: full-time Localização: Lisboa, Portugal Modalidade: Híbrido – pelo menos 2 vezes por semana no escritório Idioma(s) necessário(s): Inglês obrigatório; Português será considerado um diferencial Nível: Não especificado Candidatura: Ver a vaga e candidatar-me na YellowIpe
