Sobre a vaga
Engenheiro de Dados Pleno
Somos uma startup no setor de inteligência de dados, focada em fornecer soluções avançadas para nossos clientes, capacitando-os a tomar decisões estratégicas baseadas em dados. Nossa equipe tem experiencia em resolver desafios complexos e está comprometida em impulsionar o sucesso de nossos clientes por meio da tecnologia de ponta.
Responsabilidades
Como Engenheiro de Dados Pleno, você será fundamental na concepção, implementação e manutenção de pipelines de dados robustos e eficientes.
Desenvolvimento de pipelines de dados com Python e Spark.
Consultas SQL para manipulação e extração de dados.
Implementação de arquiteturas Batch e Streaming.
Desenvolvimento em ambiente de nuvem, preferencialmente AWS.
Uso de ferramentas como DBT e Git/Github.
Tecnologias
É preciso saber trabalhar com todas estas tecnologias
Tecnologias que são boas se souber
Detalhes da vaga
Requisitos
Proficiência comprovada em programação Python e Spark.
Experiência sólida com SQL e modelagem de dados.
Conhecimento prático em arquiteturas de dados Batch e Streaming.
Experiência em desenvolvimento de arquiteturas em Cloud, preferencialmente AWS.
Familiaridade com DBT para transformação de dados.
Experiência em versionamento com git e Github.
Desejável
Experiência com Terraform para infraestrutura como código.
Atividades
Desenvolvimento de Pipelines de Dados: Conceber, implementar e manter pipelines de dados escaláveis, eficientes e confiáveis, utilizando Python e Spark.
Consulta SQL: Projetar e otimizar consultas SQL para manipulação e extração de dados de diversas fontes, garantindo a eficiência e a precisão das operações.
Arquiteturas de Batch e Streaming: Implementar e gerenciar arquiteturas de dados em ambientes de processamento Batch e Streaming, garantindo o processamento eficiente e em tempo real dos dados.
Arquiteturas em Cloud: Colaborar com a equipe para desenvolver e implementar arquiteturas de dados na nuvem, preferencialmente AWS, garantindo a escalabilidade e a disponibilidade dos sistemas.
Transformação de Dados: Utilizar ferramentas como DBT para modelagem de dados e transformação, garantindo a integridade e a qualidade dos dados.
Versionamento de Código: Garantir a integridade e a qualidade dos dados por meio de práticas eficazes de versionamento com git e Github, garantindo a rastreabilidade e o controle das mudanças nos pipelines de dados.
Colaboração Interfuncional: Colaborar com outras equipes técnicas e de negócios para entender e atender aos requisitos de dados, garantindo a entrega de soluções alinhadas com as necessidades do cliente.
Otimização de Processos: Identificar oportunidades de melhoria e otimização nos processos de dados existentes, garantindo a eficiência e a qualidade das operações.
Localização
Presencial em nosso escritório de Juiz de Fora
Tipo de Contrato
Tempo integral
Remuneração
De R$6.000 até R$7.500 - CLT
Será necessário se cadastrar ou autenticar para se candidatar a essa vaga
