Engenheiro de Dados - Python

 A Teddy está em busca de um Engenheiro de Dados apaixonado por transformar informações em insights impactantes. Se você tem experiência com pipelines de dados, garante a qualidade e a consistência, e adora trabalhar com tecnologias como Apache Airflow, Git e AWS, queremos você no nosso time! Junte-se a nós para desenvolver soluções inovadoras em um ambiente colaborativo, usando suas habilidades em SQL, NoSQL, ETL e Python. Se está pronto para esse desafio e deseja impulsionar nossa estratégia de dados, estamos ansiosos para conhecê-lo!

Responsabilidades:

· Ingestão de Dados no Data Lake: Desenvolver e gerenciar pipelines de dados que permitem a ingestão de grandes volumes de dados em tempo real ou em batch no Data Lake, garantindo a qualidade e a consistência dos dados armazenados.

· Conhecimento em Bancos de Dados: Forte entendimento de bancos de dados relacionais (SQL) e não relacionais (NoSQL), incluindo modelagem de dados, consultas complexas e otimização de performance.

· ETL (Extract, Transform, Load): Design e implementação de processos ETL para transformar dados brutos em informações utilizáveis, garantindo que os dados estejam limpos, formatados e prontos para análise.

· Ferramentas e Tecnologias:

o Apache Airflow: Automação de fluxos de trabalho e orquestração de processos de dados para garantir que as tarefas sejam executadas de forma eficiente e em sequência correta.

o Git: Controle de versão de código, garantindo que todas as alterações em scripts e pipelines de dados sejam registradas e que as colaborações em equipe sejam organizadas e seguras.

o AWS (Amazon Web Services): Utilização de serviços de cloud computing para armazenamento, processamento e análise de dados, incluindo S3, Redshift, Lambda, e outros serviços relevantes.

· Programação em Python: Uso avançado de Python para desenvolvimento de scripts de automação, manipulação de dados, integração de APIs, e criação de pipelines de dados complexos. Python é frequentemente utilizado em conjunto com bibliotecas específicas para manipulação de dados, como Pandas, PySpark, entre outras.

Habilidades:

· Sólidos conhecimentos em SQL e NoSQL.

· Experiência prática com ETL e Data Lakes.

· Proficiência em Python e bibliotecas relacionadas a dados.

· Familiaridade com ferramentas de orquestração e automação de fluxos de trabalho, especialmente Airflow.

· Capacidade de trabalhar com sistemas de controle de versão, como Git.

· Experiência com serviços de nuvem, particularmente AWS.