Ingénieur de données Senior / Senior Data engineer

Ingénieur de données Senior

Dans le cadre de ses ententes avec ses différents clients, Procom est actuellement à la recherche d’un Ingénieur de données senior pour une entreprise dans le domaine d’investissement. Notre client est situé à Montréal.


Description des tâches et responsabilités –
Ingénieur de données Senior

Les responsabilités du poste incluent :

• Collaborer avec des équipes interfonctionnelles pour comprendre les besoins en données et concevoir des processus ETL efficaces, évolutifs et fiables à l’aide de Python et DataBricks;
• Développer et déployer des jobs ETL extrayant des données de diverses sources et les transformant selon les besoins métiers;
• Prendre en charge l’ensemble du cycle de vie d’ingénierie : extraction, nettoyage, transformation et chargement des données, en veillant à leur exactitude et cohérence;
• Créer et gérer des pipelines de données en assurant la gestion des erreurs, le suivi et l’optimisation des performances;
• Travailler dans un environnement agile : participer aux planifications de sprint, réunions quotidiennes et rétrospectives;
• Réaliser des revues de code, fournir des retours constructifs et faire respecter les normes de codage pour maintenir un haut niveau de qualité;
• Développer et maintenir des outils et scripts d’automatisation pour les tâches répétitives;
• Mettre en œuvre des tests unitaires, d’intégration et autres méthodes de validation pour assurer la fiabilité des processus ETL;
• Utiliser des API REST et d’autres techniques d’intégration pour connecter différentes sources de données;
• Maintenir une documentation complète, incluant des schémas de flux de données, des spécifications techniques et des processus.
  
  
  

Exigences du poste –
Ingénieur de données Senior

• Maîtrise du langage Python, avec une capacité à écrire un code efficace et maintenable;
• Expérience pratique des services cloud, notamment DataBricks, pour construire et gérer des pipelines de données à grande échelle;
• Compétence dans l’utilisation de Snowflake ou d’une solution similaire d'entrepôt de données dans le cloud;
• Solide compréhension des principes ETL, de la modélisation des données, des concepts de data warehousing et des meilleures pratiques d’intégration des données;
• Familiarité avec les méthodologies agiles et aptitude à travailler en collaboration dans un environnement dynamique;
• Expérience avec des outils de gestion de versions de code (ex. : Git);
• Grande attention aux détails et goût prononcé pour la résolution de problèmes;
• Connaissance des systèmes d’exploitation Linux;
• Familiarité avec les API REST et les techniques d’intégration;
• Connaissance d’outils ou bibliothèques de visualisation de données (ex. : Power BI);
• Expérience en administration de bases de données ou en optimisation des performances;
• Familiarité avec des outils d’orchestration de flux de données, comme Apache Airflow;
• Expérience avec les technologies Big Data (ex. : Hadoop, Spark) pour le traitement de grands volumes de données.
  
  
  

Type de poste

Contractuel 12 mois avec de fortes possibilités de renouvellement.


Date de début

Immédiatement


Numéro de référence

BH312010


____________ENGLISH VERSION___________


Senior Data Engineer

As a part of its agreements with its various clients, Procom is currently seeking a Senior Data engineer for a company in the investment sector. Our client is located in Montréal.


Job details –
Senior Data engineer

Key responsibilities for this position include:

• Collaborating with cross-functional teams to understand data requirements, and design efficient, scalable, and reliable ETL processes using Python and DataBricks;
• Developing and deploying ETL jobs that extract data from various sources, transforming it to meet business needs;
• Taking ownership of the end-to-end engineering lifecycle, including data extraction, cleansing, transformation, and loading, ensuring accuracy and consistency;
• Creating and manage data pipelines, ensuring proper error handling, monitoring and performance optimizations;
• Working in an agile environment, participating in sprint planning, daily stand-ups, and retrospectives;
• Conducting code reviews, provide constructive feedback, and enforce coding standards to maintain a high quality;
• Developing and maintain tooling and automation scripts to streamline repetitive tasks;
• Implementing unit, integration, and other testing methodologies to ensure the reliability of the ETL processes;
• Utilizing REST APIs and other integration techniques to connect various data sources;
• Maintaining documentation, including data flow diagrams, technical specifications, and processes.
  
  
  

Mandatory Skills –
Senior Data engineer

• Proficiency in Python programming, including experience in writing efficient and maintainable code;
• Hands-on experience with cloud services, especially DataBricks, for building and managing scalable data pipelines;
• Proficiency in working with Snowflake or similar cloud-based data warehousing solutions;
• Solid understanding of ETL principles, data modelling, data warehousing concepts, and data integration best practices;
• Familiarity with agile methodologies and the ability to work collaboratively in a fast-paced, dynamic environment;
• Experience with code versioning tools (e.g., Git);
• Meticulous attention to detail and a passion for problem solving;
• Knowledge of Linux operating systems-Familiarity with REST APIs and integration techniques;
• Familiarity with data visualization tools and libraries (e.g., Power BI);
• Background in database administration or performance tuning;
• Familiarity with data orchestration tools, such as Apache Airflow;
• Previous exposure to big data technologies (e.g., Hadoop, Spark) for large data processing.
  
  
  

Assignment Length

12-month contract – renewable


Start date

Immediately


Reference number

BH312010