Data engineer confirmé - H/F - CDI

Suivi de vos ressources et mesure de performance à partir de l’analyse du comportement de vos équipements

La mission

Au sein de l’équipe tech actuellement constituée d’un analyste, d’un Data Engineer en consultant, d’une équipe de développement externe IoT et d’un CTO, vous contribuerez au développement des fonctionnalités de notre plateforme.

Le Data Engineer conçoit et développe les infrastructures et outils nécessaires au traitement des données massives issues de la réception de tous les capteurs IoT du parc, des inventaires des clients et au déploiement de solutions de BI qui consomment nos services pour produire des rapports ou des portails clients (API).

Vos missions principales

1. Analyser le besoin et concevoir l’infrastructure de traitement

Le Data Engineer analyse et développe une solution permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci. Il préconise l’architecture technique nécessaire aux traitements des algorithmes conçus avec le CTO (ex : puissance de calcul, stockage, flux de données, utilisation des solutions cloud et développements spécifiques). Il co-anime l’équipe de traitement des données avec le CTO et contribue tout au long du traitement des données.

2. Déployer et maintenir la solution sur son cycle de vie

Il est le premier échelon de la chaîne de traitement de données et conçoit des solutions permettant le traitement de volumes importants de « pipelines » de données. Il veille à entretenir une solution permettant le traitement massif de données en utilisant ses diverses expertises. Il anticipe les évolutions dans les données (ex : variations de volumes ou d’usages) et prépare l’architecture de la plateforme à y répondre techniquement.

3. Développer et intégrer les technologies du Big Data dans son activité

Les principaux services de manipulation / stockage / traitement de données. Les services Google Cloud Platform (Data Flow, BigQuery, GCS et l’équivalent de Lambda), Python (CLI, scripts et libraire métier), Apache Airflow, Docker, des systèmes d’exploitation (Linux, Windows) et des solutions de base de données (MySQL / RDS, SQL Server, ElasticSearch).

Il est garant du maintien de la stabilité et de la flexibilité de l’infrastructure de traitement.

Il est garant du maintien de la stabilité et de la flexibilité de l’infrastructure de traitement.

 

Activités secondaires

Assister les opérations dans l’analyse de la performance et de l’activité du parc de capteurs (création d’outils en liant avec les plateformes réseau).

Assister les opérations dans le choix de solutions IoT (Idéation lors de la conception).

Veille et amélioration continue des bonnes pratiques de programmation de l’équipe.

Evolution

Le poste peut être amené à devenir une position de leadership, la requalification sera étudiée dans le cadre d’une démarche de gestion prévisionnelle des emplois et compétences.

Profil

  • Master (Bac+5) en informatique où cycle court de développement type école 42 où MsC pro Epitech (alternance) en 2/3 ans
  • Au moins 3 à 5 ans d’expérience en développement (idéalement avec un rôle de lead où d’architecte par le passé).
  • Capacité à planifier l’évolution d’une infrastructure pour suivre les besoins de traitements (aujourd’hui 12000 capteurs en production, demain plus de 50 000).
  • Capacité à investiguer et résoudre les problèmes d’un environnement de production complexe
  • Être capable de tester son code et de faire confiance à ses tests.
  • Connaissance des langages, outils et technologies :
    • Python (pour nos librairies métier et nos outils de CLI)
    • AWS :  RDS, ElasticSearch, EC2
    • GCP : Dataflow, IAM, Big Query, GCS
    • Docker et virtualisation d’environnement (Environnement de développement en docker avec Apache Airflow, déploiement via GCP Dataflow)
    • Bases de données relationnelles (MySQL, SQLite) et non-relationnelles (Elasticsearch)
    • REST APIs (Open API, Postman) et GraphQL
    • Des notions de sécurité (Owasp top 10) et des notions de réseaux (VPC / sous-vpc à setup).
    • Git, idéalement git flow et GitLab CI
    • Les principales librairies de science de données (NumPy, Pandas)
    • Idéalement des notions d’algorithme et d’apprentissage machine 
  • Intérêt pour les technologies IoT et les défis du secteur de la construction
  • Bon degré d’autonomie (on travaille en Agile avec une roadmap et une itération par semaine, le process évolue au fil des problématiques de l’équipe)
  • Bonne communication en français et à l’écrit en anglais

Pourquoi postuler ?

Rejoindre Omniscient, c’est rejoindre une équipe dynamique dans la Constructech, un secteur en plein boom. C’est découvrir l’aventure passionnante de l’intrapreneuriat ou comment faire naître des nouveaux business et des nouvelles entreprises au sein des grands groupes internationaux.

Infos pratiques

Date de début : Novembre 2021

Lieu : Sèvres, Ile-de-France

Contrat : CDI

Pour candidater

Envoyez votre CV à l’adresse suivante : dreamjob@myomniscient.com

Qui sommes-nous ?

Découvrez comment l'aventure a commencé et les personnes qui en font partie aujourd'hui !

En savoir plus