Data engineer

Suivi de vos ressources et mesure de performance à partir de l’analyse du comportement de vos équipements

La mission

Au sein de l’équipe tech actuellement constituée d’un analyste, d’un Data Engineer en consultant, d’une équipe de développement externe IoT et d’un CTO, vous contribuerez au développement des fonctionnalités de notre plateforme.

Le Data Engineer conçoit et développe les infrastructures et outils nécessaires au traitement des données massives issues de la réception de tous les capteurs IoT du parc, des inventaires des clients et au déploiement de solutions de BI qui consomment nos services pour produire des rapports ou des portails clients (API).

Vos missions principales

1. Analyser le besoin et concevoir l’infrastructure de traitement

Le Data Engineer analyse et développe une solution permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci. Il préconise l’architecture technique nécessaire aux traitements des algorithmes conçus avec le CTO (ex : puissance de calcul, stockage, flux de données, utilisation des solutions cloud et développements spécifiques). Il coanime l’équipe de traitement des données avec le CTO et contribue tout au long du traitement des données.

2. Déployer et maintenir la solution sur son cycle de vie

Il est le premier échelon de la chaîne de traitement de données et conçoit des solutions permettant le traitement de volumes importants de “pipelines” de données. Il veille à entretenir une solution permettant le traitement massif de données en utilisant ses diverses expertises. Il anticipe les évolutions dans les données (ex : variations de volumes ou d’usages) et prépare l’architecture de la plateforme à y répondre techniquement.

3. Développer et intégrer les technologies du Big Data dans son activité

Il maîtrise diverses technologies du Big Data permettant le traitement et la manipulation de données (familier avec les services AWS concernés) ainsi que les langages Javascript / TypeScript (cœur applicatif), Python (CLI, scripts et libraire métier) et .NET (service à migrer), des systèmes d’exploitation (Linux, Windows) et des solutions de base de données (MySQL / RDS, Redis, ElasticSearch).

Il est garant du maintien de la stabilité et de la flexibilité de l’infrastructure de traitement.

Activités secondaires

Assister les opérations dans l’analyse de la performance et de l’activité du parc de capteurs (création d’outils en liant avec les plateformes réseau).

Assister les opérations dans le choix de solutions IoT (Idéation lors de la conception).

Veille et amélioration continue des bonnes pratiques de programmation de l’équipe.

A noter :

Le data engineer peut être amené à cadrer une partie de ses opérations et prendre un contact client en charge en fonction de la charge de travail de l’équipe.

Evolution

Le poste peut être amené à devenir une position de leadership, la requalification sera étudiée dans le cadre d’une démarche de gestion prévisionnelle des emplois et compétences.

Profil

  • Master (Bac+5) en informatique ou cycle court de développement type école 42 ou MsC pro Epitech (alternance) en 2/3 ans
  • Au moins 3 à 5 ans d’expérience en développement (idéalement avec un rôle de lead ou d’architecte par le passé)
  • Capacité à planifier l’évolution d’une infrastructure pour suivre les besoins de traitements (aujourd’hui 12000 capteurs en production, demain plus de 50 000)
  • Capacité à investiguer et résoudre les problèmes d’un environnement de production complexe
  • Être capable de tester son code et de faire confiance à ses tests.
  • Connaissance des langages, outils et technologies :
    • Python (pour notre librairie métier et nos outils de CLI)
    • JavaScript – Node.js et TypeScript (pour le cœur applicatif et le SDK)
    • .NET Core (pour des APIs ODATA à faire évoluer)
    • AWS (environnement EC2, RDS, S3, EBS, IAM)
    • Docker et virtualisation d’environnement (Environnement de développement en cours de virtualisation pour ensuite virtualiser la préprod et la prod)
    • Bases de données relationnelles (MySQL, SQLlite) et non-relationnelles (Elasticsearch)
    • REST APIs (Open API, Postman) et GraphQL
    • Des notions de sécurité (Owasp top 10)
    • Git, idéalement git flow et GitLab CI
    • Design patterns et production de code propre
    • Les principales librairies de science de données (NumPy, Pandas)
    • Idéalement des notions d’algorithmie et d’apprentissage machine
  • Intérêt pour les technologies IoT et les défis du secteur de la construction
  • Bon degré d’autonomie (on travaille en Agile avec une roadmap et une itération par semaine, le process évolue au fil des problématiques de l’équipe)
  • Bonne communication en français et à l’écrit en anglais

Pourquoi postuler ?

Rejoindre Omniscient, c’est rejoindre une équipe dynamique dans la Constructech, un secteur en plein boom. C’est découvrir l’aventure passionnante de l’intrapreneuriat ou comment faire naître des nouveaux business et des nouvelles entreprises au sein des grands groupes internationaux.

Infos pratiques

Date de début : Avril 2021

Lieu : Sèvres, Ile-de-France

Contrat : CDI

Pour candidater

Envoyez votre CV à l’adresse suivante : omniscient@myomniscient.com

Qui sommes-nous ?

Découvrez comment l'aventure a commencé et les personnes qui en font partie aujourd'hui !