Déploiement à l’échelle d’applications de Machine Learning.
Créer une plateforme de Data Science prod-ready avec Airflow et Kubernetes.

Missions

  • Se former sur les technologies Docker, Kubernetes & Airflow.
  • Faire un état de l’art des méthodes de déploiement d’applications de Machine Learning.
  • Prendre en main Data Driver, la plateforme de Data Science made in OCTO, ainsi qu'un framework de maintenance prédictive basé sur celle-ci.
  • Déployer Data Driver et ce framework dans Kubernetes.

Conditions

Type of internship:Stage de fin d'étude, pré-embauche
Location:OCTO Technology 34 avenue de l'Opéra 75002 Paris
Salary:1500 € bruts
Date:2020

Profile

  • Vous êtes intéressé·e par l’infrastructure et la Data Science.
  • Vous aimez vous frotter à un langage de programmation avec pour préférence, Python.
  • Vous êtes à l’aise ou vous sentez capable d’évoluer sur Linux et son écosystème.
  • La découverte de nouveaux langages/outils ne vous fait pas peur.

Context

Étape 1 : Cadrage

Formation sur les technologies qui seront utilisées lors du stage (Docker, Kubernetes, Airflow). Il vous faudra étudier les solutions actuelles du marché permettant de déployer des applications de Machine Learning en production.

Étape 2 : Compréhension de l’application

Avec Data Driver, nous avons développé un framework de maintenance prédictive. Ce framework déploie des modèles de Machine Learning online pour la détection de signaux faibles dans les capteurs d'équipements industriels. Il faudra vous familiariser avec l’application. Vous devrez en comprendrel es complexités sous jacentes afin de pouvoir l’adapter à un déploiement dans Kubernetes.

Étape 3 : Réalisation d’un prototype

Déploiement de la plateforme de façon industrialisée au sein d’un cluster Kubernetes.

Étape 4 : Partage

Partage des résultats à la communauté OCTO.

Étape 5 : Bonus Track
S’il reste du temps, vous pourrez selon vos envies : créer un plugin Airflow, gérer les logs et le monitoring, rendre la plateforme scalable, gérer le partage de la donnée entre les composants de la plateforme.

Internship target

En Machine Learning, rares sont les applications qui vont jusqu’en production.

Chez OCTO, nous avons développé Data Driver pour répondre à ce problème.

L’objectif : s’appuyer sur Kubernetes dans Data Driver pour fournir une plateforme à l’état de l’art, distribuée et résiliente.

Management

Vous serez encadré·e par un Octo de la tribu Big Data Analytic et une Octo de la tribu OPS, pour vous accompagner dans vos tâches de Data Science et d’infrastructure. Vous serez suivi·e tout au long de votre projet (entretiens hebdomadaires avec vos tuteurs, soutien de la communauté OCTO en cas de difficulté).