VT2020-Peloton-Fiche - Revision history

Rim.El-Jraidi: /* Veille Technologique 2020 */

2021-01-18T10:12:00Z

Veille Technologique 2020

← Older revision		Revision as of 10:12, 18 January 2021
Line 63:		Line 63:
	* Année : [[VT2020]]		* Année : [[VT2020]]
	* Sujet : Peloton		* Sujet : Peloton
			* Slides : [[Media:VT2020-Peloton-Presentation.pdf\|Slides]]
	* Slides :
	* Auteur : Rim EL JRAIDI		* Auteur : Rim EL JRAIDI

Rim.El-Jraidi: /* Caractéristiques de la version actuelle */

2021-01-17T20:03:32Z

Caractéristiques de la version actuelle

← Older revision		Revision as of 20:03, 17 January 2021
Line 48:		Line 48:
	* '''API basée sur Protobuf/gRPC''' : Supporte la plupart des langages de liaison tels que Golang, Java, Python et Node.js.		* '''API basée sur Protobuf/gRPC''' : Supporte la plupart des langages de liaison tels que Golang, Java, Python et Node.js.

	* '''Co-planification des charges de travail mixtes''' : Prise en charge de charges de travail mixtes telles que les ~~travaux~~ ~~par lots~~, ~~sans~~ ~~état~~ et ~~avec~~ ~~état~~ dans un seul cluster.		* '''Co-planification des charges de travail mixtes''' : Prise en charge de charges de travail mixtes telles que les Batch jobs, Stateful jobs et Stateless jobs dans un seul cluster.

	* '''Haute évolutivité''' : S'adapte à des millions de conteneurs et à des dizaines de milliers de nœuds.		* '''Haute évolutivité''' : S'adapte à des millions de conteneurs et à des dizaines de milliers de nœuds.

Rim.El-Jraidi: /* Composants */

2021-01-17T20:01:32Z

Composants

← Older revision		Revision as of 20:01, 17 January 2021
Line 21:		Line 21:
	'''Resource Manager:''' : maintient la hiérarchie des ressources et calcule périodiquement le droit aux ressources de chaque ensemble de ressources, qui est ensuite utilisé pour planifier ou anticiper les tâches en conséquence.		'''Resource Manager:''' : maintient la hiérarchie des ressources et calcule périodiquement le droit aux ressources de chaque ensemble de ressources, qui est ensuite utilisé pour planifier ou anticiper les tâches en conséquence.

	'''Placement Engine''' : trouve le placement (c'est-à-dire le mappage de la tâche à l'hôte) en prenant en considération les contraintes de la tâche ainsi que les attributs du host. Les placement engine peuvent être connectés à différents types de programmes, tels que les ~~travaux~~ ~~par lots~~.		'''Placement Engine''' : trouve le placement (c'est-à-dire le mappage de la tâche à l'hôte) en prenant en considération les contraintes de la tâche ainsi que les attributs du host. Les placement engine peuvent être connectés à différents types de programmes, tels que les Batch jobs.

	'''Job Manager''' : gère le cycle de vie des tâches et des volumes. Prend également en charge les mises à jour continues des tâches pour les services de longue durée.		'''Job Manager''' : gère le cycle de vie des tâches et des volumes. Prend également en charge les mises à jour continues des tâches pour les services de longue durée.

Rim.El-Jraidi: /* Architecture */

2021-01-17T19:59:53Z

Architecture

← Older revision		Revision as of 19:59, 17 January 2021
Line 8:		Line 8:
	[[File:Architecture_Peloton.png\|500px\|right\|thumb\|Architecture]]		[[File:Architecture_Peloton.png\|500px\|right\|thumb\|Architecture]]
	= Architecture =		= Architecture =
	Pour garantir une haute disponibilité et une grande évolutivité, Peloton utilise une architecture active-active avec quatre types de démons distincts : le gestionnaire de tâches, le gestionnaire de ressources, le moteur de placement et le gestionnaire d'~~hôtes~~. Les interactions entre ces démons sont conçues de manière à minimiser les dépendances ~~et à ne se produire que dans une seule direction~~.		Pour garantir une haute disponibilité et une grande évolutivité, Peloton utilise une architecture active-active avec quatre types de démons distincts : le gestionnaire de tâches, le gestionnaire de ressources, le moteur de placement et le gestionnaire d'hosts. Les interactions entre ces démons sont conçues de manière à minimiser les dépendances.

	== Composants ==		== Composants ==

Rim.El-Jraidi at 19:59, 17 January 2021

2021-01-17T19:59:20Z

← Older revision		Revision as of 19:59, 17 January 2021
Line 4:		Line 4:
	= Peloton =		= Peloton =
	Peloton est un planificateur de ressources unifié introduit pour la première fois par Uber en novembre 2018, qui permet de gérer les ressources sur des charges de travail distinctes.		Peloton est un planificateur de ressources unifié introduit pour la première fois par Uber en novembre 2018, qui permet de gérer les ressources sur des charges de travail distinctes.
	C'est une technologie qui a été conçue pour les entreprises comme Uber ~~pratiquant du web-scale IT~~ avec des millions de conteneurs et des dizaines de milliers de nœuds.		C'est une technologie qui a été conçue pour les entreprises comme Uber avec des millions de conteneurs et des dizaines de milliers de nœuds.

	[[File:Architecture_Peloton.png\|500px\|right\|thumb\|Architecture]]		[[File:Architecture_Peloton.png\|500px\|right\|thumb\|Architecture]]

Rim.El-Jraidi: /* Caractéristiques de la version actuelle */

2021-01-16T23:52:11Z

Caractéristiques de la version actuelle

← Older revision		Revision as of 23:52, 16 January 2021
Line 44:		Line 44:
	* '''Optimisé pour les charges de travail de données importantes''' : Supporte les fonctionnalités avancées d'Apache Spark telles que l'allocation dynamique des ressources.		* '''Optimisé pour les charges de travail de données importantes''' : Supporte les fonctionnalités avancées d'Apache Spark telles que l'allocation dynamique des ressources.

	* '''Optimisé pour ~~l'apprentissage~~ ~~machine~~''' : Prise en charge de l'ordonnancement des GPU et du Gang-Scheduling pour TensorFlow et Horovod. Gestion des milliers de GPU en production		* '''Optimisé pour le Machine Learning''' : Prise en charge de l'ordonnancement des GPU et du Gang-Scheduling pour TensorFlow et Horovod. Gestion des milliers de GPU en production

	* '''API basée sur Protobuf/gRPC''' : Supporte la plupart des langages de liaison tels que Golang, Java, Python et Node.js.		* '''API basée sur Protobuf/gRPC''' : Supporte la plupart des langages de liaison tels que Golang, Java, Python et Node.js.

Rim.El-Jraidi at 23:43, 16 January 2021

2021-01-16T23:43:55Z

← Older revision		Revision as of 23:43, 16 January 2021
Line 5:		Line 5:
	Peloton est un planificateur de ressources unifié introduit pour la première fois par Uber en novembre 2018, qui permet de gérer les ressources sur des charges de travail distinctes.		Peloton est un planificateur de ressources unifié introduit pour la première fois par Uber en novembre 2018, qui permet de gérer les ressources sur des charges de travail distinctes.
	C'est une technologie qui a été conçue pour les entreprises comme Uber pratiquant du web-scale IT avec des millions de conteneurs et des dizaines de milliers de nœuds.		C'est une technologie qui a été conçue pour les entreprises comme Uber pratiquant du web-scale IT avec des millions de conteneurs et des dizaines de milliers de nœuds.


	[[File:Architecture_Peloton.png\|500px\|right\|thumb\|Architecture]]		[[File:Architecture_Peloton.png\|500px\|right\|thumb\|Architecture]]

Rim.El-Jraidi: /* Caractéristiques de la version actuelle */

2021-01-16T23:20:34Z

Caractéristiques de la version actuelle

← Older revision		Revision as of 23:20, 16 January 2021
Line 38:		Line 38:

	= Caractéristiques de la version actuelle =		= Caractéristiques de la version actuelle =


	* '''Partage élastique des ressources''' : Pools de ressources hiérarchiques pour partager élastiquement les ressources entre différentes équipes.		* '''Partage élastique des ressources''' : Pools de ressources hiérarchiques pour partager élastiquement les ressources entre différentes équipes.

Rim.El-Jraidi: /* Architecture */

2021-01-16T23:20:18Z

Architecture

← Older revision		Revision as of 23:20, 16 January 2021
Line 10:		Line 10:
	= Architecture =		= Architecture =
	Pour garantir une haute disponibilité et une grande évolutivité, Peloton utilise une architecture active-active avec quatre types de démons distincts : le gestionnaire de tâches, le gestionnaire de ressources, le moteur de placement et le gestionnaire d'hôtes. Les interactions entre ces démons sont conçues de manière à minimiser les dépendances et à ne se produire que dans une seule direction.		Pour garantir une haute disponibilité et une grande évolutivité, Peloton utilise une architecture active-active avec quatre types de démons distincts : le gestionnaire de tâches, le gestionnaire de ressources, le moteur de placement et le gestionnaire d'hôtes. Les interactions entre ces démons sont conçues de manière à minimiser les dépendances et à ne se produire que dans une seule direction.


	== Composants ==		== Composants ==

Rim.El-Jraidi: /* Caractéristiques de la version actuelle */

2021-01-16T23:20:04Z

Caractéristiques de la version actuelle

← Older revision		Revision as of 23:20, 16 January 2021
Line 39:		Line 39:

	= Caractéristiques de la version actuelle =		= Caractéristiques de la version actuelle =


	* '''Partage élastique des ressources''' : Pools de ressources hiérarchiques pour partager élastiquement les ressources entre différentes équipes.		* '''Partage élastique des ressources''' : Pools de ressources hiérarchiques pour partager élastiquement les ressources entre différentes équipes.