Apache Mesos - Revision history

Donsez: /* Les concurrents */

2016-03-06T18:24:24Z

Les concurrents

← Older revision		Revision as of 18:24, 6 March 2016
Line 43:		Line 43:

	===Les concurrents===		===Les concurrents===
	Mesos ouvre globalement la voie à une meilleure optimisation de la gestion des ressources. Ce qui ne laisse évidemment pas indifférents les responsables informatiques, surtout ceux qui se sont lancés dans les systèmes distribués. Parmi les principaux concurrents d'Apache Mesos, on retrouve Omega/Borg, CoreOS et Kubernetes.		Mesos ouvre globalement la voie à une meilleure optimisation de la gestion des ressources. Ce qui ne laisse évidemment pas indifférents les responsables informatiques, surtout ceux qui se sont lancés dans les systèmes distribués. Parmi les principaux concurrents d'Apache Mesos, on retrouve Omega/Borg, CoreOS et [[Kubernetes]].

	'''Mesos vs CoreOS'''		'''Mesos vs CoreOS'''

Alan.Damotte: /* Conclusion */

2015-11-06T11:47:09Z

Conclusion

← Older revision		Revision as of 11:47, 6 November 2015
Line 214:		Line 214:

	Mesos (via Mesosphère) emploie des paradigmes d'infrastructure serveur qui peuvent sembler méconnus puisque conçu essentiellement pour le clustering et l'adaptibilité. Chaque composant, sur lequel la Mesosphère est basée, offre une solution à des problèmes qui sont communément recontrés lors du déploiement d'infrastructures serveurs extensibles et adaptables.		Mesos (via Mesosphère) emploie des paradigmes d'infrastructure serveur qui peuvent sembler méconnus puisque conçu essentiellement pour le clustering et l'adaptibilité. Chaque composant, sur lequel la Mesosphère est basée, offre une solution à des problèmes qui sont communément recontrés lors du déploiement d'infrastructures serveurs extensibles et adaptables.
			Apache Mesos est une solution de cluster management parmi d'autres. En fonction du projet, il peut être plus judicieux de partir sur une solution plus "haut-niveau", ou plus simple. En effet, Apache Mesos est relativement complet, mais cette qualité peut aussi être un défaut, puisque l'apprentissage et la mise en oeuvre peut en repousser plus d'un.
			D'après les utilisateurs de Mesos, une fois l'outil pris en main, il devient difficile de s'en passer.

	==Références==		==Références==

Alan.Damotte: /* Références */

2015-11-05T15:15:33Z

Références

← Older revision		Revision as of 15:15, 5 November 2015
Line 218:		Line 218:
	http://mesos.apache.org/		http://mesos.apache.org/
	''Apache Mesos abstracts CPU, memory, storage, and other compute resources away from machines (physical or virtual), enabling fault-tolerant and elastic distributed systems to easily be built and run effectively.''		''Apache Mesos abstracts CPU, memory, storage, and other compute resources away from machines (physical or virtual), enabling fault-tolerant and elastic distributed systems to easily be built and run effectively.''

			http://kubernetes.io/ ''Kubernetes''

			https://coreos.com/ ''CoreOs''

	https://www.digitalocean.com/community/tutorials/an-introduction-to-mesosphere ''Qu'est-ce que Mesosphère''		https://www.digitalocean.com/community/tutorials/an-introduction-to-mesosphere ''Qu'est-ce que Mesosphère''

Alan.Damotte at 14:01, 5 November 2015

2015-11-05T14:01:00Z

← Older revision		Revision as of 14:01, 5 November 2015
Line 62:		Line 62:

	Avec Kubernetes seul, vous aurez quelque chose qui est simple , facile à déployer, portable et extensible. Vous pouvez alors exécuter une application sur un cluster, et cesser de vous préoccuper d'une machine individuelle. Dans ce cas , le cluster est une ressource flexible comme une VM.		Avec Kubernetes seul, vous aurez quelque chose qui est simple , facile à déployer, portable et extensible. Vous pouvez alors exécuter une application sur un cluster, et cesser de vous préoccuper d'une machine individuelle. Dans ce cas , le cluster est une ressource flexible comme une VM.

	Maintenant que les ressources sont à disposition, il faut exécuter les tâches ou plus précisément mettre à disposition les services. On peut dire que Kubernetes prend en charge « une couche au dessus » de CoreOS et de Mesos. Ces services vont s’exécuter dans des containers Docker.		Maintenant que les ressources sont à disposition, il faut exécuter les tâches ou plus précisément mettre à disposition les services. On peut dire que Kubernetes prend en charge « une couche au dessus » de CoreOS et de Mesos. Ces services vont s’exécuter dans des containers Docker.
			Kubernetes permet de déployer des conteneurs sur un lot de machines, d’en surveiller le (bon) fonctionnement et d’assurer leur réplication. Une offre idéale pour administrer des conteneurs Linux sur une infrastructure de type Cloud public. Ce projet a reçu le soutien de plusieurs sociétés comme Microsoft, IBM, Docker, etc.

	A noter une différence entre CoreOS et Mesos : CoreOS est (à l’heure actuelle) concentré sur l’exécution de containers Docker, alors que Mesos permet à plusieurs frameworks (voire plusieurs « copies » du même framework), comme Hadoop, Spark, … et depuis peu Kubernetes, de s’exécuter dans un même cluster « côte à côte ». Mesos est donc plus modulaire.		A noter une différence entre CoreOS et Mesos : CoreOS est (à l’heure actuelle) concentré sur l’exécution de containers Docker, alors que Mesos permet à plusieurs frameworks (voire plusieurs « copies » du même framework), comme Hadoop, Spark, … et depuis peu Kubernetes, de s’exécuter dans un même cluster « côte à côte ». Mesos est donc plus modulaire.

Alan.Damotte: /* Comment ça marche ? */

2015-11-05T08:27:45Z

Comment ça marche ?

← Older revision		Revision as of 08:27, 5 November 2015
Line 89:		Line 89:
	* Tâche : une unité de travail qui est prévue par un framework et qui est exécuté sur un noeud esclave. Une tâche peut être n'importe quoi : de la commande bash ou du script, à la requête SQL, ou même encore un "Hadoop job".		* Tâche : une unité de travail qui est prévue par un framework et qui est exécuté sur un noeud esclave. Une tâche peut être n'importe quoi : de la commande bash ou du script, à la requête SQL, ou même encore un "Hadoop job".

	* Zookeeper permet de faire la découverte et l’élection de nœuds. ~~Nous avons également un master et des slaves :~~		* Zookeeper permet de faire la découverte et l’élection de nœuds.
	**Le master contient les frameworks.
	**Les slaves exécutent les tâches.

	Cette architecture permet à Mesos de partager les ressources du cluster entre les applications avec un haut niveau de granularité. La quantité de ressources attribuées à un framework en particulier est basée sur la politique déclarée sur le Master, et l'ordonnanceur du framework décide quelle offre utiliser. Une fois que cela est fait, il indique à Mesos les tâches qui doivent être exécutées, et celui-ci lance les tâches sur les noeuds appropriés. Une fois les tâches terminées, et les ressources utilisées libérées, le cycle d'offre de ressource est répété afin que d'autres tâches soient exécutées.		Cette architecture permet à Mesos de partager les ressources du cluster entre les applications avec un haut niveau de granularité. La quantité de ressources attribuées à un framework en particulier est basée sur la politique déclarée sur le Master, et l'ordonnanceur du framework décide quelle offre utiliser. Une fois que cela est fait, il indique à Mesos les tâches qui doivent être exécutées, et celui-ci lance les tâches sur les noeuds appropriés. Une fois les tâches terminées, et les ressources utilisées libérées, le cycle d'offre de ressource est répété afin que d'autres tâches soient exécutées.

Alan.Damotte: /* Comment ça marche ? */

2015-11-05T08:26:09Z

Comment ça marche ?

← Older revision		Revision as of 08:26, 5 November 2015
Line 85:		Line 85:
	**Un executor : pour lancer l’exécution des tâches.		**Un executor : pour lancer l’exécution des tâches.

	* Offre : Une liste de ~~noeud~~ ~~esclave~~ pour lequels des ressources CPU et mémoires sont disponibles. Chaque noeud esclave envoie des offres au Master, et ce dernier fournit des offres aux frameworks enregistrés.		* Offre : Une liste de noeuds esclaves pour lequels des ressources CPU et mémoires sont disponibles. Chaque noeud esclave envoie des offres au Master, et ce dernier fournit des offres aux frameworks enregistrés.

	* Tâche : une unité de travail qui est prévue par un framework et qui est exécuté sur un noeud esclave. Une tâche peut être n'importe quoi : de la commande bash ou du script, à la requête SQL, ou même encore un "Hadoop job".		* Tâche : une unité de travail qui est prévue par un framework et qui est exécuté sur un noeud esclave. Une tâche peut être n'importe quoi : de la commande bash ou du script, à la requête SQL, ou même encore un "Hadoop job".

Alan.Damotte: /* Comment ça marche ? */

2015-11-05T08:25:50Z

Comment ça marche ?

← Older revision		Revision as of 08:25, 5 November 2015
Line 85:		Line 85:
	**Un executor : pour lancer l’exécution des tâches.		**Un executor : pour lancer l’exécution des tâches.

	* Offre : Une liste de noeud esclave pour lequels des ressources CPU et mémoires sont disponibles. Chaque noeud ~~escalve~~ envoie des offres au Master, et ce dernier fournit des offres aux frameworks enregistrés.		* Offre : Une liste de noeud esclave pour lequels des ressources CPU et mémoires sont disponibles. Chaque noeud esclave envoie des offres au Master, et ce dernier fournit des offres aux frameworks enregistrés.

	* Tâche : une unité de travail qui est prévue par un framework et qui est exécuté sur un noeud esclave. Une tâche peut être n'importe quoi : de la commande bash ou du script, à la requête SQL, ou même encore un "Hadoop job".		* Tâche : une unité de travail qui est prévue par un framework et qui est exécuté sur un noeud esclave. Une tâche peut être n'importe quoi : de la commande bash ou du script, à la requête SQL, ou même encore un "Hadoop job".

Alan.Damotte at 07:13, 5 November 2015

2015-11-05T07:13:36Z

← Older revision		Revision as of 07:13, 5 November 2015
Line 92:		Line 92:
	**Le master contient les frameworks.		**Le master contient les frameworks.
	**Les slaves exécutent les tâches.		**Les slaves exécutent les tâches.

			Cette architecture permet à Mesos de partager les ressources du cluster entre les applications avec un haut niveau de granularité. La quantité de ressources attribuées à un framework en particulier est basée sur la politique déclarée sur le Master, et l'ordonnanceur du framework décide quelle offre utiliser. Une fois que cela est fait, il indique à Mesos les tâches qui doivent être exécutées, et celui-ci lance les tâches sur les noeuds appropriés. Une fois les tâches terminées, et les ressources utilisées libérées, le cycle d'offre de ressource est répété afin que d'autres tâches soient exécutées.

	Afin de faire fonctionner des outils dessus, une API (Java, Scala, Go et autres) permet de faire l’implémentation adéquate. Certains de ces outils proposent déjà des implémentations (Elasticsearch, Hadoop, etc).		Afin de faire fonctionner des outils dessus, une API (Java, Scala, Go et autres) permet de faire l’implémentation adéquate. Certains de ces outils proposent déjà des implémentations (Elasticsearch, Hadoop, etc).

Alan.Damotte at 07:06, 5 November 2015

2015-11-05T07:06:44Z

← Older revision		Revision as of 07:06, 5 November 2015
Line 82:		Line 82:

	* Les frameworks (aussi connus sous le nom d'application Mesos) sont des applications possédant deux composants :		* Les frameworks (aussi connus sous le nom d'application Mesos) sont des applications possédant deux composants :
			**Un scheduler : pour attribuer les ressources,

	** Un ~~scheduler~~ : pour ~~attribuer~~ ~~les~~ ~~ressources,~~		**Un executor : pour lancer l’exécution des tâches.
	** Un executor : pour lancer l’exécution des tâches.

	* Offre : Une liste de noeud esclave pour lequels des ressources CPU et mémoires sont disponibles. Chaque noeud escalve envoie des offres au Master, et ce dernier fournit des offres aux frameworks enregistrés.		* Offre : Une liste de noeud esclave pour lequels des ressources CPU et mémoires sont disponibles. Chaque noeud escalve envoie des offres au Master, et ce dernier fournit des offres aux frameworks enregistrés.
Line 91:		Line 90:

	* Zookeeper permet de faire la découverte et l’élection de nœuds. Nous avons également un master et des slaves :		* Zookeeper permet de faire la découverte et l’élection de nœuds. Nous avons également un master et des slaves :
			**Le master contient les frameworks.

	** Le ~~master contient~~ les ~~frameworks~~.		**Les slaves exécutent les tâches.
	** Les slaves exécutent les tâches.

	Afin de faire fonctionner des outils dessus, une API (Java, Scala, Go et autres) permet de faire l’implémentation adéquate. Certains de ces outils proposent déjà des implémentations (Elasticsearch, Hadoop, etc).		Afin de faire fonctionner des outils dessus, une API (Java, Scala, Go et autres) permet de faire l’implémentation adéquate. Certains de ces outils proposent déjà des implémentations (Elasticsearch, Hadoop, etc).

Alan.Damotte: /* Comment ça marche ? */

2015-11-05T07:06:19Z

Comment ça marche ?

← Older revision		Revision as of 07:06, 5 November 2015
Line 77:		Line 77:
	[[File:Mesos.jpeg\|600px\|thumb\|center\|Fig. 1 : Les différents composants d'Apache Mesos]]		[[File:Mesos.jpeg\|600px\|thumb\|center\|Fig. 1 : Les différents composants d'Apache Mesos]]

	*Démon Master : Tourne sur un noeud master et gère les démons esclaves		* Démon Master : Tourne sur un noeud master et gère les démons esclaves

	*Démon esclave : Tourne sur un noeud esclave dépendant d'un noeud master et exécute des tâches appartenant aux frameworks		* Démon esclave : Tourne sur un noeud esclave dépendant d'un noeud master et exécute des tâches appartenant aux frameworks

	*Les frameworks (aussi connus sous le nom d'application Mesos) sont des applications possédant deux composants :		* Les frameworks (aussi connus sous le nom d'application Mesos) sont des applications possédant deux composants :

	** un scheduler : pour attribuer les ressources,		** Un scheduler : pour attribuer les ressources,
	** un executor : pour lancer l’exécution des tâches.		** Un executor : pour lancer l’exécution des tâches.

	*Offre : Une liste de noeud esclave pour lequels des ressources CPU et mémoires sont disponibles. Chaque noeud escalve envoie des offres au Master, et ce dernier fournit des offres aux frameworks enregistrés.		* Offre : Une liste de noeud esclave pour lequels des ressources CPU et mémoires sont disponibles. Chaque noeud escalve envoie des offres au Master, et ce dernier fournit des offres aux frameworks enregistrés.

	*Tâche : une unité de travail qui est prévue par un framework et qui est exécuté sur un noeud esclave. Une tâche peut être n'importe quoi : de la commande bash ou du script, à la requête SQL, ou même encore un "Hadoop job".		* Tâche : une unité de travail qui est prévue par un framework et qui est exécuté sur un noeud esclave. Une tâche peut être n'importe quoi : de la commande bash ou du script, à la requête SQL, ou même encore un "Hadoop job".

	*Zookeeper permet de faire la découverte et l’élection de nœuds. Nous avons également un master et des slaves :		* Zookeeper permet de faire la découverte et l’élection de nœuds. Nous avons également un master et des slaves :

	** Le master contient les frameworks.		** Le master contient les frameworks.