EA2013/mapreduce - Revision history

Marion.Dalle: /* Synthèse */

2013-11-22T10:44:16Z

Synthèse

← Older revision		Revision as of 10:44, 22 November 2013
Line 88:		Line 88:
	* Traduction automatique		* Traduction automatique

	==Démonstration==		=Démonstration=

	Voici une petite démonstration donné en exemple dans le framework d'apache Hadoop. Elle consiste a faire un grep sur tous les fichiers de configuration du framework pour retrouver les mots commençant par « dfs ».		Voici une petite démonstration donné en exemple dans le framework d'apache Hadoop. Elle consiste a faire un grep sur tous les fichiers de configuration du framework pour retrouver les mots commençant par « dfs ».
Line 111:		Line 111:
	*On termine en arrêtant le démon		*On termine en arrêtant le démon
	** $bin/stop-all.sh		** $bin/stop-all.sh

	==Démonstration==

	=Sources=		=Sources=

Marion.Dalle: /* MapReduce */

2013-11-22T10:43:29Z

MapReduce

@@ Line 21: / Line 21: @@
 ==MapReduce==
 MapReduce est un patron d’architecture de développement informatique pour la calcul parallèle et distribué de données importante s. Il a été créé en 2004 et rendu célèbre par Google. D'autres site connu l'utilise afin de pouvoir utiliser leur donnée surtout a des fin commerciale. C'est le cas de Facebook et d'Amazon. Pour utiliser le MapReduce et traiter les données il faut déposer ces dernières sur un cluster qui permettra d'effectuer des calculs en parallèles.
@@ Line 26: / Line 27: @@
 === Les deux fonctions de bases Map() et Reduce() ===
 Le MapReduce est comme son nom l'indique basé sur les deux fonctions Map() et Reduce().
 ====Map()====
 Elle prend en paramètre des données, les découpes et renvoie une liste de doublons contenant des données rattachées à une clé. Elle est appeler de manière recursive sur chaque élément de la liste alors obtenue jusqu'à obtenir des listes de données où la taille a été assez réduite pour être traité par la fonction Reduce(). Chaque bloc ainsi obtenue est de la même tailles que les autres.
@@ Line 42: / Line 45: @@
 ===Organisation du travail en nœuds de calcul===
 La répartition du travail est contrôlé par le maître. Ce dernier fait en sorte que chaque nœuds de calcul libre fassent une fonction en parallèles des autres quand cela est possible. Ce qui permet d'optimiser le temps de calcul. Chaque fonction réalisant un travail indépendant, il n'y a pas de difficulté à distribué les données entre les nœuds. Ce qui nos vaut que dès qu'un nœud a fini son travail le mâitre lui en affecte un autre.
@@ Line 47: / Line 51: @@
 ===Détecter et réparer les pannes===
 Le système est organiser de la manière suivante :
 [[File:Archi.jpg|centre|400px|alt=Architecture du système|Architecture du système]]
 Comme on peut le constater le maître et dupliquer afin d'assurer que si il tombe en panne un autre puisse prendre sont relai et qu'on ne perde pas la vue d'ensemble du système qui nous obligerai alors à recommencer tout le travail.
 ==Démonstration==

Marion.Dalle: /* MapReduce */

2013-11-22T10:41:42Z

MapReduce

← Older revision		Revision as of 10:41, 22 November 2013
Line 32:		Line 32:
	Ce qui nous donne à peu près le schéma suivant :		Ce qui nous donne à peu près le schéma suivant :

	[[File:map.jpg~~\|vignette~~\|centre\|400px\|alt=Recursivité des Map\|Première partie du MapReduce : Map()]]		[[File:map.jpg\|centre\|400px\|alt=Recursivité des Map\|Première partie du MapReduce : Map()]]

	====Reduce()====		====Reduce()====
Line 39:		Line 39:
	On a alors le schéma suivant, où les boites oranges sont les Reduce() :		On a alors le schéma suivant, où les boites oranges sont les Reduce() :

	[[File:MapRed.jpg~~\|vignette~~\|centre\|400px\|alt=MapReduce\|MapReduce]]		[[File:MapRed.jpg\|centre\|400px\|alt=MapReduce\|MapReduce]]

	===Organisation du travail en nœuds de calcul===		===Organisation du travail en nœuds de calcul===
Line 48:		Line 48:
	===Détecter et réparer les pannes===		===Détecter et réparer les pannes===
	Le système est organiser de la manière suivante :		Le système est organiser de la manière suivante :
	[[File:Archi.jpg]]		[[File:Archi.jpg\|centre\|400px\|alt=Architecture du système\|Architecture du système]]

	Comme on peut le constater le maître et dupliquer afin d'assurer que si il tombe en panne un autre puisse prendre sont relai et qu'on ne perde pas la vue d'ensemble du système qui nous obligerai alors à recommencer tout le travail.		Comme on peut le constater le maître et dupliquer afin d'assurer que si il tombe en panne un autre puisse prendre sont relai et qu'on ne perde pas la vue d'ensemble du système qui nous obligerai alors à recommencer tout le travail.

Marion.Dalle: /* Détecter et réparer les pannes */

2013-11-22T09:47:18Z

Détecter et réparer les pannes

← Older revision		Revision as of 09:47, 22 November 2013
Line 48:		Line 48:
	===Détecter et réparer les pannes===		===Détecter et réparer les pannes===
	Le système est organiser de la manière suivante :		Le système est organiser de la manière suivante :
			[[File:Archi.jpg]]

	Comme on peut le constater le maître et dupliquer afin d'assurer que si il tombe en panne un autre puisse prendre sont relai et qu'on ne perde pas la vue d'ensemble du système qui nous obligerai alors à recommencer tout le travail.		Comme on peut le constater le maître et dupliquer afin d'assurer que si il tombe en panne un autre puisse prendre sont relai et qu'on ne perde pas la vue d'ensemble du système qui nous obligerai alors à recommencer tout le travail.

	==Démonstration==		==Démonstration==

Marion.Dalle: /* Reduce() */

2013-11-22T09:46:45Z

Reduce()

← Older revision		Revision as of 09:46, 22 November 2013
Line 37:		Line 37:
	Prend en paramètre le résultat final de la fonction Map() et une clé qui lui indique quelles données regrouper. Il traite les données alors reçu en paramètre et rend une liste en fonction de la clé demandée. Il permet aussi de regrouper les résultats en un seul et même résultat final.		Prend en paramètre le résultat final de la fonction Map() et une clé qui lui indique quelles données regrouper. Il traite les données alors reçu en paramètre et rend une liste en fonction de la clé demandée. Il permet aussi de regrouper les résultats en un seul et même résultat final.

	On a alors le schéma suivant :		On a alors le schéma suivant, où les boites oranges sont les Reduce() :

	[[File:MapRed.jpg\|vignette\|centre\|400px\|alt=MapReduce\|MapReduce]]		[[File:MapRed.jpg\|vignette\|centre\|400px\|alt=MapReduce\|MapReduce]]
	Les boites oranges sont les Reduce()

	===Organisation du travail en nœuds de calcul===		===Organisation du travail en nœuds de calcul===

Marion.Dalle: /* Les deux fonctions de bases Map() et Reduce() */

2013-11-22T09:46:01Z

Les deux fonctions de bases Map() et Reduce()

← Older revision		Revision as of 09:46, 22 November 2013
Line 32:		Line 32:
	Ce qui nous donne à peu près le schéma suivant :		Ce qui nous donne à peu près le schéma suivant :

	[[File:map.jpg\|vignette\|centre\|~~200px~~\|alt=Recursivité des Map\|Première partie du MapReduce : Map()]]		[[File:map.jpg\|vignette\|centre\|400px\|alt=Recursivité des Map\|Première partie du MapReduce : Map()]]

	====Reduce()====		====Reduce()====
Line 39:		Line 39:
	On a alors le schéma suivant :		On a alors le schéma suivant :

	[[File:MapRed.jpg\|vignette\|centre\|~~200px~~\|alt=MapReduce\|MapReduce]]		[[File:MapRed.jpg\|vignette\|centre\|400px\|alt=MapReduce\|MapReduce]]
	Les boites oranges sont les Reduce()		Les boites oranges sont les Reduce()

Marion.Dalle: /* Les deux fonctions de bases Map() et Reduce() */

2013-11-22T09:44:50Z

Les deux fonctions de bases Map() et Reduce()

← Older revision		Revision as of 09:44, 22 November 2013
Line 32:		Line 32:
	Ce qui nous donne à peu près le schéma suivant :		Ce qui nous donne à peu près le schéma suivant :

			[[File:map.jpg\|vignette\|centre\|200px\|alt=Recursivité des Map\|Première partie du MapReduce : Map()]]
	[[File:map.jpg]]

	====Reduce()====		====Reduce()====
Line 39:		Line 39:
	On a alors le schéma suivant :		On a alors le schéma suivant :

	[[File:MapRed.jpg]]		[[File:MapRed.jpg\|vignette\|centre\|200px\|alt=MapReduce\|MapReduce]]
	Les boites oranges sont les Reduce()		Les boites oranges sont les Reduce()

Marion.Dalle: /* Les deux fonctions de bases Map() et Reduce() */

2013-11-22T09:40:31Z

Les deux fonctions de bases Map() et Reduce()

← Older revision		Revision as of 09:40, 22 November 2013
Line 28:		Line 28:
	Le MapReduce est comme son nom l'indique basé sur les deux fonctions Map() et Reduce().		Le MapReduce est comme son nom l'indique basé sur les deux fonctions Map() et Reduce().
	====Map()====		====Map()====
	Elle prend en paramètre des données, les découpes et renvoie une liste de doublons contenant des données rattachées à une clé. Elle est appeler de manière recursive sur chaque élément de la liste alors obtenue jusqu'à obtenir des listes de données où la taille a été assez réduite pour être traité par la fonction Reduce(). Chaque bloc ainsi obtenue est de la même tailles que les autres. ~~Ce qui nous donne à peu près le schéma suivant :~~		Elle prend en paramètre des données, les découpes et renvoie une liste de doublons contenant des données rattachées à une clé. Elle est appeler de manière recursive sur chaque élément de la liste alors obtenue jusqu'à obtenir des listes de données où la taille a été assez réduite pour être traité par la fonction Reduce(). Chaque bloc ainsi obtenue est de la même tailles que les autres.

			Ce qui nous donne à peu près le schéma suivant :

			[[File:map.jpg]]

	====Reduce()====		====Reduce()====
	Prend en paramètre le résultat final de la fonction Map() et une clé qui lui indique quelles données regrouper. Il traite les données alors reçu en paramètre et rend une liste en fonction de la clé demandée. Il permet aussi de regrouper les résultats en un seul et même résultat final. ~~On a alors le schéma suivant :~~		Prend en paramètre le résultat final de la fonction Map() et une clé qui lui indique quelles données regrouper. Il traite les données alors reçu en paramètre et rend une liste en fonction de la clé demandée. Il permet aussi de regrouper les résultats en un seul et même résultat final.

			On a alors le schéma suivant :

			[[File:MapRed.jpg]]
	Les boites oranges sont les Reduce()		Les boites oranges sont les Reduce()

Marion.Dalle at 09:38, 22 November 2013

2013-11-22T09:38:47Z

← Older revision		Revision as of 09:38, 22 November 2013
Line 6:		Line 6:

	=Abstract=		=Abstract=
	MapReduce is a programming model for ~~Big~~ ~~Data.~~ ~~Users specify the computation in terms of a map and a reduce function~~. The computation is parallelize across large-scale clusters of machines. ~~MapReduce~~ ~~has~~ a ~~fault~~ ~~detection~~ ~~and~~ ~~know~~ ~~handle~~ ~~its~~. This paradigm was popularize by Google.		MapReduce is a programming model for distributed large datas. The computation is parallelize across large-scale clusters of machines. It take place in the univers of Big Data. This paradigm was popularize by Google. It uses by great webs sites in majority for commercial purpose like Facebook and Amazon. Users specify the computation in terms of a map and a reduce function.
			It is based on the master slave model, with master replication to conserve datas. That gives it a fault detection and know handle its.
	==Keywords==		==Keywords==
	Big Data, data mining, programming model		Big Data, data mining, programming model

	=Résumé=		=Résumé=
	MapReduce est un patron d’architecture de développement informatique pour le calcul parallèle et distribué de données importantes. Il fait partie des traitements célèbre de l'univers du Big Data. Il a été popularisé par Google et est utilisé par d'autre site très ~~célébre~~ comme ~~amazon~~ et Facebook. Il permet de traiter un volume de données très importants. Son implémentation est faites de tel sorte qu'il ~~detecte~~ les pannes et sait les contourner.		MapReduce est un patron d’architecture de développement informatique pour le calcul parallèle et distribué de données importantes. Il fait partie des traitements célèbre de l'univers du Big Data. Il a été popularisé par Google et est utilisé par d'autre site très célèbre comme Amazon et Facebook. Il permet de traiter un volume de données très importants. Son implémentation est faites de tel sorte qu'il détecte les pannes et sait les contourner. Il est basé sur le modèle de maître esclaves avec une réplication du maître, ce qui permet d'assurer la pérennité de nos données. Et il fonctionne avec seulement deux fonctions : Map et Reduce.
	==Mots-clés==		==Mots-clés==
	Big Data, Data mining, Patron d'architecture, traitement de donnée		Big Data, Data mining, Patron d'architecture, traitement de donnée

	=Synthèse=		=Synthèse=
			==Big Data==
			Depuis quelques années, nous entendons parler du Big Data. Ce nouveau domaine est dû à l'explosion des données numériques. En effet, nous pouvons voir que lorsque Niels Amstrong est aller sur la lune il lui a fallu 32KB de mémoire (1969); aujourd'hui mon ordinateur personnel contient 8GB de RAM. Un autre exemple est celui des récoltes de données de Google. En deux ans, Google s'est mis à récolter quotidiennement ce qu'il récoltait en plus d'un mois. Il a donc fallu s’intéresser au traitement de ces dernières. Les bases de données n’étant plus assez performantes pour de tel quantité de données, de nouvel méthode ont été mise au point. C'est dans ce contexte que le MapReduce a été créé.

			==MapReduce==
			MapReduce est un patron d’architecture de développement informatique pour la calcul parallèle et distribué de données importante s. Il a été créé en 2004 et rendu célèbre par Google. D'autres site connu l'utilise afin de pouvoir utiliser leur donnée surtout a des fin commerciale. C'est le cas de Facebook et d'Amazon. Pour utiliser le MapReduce et traiter les données il faut déposer ces dernières sur un cluster qui permettra d'effectuer des calculs en parallèles.

			Afin d'utiliser MapReduce, il y a des framework conçues pour son implémentation. J'ai pris le choix de m’intéresser à celui conçue par apache, Hadoop. Apache a aussi créé Hive qui un système de gestion d'entrepôts de données (datawarehouse), utilisable avec Hadoop. Ainsi que Mahout qui est un canevas de data mining. Ces algorithmes de regroupement (clustering), classification et filtrage collaboratif sont implémentés au dessus d'Hadoop et utilise le modèle MapReduce.

			=== Les deux fonctions de bases Map() et Reduce() ===
			Le MapReduce est comme son nom l'indique basé sur les deux fonctions Map() et Reduce().
			====Map()====
			Elle prend en paramètre des données, les découpes et renvoie une liste de doublons contenant des données rattachées à une clé. Elle est appeler de manière recursive sur chaque élément de la liste alors obtenue jusqu'à obtenir des listes de données où la taille a été assez réduite pour être traité par la fonction Reduce(). Chaque bloc ainsi obtenue est de la même tailles que les autres. Ce qui nous donne à peu près le schéma suivant :
			====Reduce()====
			Prend en paramètre le résultat final de la fonction Map() et une clé qui lui indique quelles données regrouper. Il traite les données alors reçu en paramètre et rend une liste en fonction de la clé demandée. Il permet aussi de regrouper les résultats en un seul et même résultat final. On a alors le schéma suivant :
			Les boites oranges sont les Reduce()

			===Organisation du travail en nœuds de calcul===
			La répartition du travail est contrôlé par le maître. Ce dernier fait en sorte que chaque nœuds de calcul libre fassent une fonction en parallèles des autres quand cela est possible. Ce qui permet d'optimiser le temps de calcul. Chaque fonction réalisant un travail indépendant, il n'y a pas de difficulté à distribué les données entre les nœuds. Ce qui nos vaut que dès qu'un nœud a fini son travail le mâitre lui en affecte un autre.

			Il est important de préciser que les fonctions sont bloquantes, c'est à dire que quand on débute une fonction il faut la finir dans sa totalité avant de pouvoir passer à un autre travail. Il n'est donc pas possible d'assigner un nouveau travail a un nœud en cours de traitements.

			===Détecter et réparer les pannes===
			Le système est organiser de la manière suivante :

			Comme on peut le constater le maître et dupliquer afin d'assurer que si il tombe en panne un autre puisse prendre sont relai et qu'on ne perde pas la vue d'ensemble du système qui nous obligerai alors à recommencer tout le travail.

			==Démonstration==

	=Sources=		=Sources=

Marion.Dalle: /* Résumé */

2013-11-17T11:18:26Z

Résumé

← Older revision		Revision as of 11:18, 17 November 2013
Line 11:		Line 11:

	=Résumé=		=Résumé=
			MapReduce est un patron d’architecture de développement informatique pour le calcul parallèle et distribué de données importantes. Il fait partie des traitements célèbre de l'univers du Big Data. Il a été popularisé par Google et est utilisé par d'autre site très célébre comme amazon et Facebook. Il permet de traiter un volume de données très importants. Son implémentation est faites de tel sorte qu'il detecte les pannes et sait les contourner.
	==Mots-clés==		==Mots-clés==
			Big Data, Data mining, Patron d'architecture, traitement de donnée

	=Synthèse=		=Synthèse=