VT2019 Hadoop MapReduce - Revision history

Andriamahatratra.Mandresy: /* Veille Technologique 2019 */

2019-12-08T17:27:16Z

Veille Technologique 2019

← Older revision		Revision as of 17:27, 8 December 2019
Line 52:		Line 52:
	* Année : [[VT2019\|VT2019]]		* Année : [[VT2019\|VT2019]]
	* Sujet : Hadoop, MapReduce		* Sujet : Hadoop, MapReduce
	* Slides :[https://docs.google.com/presentation/d/1rnQAACXoWcCMSLj3QQBssma6tFt3ETM0PnCwJqstqIE/edit?usp=sharing Slides]] ]		* Slides : [https://docs.google.com/presentation/d/1rnQAACXoWcCMSLj3QQBssma6tFt3ETM0PnCwJqstqIE/edit?usp=sharing Slides]
	* Démonstration : []		* Démonstration : []
	* Auteurs : RAKOTOARIMALALA Mandresy Andriamahatratra, ZHENG Jian		* Auteurs : RAKOTOARIMALALA Mandresy Andriamahatratra, ZHENG Jian

Andriamahatratra.Mandresy: /* Veille Technologique 2019 */

2019-12-08T17:27:02Z

Veille Technologique 2019

← Older revision		Revision as of 17:27, 8 December 2019
Line 52:		Line 52:
	* Année : [[VT2019\|VT2019]]		* Année : [[VT2019\|VT2019]]
	* Sujet : Hadoop, MapReduce		* Sujet : Hadoop, MapReduce
	* Slides :[https://docs.google.com/presentation/d/1rnQAACXoWcCMSLj3QQBssma6tFt3ETM0PnCwJqstqIE/edit?usp=sharing Slides]]]		* Slides :[https://docs.google.com/presentation/d/1rnQAACXoWcCMSLj3QQBssma6tFt3ETM0PnCwJqstqIE/edit?usp=sharing Slides]] ]
	* Démonstration : []		* Démonstration : []
	* Auteurs : RAKOTOARIMALALA Mandresy Andriamahatratra, ZHENG Jian		* Auteurs : RAKOTOARIMALALA Mandresy Andriamahatratra, ZHENG Jian

Andriamahatratra.Mandresy: /* Veille Technologique 2019 */

2019-12-08T17:26:49Z

Veille Technologique 2019

← Older revision		Revision as of 17:26, 8 December 2019
Line 52:		Line 52:
	* Année : [[VT2019\|VT2019]]		* Année : [[VT2019\|VT2019]]
	* Sujet : Hadoop, MapReduce		* Sujet : Hadoop, MapReduce
			* Slides :[https://docs.google.com/presentation/d/1rnQAACXoWcCMSLj3QQBssma6tFt3ETM0PnCwJqstqIE/edit?usp=sharing Slides]]]
	* Slides : [[Media:\|MPIpdf]]
	* Démonstration : []		* Démonstration : []
	* Auteurs : RAKOTOARIMALALA Mandresy Andriamahatratra, ZHENG Jian		* Auteurs : RAKOTOARIMALALA Mandresy Andriamahatratra, ZHENG Jian

Andriamahatratra.Mandresy at 17:24, 8 December 2019

2019-12-08T17:24:52Z

← Older revision		Revision as of 17:24, 8 December 2019
Line 1:		Line 1:
	Hadoop, dont la première version est apparue en 2006, est une technologie très utilisée aujourd'hui dans le domaine du big data. C'est un framework qui regroupe plusieurs modules qui sont : Hadoop Common, Hadoop Distributed File System, Hadoop Yarn, et Hadoop MapReduce. Pour cet VT2019, nous allons surtout nous intéresser à ce dernier module qui est MapReduce. Cependant il reste dependant d'autres module d'hadoop (en l'occurence HDFS), par conséquent nous allons toutefois faire une brève description d'hadoop en général [[File:logohad.png]]		Hadoop, dont la première version est apparue en 2006, est une technologie très utilisée aujourd'hui dans le domaine du big data. C'est un framework qui regroupe plusieurs modules qui sont : Hadoop Common, Hadoop Distributed File System, Hadoop Yarn, et Hadoop MapReduce. Pour cet VT2019, nous allons surtout nous intéresser à ce dernier module qui est MapReduce. Cependant il reste dependant d'autres module d'hadoop (en l'occurence HDFS), par conséquent nous allons toutefois faire une brève description d'hadoop en général [[File:logohad.png\|thumb\|right]]

Andriamahatratra.Mandresy at 17:23, 8 December 2019

2019-12-08T17:23:55Z

← Older revision		Revision as of 17:23, 8 December 2019
Line 1:		Line 1:
	Hadoop, dont la première version est apparue en 2006, est une technologie très utilisée aujourd'hui dans le domaine du big data. C'est un framework qui regroupe plusieurs modules qui sont : Hadoop Common, Hadoop Distributed File System, Hadoop Yarn, et Hadoop MapReduce. Pour cet VT2019, nous allons surtout nous intéresser à ce dernier module qui est MapReduce. Cependant il reste dependant d'autres module d'hadoop (en l'occurence HDFS), par conséquent nous allons toutefois faire une brève description d'hadoop en général [[File:~~logo~~.~~jpg\|thumb\|right~~]]		Hadoop, dont la première version est apparue en 2006, est une technologie très utilisée aujourd'hui dans le domaine du big data. C'est un framework qui regroupe plusieurs modules qui sont : Hadoop Common, Hadoop Distributed File System, Hadoop Yarn, et Hadoop MapReduce. Pour cet VT2019, nous allons surtout nous intéresser à ce dernier module qui est MapReduce. Cependant il reste dependant d'autres module d'hadoop (en l'occurence HDFS), par conséquent nous allons toutefois faire une brève description d'hadoop en général [[File:logohad.png]]

Andriamahatratra.Mandresy at 17:22, 8 December 2019

2019-12-08T17:22:00Z

← Older revision		Revision as of 17:22, 8 December 2019
Line 48:		Line 48:
	*https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html		*https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
	*https://fr.wikipedia.org/wiki/Hadoop		*https://fr.wikipedia.org/wiki/Hadoop

			=Veille Technologique 2019=
			* Année : [[VT2019\|VT2019]]
			* Sujet : Hadoop, MapReduce
			* Slides : [[Media:\|MPIpdf]]
			* Démonstration : []
			* Auteurs : RAKOTOARIMALALA Mandresy Andriamahatratra, ZHENG Jian

Andriamahatratra.Mandresy: /* Bibliographie */

2019-12-08T17:04:53Z

Bibliographie

← Older revision		Revision as of 17:04, 8 December 2019
Line 45:		Line 45:

	=Bibliographie=		=Bibliographie=
			*https://pdos.csail.mit.edu/6.824/papers/mapreduce.pdf
			*https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
			*https://fr.wikipedia.org/wiki/Hadoop

Andriamahatratra.Mandresy at 16:54, 8 December 2019

2019-12-08T16:54:23Z

← Older revision		Revision as of 16:54, 8 December 2019
Line 43:		Line 43:

	Par ailleurs, par rapport à d'autres technologies du même type présentes sur le marché comme Teradata par exemple, Hadoop se distingue du fait qu'il soit open-source.		Par ailleurs, par rapport à d'autres technologies du même type présentes sur le marché comme Teradata par exemple, Hadoop se distingue du fait qu'il soit open-source.

			=Bibliographie=

Andriamahatratra.Mandresy: /* Avantages & Incovenients */

2019-12-08T16:51:09Z

Avantages & Incovenients

← Older revision		Revision as of 16:51, 8 December 2019
Line 41:		Line 41:
	La tolérance aux fautes vient du fait que MapReduce s'appuie sur HDFS - qui elle-même possède un système de replication des etats et des blocs de données entre les DataNode). Quand un noeud meurt, on peut facilement basculer sur un autre noeud.		La tolérance aux fautes vient du fait que MapReduce s'appuie sur HDFS - qui elle-même possède un système de replication des etats et des blocs de données entre les DataNode). Quand un noeud meurt, on peut facilement basculer sur un autre noeud.
	[[File:hdfs_archi.png\|350px\|thumb\|center]]		[[File:hdfs_archi.png\|350px\|thumb\|center]]

			Par ailleurs, par rapport à d'autres technologies du même type présentes sur le marché comme Teradata par exemple, Hadoop se distingue du fait qu'il soit open-source.

Andriamahatratra.Mandresy: /* Avantages & Incovenients */

2019-12-08T16:39:33Z

Avantages & Incovenients

← Older revision		Revision as of 16:39, 8 December 2019
Line 39:		Line 39:
	Les principaux avantage d'Hadoop sont sa haute scalabitilité et sa tolérance aux erreurs.		Les principaux avantage d'Hadoop sont sa haute scalabitilité et sa tolérance aux erreurs.
	La haute scalabité vient du fait que tout est conçu pour fonctionner dans un contexte distribué. On peut mettre autant de machine et de cluster que l'on veut, cela ne va pas impacter le traitement des données par mapreduce.		La haute scalabité vient du fait que tout est conçu pour fonctionner dans un contexte distribué. On peut mettre autant de machine et de cluster que l'on veut, cela ne va pas impacter le traitement des données par mapreduce.
	La tolérance aux fautes vient du fait que MapReduce s'appuie sur HDFS - qui elle-même possède un ~~systèle~~ de replication des etats et des blocs de données entre les DataNode). Quand un noeud meurt, on peut facilement basculer sur un autre noeud.		La tolérance aux fautes vient du fait que MapReduce s'appuie sur HDFS - qui elle-même possède un système de replication des etats et des blocs de données entre les DataNode). Quand un noeud meurt, on peut facilement basculer sur un autre noeud.
	[[File:hdfs_archi.png\|350px\|thumb\|center]]		[[File:hdfs_archi.png\|350px\|thumb\|center]]