VT2019 Hadoop MapReduce: Difference between revisions
No edit summary |
|||
| Line 7: | Line 7: | ||
Hadoop, whose first version appeared in 2006, is a technology widely used today in the field of big data. It is a framework that groups several modules that are: Hadoop Common, Hadoop Distributed File System, Hadoop Yarn, and Hadoop MapReduce. For this VT2019, we will focus on this last module which is MapReduce |
Hadoop, whose first version appeared in 2006, is a technology widely used today in the field of big data. It is a framework that groups several modules that are: Hadoop Common, Hadoop Distributed File System, Hadoop Yarn, and Hadoop MapReduce. For this VT2019, we will focus on this last module which is MapReduce |
||
=Fonctionnement= |
|||
==Les rôles== |
|||
Voici les principaux acteurs que nous pouvons retrouver dans les algorithmes de MapReduce: |
Voici les principaux acteurs que nous pouvons retrouver dans les algorithmes de MapReduce: |
||
| Line 15: | Line 16: | ||
* '''Worker: ''' est la machine qui fait les tâche map et reduce. |
* '''Worker: ''' est la machine qui fait les tâche map et reduce. |
||
==Le workflow== |
|||
[[File:mapreduce.jpg]] |
|||
=Cas d'utilisations= |
=Cas d'utilisations= |
||
Revision as of 13:54, 8 December 2019
Hadoop, dont la première version est apparue en 2006, est une technologie très utilisée aujourd'hui dans le domaine du big data. C'est un framework qui regroupe plusieurs modules qui sont : Hadoop Common, Hadoop Distributed File System, Hadoop Yarn, et Hadoop MapReduce. Pour cet VT2019, nous allons surtout nous intéresser à ce dernier module qui est MapReduce File:Hadoop logo new.svg
Abstract
Pourquoi utiliser MapReduce
Hadoop, whose first version appeared in 2006, is a technology widely used today in the field of big data. It is a framework that groups several modules that are: Hadoop Common, Hadoop Distributed File System, Hadoop Yarn, and Hadoop MapReduce. For this VT2019, we will focus on this last module which is MapReduce
Fonctionnement
Les rôles
Voici les principaux acteurs que nous pouvons retrouver dans les algorithmes de MapReduce:
- User: qui s’exécute sur une machine client, est responsable d’initialiser le job puis de le soumettre pour exécution.
- Master : est responsable de mapreduce, il affecte les travaux.
- Worker: est la machine qui fait les tâche map et reduce.
Le workflow
Cas d'utilisations
La réalité augmentée est utilisée aujourd'hui dans de nombreux domaines, notamment à des fins professionnelles.