Apache Hadoop
Jump to navigation
Jump to search
- Enseignant: Didier Donsez et Georges-Pierre Bonneau
- UE/Module: EAR en RICM5 option S&R
- Eleve: Mathieu Dewulf
- mail: Mathieu.Dewulf@e.ujf-grenoble.fr
Description
Apache Hadoop est un projet Open Source géré par Apache et qui est basé sur MapReduce et Google File System. Il a été crée en 2009 par Doug Cutting.
Il permet d'effectuer des algorithmes utilisant le principe de MapReduce pour gérer de grande quantité de données, de pouvoir superviser les différents serveurs et ressources utilisés.
Hadoop gère également la tolérance aux pannes, c'est-à-dire qu’il réaffecte les tâches de manière transparente en cas de panne d’un serveur.
Les données sources, intermédiaires ou résultats sont stockées dans un système de fichiers (HDFS, Amazon S3, ...) supportant la réplication.
Plusieurs autres canevas utilisent les fonctionnalités d'Apache Hadoop :
- Apache Hive un système de gestion d'entrepôts de données (datawarehouse)
- Apache Mahout un canevas de data mining
- ...