SQL-on-Hadoop - Revision history

Kai.Guo: /* Notes et Références */

2015-10-22T21:03:59Z

Notes et Références

← Older revision		Revision as of 21:03, 22 October 2015
Line 124:		Line 124:

	'''Hadoop''', https://fr.wikipedia.org/wiki/Hadoop#Hadoop_Distributed_File_System.		'''Hadoop''', https://fr.wikipedia.org/wiki/Hadoop#Hadoop_Distributed_File_System.

	'''SQLonHadoop: Full Circle Back to SharedNothing Database Architectures''' by Avrilia Floratou, Umar Farooq Minhas, Fatma Özcan from '''IBM Almaden Research Center'''.		'''SQLonHadoop: Full Circle Back to SharedNothing Database Architectures''' by Avrilia Floratou, Umar Farooq Minhas, Fatma Özcan from '''IBM Almaden Research Center'''.

	'''MapReduce''', https://fr.wikipedia.org/wiki/MapReduce.		'''MapReduce''', https://fr.wikipedia.org/wiki/MapReduce.

	'''MapReduce Tutorial''', https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html .		'''MapReduce Tutorial''', https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html .

	'''Drill Introduction''', https://drill.apache.org/docs/drill-introduction/ .		'''Drill Introduction''', https://drill.apache.org/docs/drill-introduction/ .

Kai.Guo: /* Notes et Références */

2015-10-22T21:03:33Z

Notes et Références

← Older revision		Revision as of 21:03, 22 October 2015
Line 122:		Line 122:

	=Notes et Références=		=Notes et Références=

			'''Hadoop''', https://fr.wikipedia.org/wiki/Hadoop#Hadoop_Distributed_File_System.
			'''SQLonHadoop: Full Circle Back to SharedNothing Database Architectures''' by Avrilia Floratou, Umar Farooq Minhas, Fatma Özcan from '''IBM Almaden Research Center'''.
			'''MapReduce''', https://fr.wikipedia.org/wiki/MapReduce.
			'''MapReduce Tutorial''', https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html .
			'''Drill Introduction''', https://drill.apache.org/docs/drill-introduction/ .

Kai.Guo: /* Conclusion */

2015-10-22T20:55:51Z

Conclusion

← Older revision		Revision as of 20:55, 22 October 2015
Line 114:		Line 114:

	=Conclusion=		=Conclusion=

	L'intérêt accru pour SQL-sur-Hadoop a alimenté le développement de nombreux moteurs SQL pour les données Hadoop. Ce document est une introduction générale de SQL-on-Hadoop référé aux plusieurs sites web et documents sur Internet pour vous donner des connaissances primaires.		L'intérêt accru pour SQL-sur-Hadoop a alimenté le développement de nombreux moteurs SQL pour les données Hadoop. Ce document est une introduction générale de SQL-on-Hadoop référé aux plusieurs sites web et documents sur Internet pour vous donner des connaissances primaires.

	Afin de pouvoir se rendre familiarisé avec les fondements de ce domaine, il faudrait tout d'abord se faire connaitre les défaillances ou autrement "les défis" que les nouvelles technologies posent et poseront aux systèmes existants au niveau d'entreprise. Avec l'arrivée approchant de l'époque de "big data" et "cloud", le stockage (ainsi que la gestion et l'utilisation) de données devient de plus en plus laborieux par rapport au développement de technologie traditionnel. Les données utiles des entreprises sont engendrées exponentiellement de provenance divers et de types hétérogènes. Pour répondre à ces challenges de plus en plus rudes, le système de management de base de données relationnel(RDBMS en anglais) n'est plus adaptable. Cependant, Hadoop-un nouveau modèle de management de fichier naissait au moment historique opportun par Apache mais avec la naissance de Google. Progressivement, certains frameworks en ont leur naissances. Comme la dominance de SQL ou pseudo-SQL dans tous les types de base de données relationnel ou non-relationnel, la technologie SQL-on-Hadoop se faisait dévelopé par plusieurs entreprises excellentes au fur et au mesure. Quel que soit le métier informatique que vous entreprendrez, cette technologie vous accompagnera de toute façon dans la futur.		Afin de pouvoir se rendre familiarisé avec les fondements de ce domaine, il faudrait tout d'abord se faire connaitre les défaillances ou autrement "les défis" que les nouvelles technologies posent et poseront aux systèmes existants au niveau d'entreprise. Avec l'arrivée approchant de l'époque de "big data" et "cloud", le stockage (ainsi que la gestion et l'utilisation) de données devient de plus en plus laborieux par rapport au développement de technologie traditionnel. Les données utiles des entreprises sont engendrées exponentiellement de provenance divers et de types hétérogènes. Pour répondre à ces challenges de plus en plus rudes, le système de management de base de données relationnel(RDBMS en anglais) n'est plus adaptable.

			Cependant, Hadoop-un nouveau modèle de management de fichier naissait au moment historique opportun par Apache mais avec la naissance de Google. Progressivement, certains frameworks en ont leur naissances. Comme la dominance de SQL ou pseudo-SQL dans tous les types de base de données relationnel ou non-relationnel, la technologie SQL-on-Hadoop se faisait dévelopé par plusieurs entreprises excellentes au fur et au mesure. Quel que soit le métier informatique que vous entreprendrez, cette technologie vous accompagnera de toute façon dans la futur.

	=Notes et Références=		=Notes et Références=

Kai.Guo: /* Conclusion */

2015-10-22T20:54:11Z

Conclusion

← Older revision		Revision as of 20:54, 22 October 2015
Line 114:		Line 114:

	=Conclusion=		=Conclusion=
			L'intérêt accru pour SQL-sur-Hadoop a alimenté le développement de nombreux moteurs SQL pour les données Hadoop. Ce document est une introduction générale de SQL-on-Hadoop référé aux plusieurs sites web et documents sur Internet pour vous donner des connaissances primaires.
			Afin de pouvoir se rendre familiarisé avec les fondements de ce domaine, il faudrait tout d'abord se faire connaitre les défaillances ou autrement "les défis" que les nouvelles technologies posent et poseront aux systèmes existants au niveau d'entreprise. Avec l'arrivée approchant de l'époque de "big data" et "cloud", le stockage (ainsi que la gestion et l'utilisation) de données devient de plus en plus laborieux par rapport au développement de technologie traditionnel. Les données utiles des entreprises sont engendrées exponentiellement de provenance divers et de types hétérogènes. Pour répondre à ces challenges de plus en plus rudes, le système de management de base de données relationnel(RDBMS en anglais) n'est plus adaptable. Cependant, Hadoop-un nouveau modèle de management de fichier naissait au moment historique opportun par Apache mais avec la naissance de Google. Progressivement, certains frameworks en ont leur naissances. Comme la dominance de SQL ou pseudo-SQL dans tous les types de base de données relationnel ou non-relationnel, la technologie SQL-on-Hadoop se faisait dévelopé par plusieurs entreprises excellentes au fur et au mesure. Quel que soit le métier informatique que vous entreprendrez, cette technologie vous accompagnera de toute façon dans la futur.

	=Notes et Références=		=Notes et Références=

Kai.Guo: /* Apache Drill */

2015-10-22T19:42:11Z

Apache Drill

← Older revision		Revision as of 19:42, 22 October 2015
Line 111:		Line 111:
	*Intégration avec Apache Hive (requêtes sur les tables et les vues de Hive, le soutien pour tous les formats de Hive fichiers et Hive UDF)		*Intégration avec Apache Hive (requêtes sur les tables et les vues de Hive, le soutien pour tous les formats de Hive fichiers et Hive UDF)
	*Intégration de BI / SQL en utilisant les pilotes standards de JDBC / ODBC		*Intégration de BI / SQL en utilisant les pilotes standards de JDBC / ODBC


			=Conclusion=

	=Notes et Références=		=Notes et Références=

Kai.Guo: /* Apache Drill */

2015-10-22T19:31:52Z

Apache Drill

← Older revision		Revision as of 19:31, 22 October 2015
Line 102:		Line 102:

	Drill est un moteur de requête SQL open-source Apache pour l'exploration Big Data. Drill est conçu à partir du sol pour appuyer l'analyse de haute performance sur les données semi-structurées et l'évolution rapide des applications provenant de Big Data modernes, tout en offrant la familiarité et de l'écosystème de la norme ANSI SQL, le langage de requête standard de l'industrie. Drill fournit intégration plug-and-play avec Apache Hive existant et les déploiements d'Apache Hbase.		Drill est un moteur de requête SQL open-source Apache pour l'exploration Big Data. Drill est conçu à partir du sol pour appuyer l'analyse de haute performance sur les données semi-structurées et l'évolution rapide des applications provenant de Big Data modernes, tout en offrant la familiarité et de l'écosystème de la norme ANSI SQL, le langage de requête standard de l'industrie. Drill fournit intégration plug-and-play avec Apache Hive existant et les déploiements d'Apache Hbase.

			Caractéristiques Principales d'Apache Drill sont:

			*Requêtes SQL à latence faible
			*Les requêtes dynamiques sur des données auto-déclarées dans les fichiers (tels que JSON, Parquet, texte) et des tables Hbase, sans nécessiter de définitions de métadonnées dans le Hive Metastore.
			*ANSI SQL
			*Support de données imbriqué
			*Intégration avec Apache Hive (requêtes sur les tables et les vues de Hive, le soutien pour tous les formats de Hive fichiers et Hive UDF)
			*Intégration de BI / SQL en utilisant les pilotes standards de JDBC / ODBC

	=Notes et Références=		=Notes et Références=

Kai.Guo: /* Cloudera Impala */

2015-10-22T19:24:52Z

Cloudera Impala

← Older revision		Revision as of 19:24, 22 October 2015
Line 97:		Line 97:
	Cloudera Impala est un autre projet open-source qui implémente les capacités de traitement de données SQL sur Hadoop, et a été inspiré par Dremel de Google. Impala supporte un langage de requête SQL-like qui est ainsi un sous-ensemble de SQL.		Cloudera Impala est un autre projet open-source qui implémente les capacités de traitement de données SQL sur Hadoop, et a été inspiré par Dremel de Google. Impala supporte un langage de requête SQL-like qui est ainsi un sous-ensemble de SQL.
	Par opposition à Hive, au lieu de compter sur un autre cadre, Impala fournit ses propres démons d'exécution longue sur chaque nœud du cluster et possède une architecture de base de données parallèle partagée rien. Le processus principal de démon '''impalad''' comprend le planificateur de requêtes, coordinateur de la requête, le moteur d'exécution de la requête. '''Impala''' supporte deux types d'algorithmes de jointure: partitionné et broadcast, qui sont respectivement similaires à la jointure re-partitionnée de Hive et la map-side jointure. '''Impala''' compile toutes les requêtes dans un plan d'exécution en pipeline.		Par opposition à Hive, au lieu de compter sur un autre cadre, Impala fournit ses propres démons d'exécution longue sur chaque nœud du cluster et possède une architecture de base de données parallèle partagée rien. Le processus principal de démon '''impalad''' comprend le planificateur de requêtes, coordinateur de la requête, le moteur d'exécution de la requête. '''Impala''' supporte deux types d'algorithmes de jointure: partitionné et broadcast, qui sont respectivement similaires à la jointure re-partitionnée de Hive et la map-side jointure. '''Impala''' compile toutes les requêtes dans un plan d'exécution en pipeline.


			===Apache Drill===

			Drill est un moteur de requête SQL open-source Apache pour l'exploration Big Data. Drill est conçu à partir du sol pour appuyer l'analyse de haute performance sur les données semi-structurées et l'évolution rapide des applications provenant de Big Data modernes, tout en offrant la familiarité et de l'écosystème de la norme ANSI SQL, le langage de requête standard de l'industrie. Drill fournit intégration plug-and-play avec Apache Hive existant et les déploiements d'Apache Hbase.

	=Notes et Références=		=Notes et Références=

Kai.Guo: /* Cloudera Impala */

2015-10-22T19:20:05Z

Cloudera Impala

← Older revision		Revision as of 19:20, 22 October 2015
Line 94:		Line 94:

	===Cloudera Impala ===		===Cloudera Impala ===

			Cloudera Impala est un autre projet open-source qui implémente les capacités de traitement de données SQL sur Hadoop, et a été inspiré par Dremel de Google. Impala supporte un langage de requête SQL-like qui est ainsi un sous-ensemble de SQL.
			Par opposition à Hive, au lieu de compter sur un autre cadre, Impala fournit ses propres démons d'exécution longue sur chaque nœud du cluster et possède une architecture de base de données parallèle partagée rien. Le processus principal de démon '''impalad''' comprend le planificateur de requêtes, coordinateur de la requête, le moteur d'exécution de la requête. '''Impala''' supporte deux types d'algorithmes de jointure: partitionné et broadcast, qui sont respectivement similaires à la jointure re-partitionnée de Hive et la map-side jointure. '''Impala''' compile toutes les requêtes dans un plan d'exécution en pipeline.

	=Notes et Références=		=Notes et Références=

Kai.Guo: /* Apache Hive */

2015-10-22T19:07:14Z

Apache Hive

← Older revision		Revision as of 19:07, 22 October 2015
Line 92:		Line 92:
	Hive est le premier système SQL-on-Hadoop construit au sommet d'Hadoop et exploite tous les avantages de Hadoop, y compris ainsi: sa capacité à l'échelle à des milliers ou des dizaines de milliers de nœuds, la tolérance de panne et haute disponibilité.		Hive est le premier système SQL-on-Hadoop construit au sommet d'Hadoop et exploite tous les avantages de Hadoop, y compris ainsi: sa capacité à l'échelle à des milliers ou des dizaines de milliers de nœuds, la tolérance de panne et haute disponibilité.
	Hive met en oeuvre un langage de requête SQL comme savoir HiveQL. La déclarations d'HiveQL soumises à Hive sont analysées, compilées et optimisées pour produire un plan d'exécution de la requête physique. Le plan est un graphe acyclique orienté (DAG) de tâches MapReduce qui est exécuté à travers du framework de MapReduce ou par le framework Tez dans la dernière version de Hive. Une requête HiveQL est exécuté en un seul job Tez lorsque le framework de Tez est utilisé et est généralement divisée en jobs MapReduce multiples lorsque le cadre de MapReduce est utilisé. Tez pipelines données à travers des étapes d'exécution au lieu de créer des fichiers temporaires intermédiaires. Ainsi, Tez évite les démarrage, planification et la matérialisation des frais généraux de MapReduce.		Hive met en oeuvre un langage de requête SQL comme savoir HiveQL. La déclarations d'HiveQL soumises à Hive sont analysées, compilées et optimisées pour produire un plan d'exécution de la requête physique. Le plan est un graphe acyclique orienté (DAG) de tâches MapReduce qui est exécuté à travers du framework de MapReduce ou par le framework Tez dans la dernière version de Hive. Une requête HiveQL est exécuté en un seul job Tez lorsque le framework de Tez est utilisé et est généralement divisée en jobs MapReduce multiples lorsque le cadre de MapReduce est utilisé. Tez pipelines données à travers des étapes d'exécution au lieu de créer des fichiers temporaires intermédiaires. Ainsi, Tez évite les démarrage, planification et la matérialisation des frais généraux de MapReduce.

			===Cloudera Impala ===

	=Notes et Références=		=Notes et Références=

Kai.Guo: /* Apache Hive */

2015-10-22T19:06:30Z

Apache Hive

← Older revision		Revision as of 19:06, 22 October 2015
Line 89:		Line 89:

	=== Apache Hive===		=== Apache Hive===

			Hive est le premier système SQL-on-Hadoop construit au sommet d'Hadoop et exploite tous les avantages de Hadoop, y compris ainsi: sa capacité à l'échelle à des milliers ou des dizaines de milliers de nœuds, la tolérance de panne et haute disponibilité.
			Hive met en oeuvre un langage de requête SQL comme savoir HiveQL. La déclarations d'HiveQL soumises à Hive sont analysées, compilées et optimisées pour produire un plan d'exécution de la requête physique. Le plan est un graphe acyclique orienté (DAG) de tâches MapReduce qui est exécuté à travers du framework de MapReduce ou par le framework Tez dans la dernière version de Hive. Une requête HiveQL est exécuté en un seul job Tez lorsque le framework de Tez est utilisé et est généralement divisée en jobs MapReduce multiples lorsque le cadre de MapReduce est utilisé. Tez pipelines données à travers des étapes d'exécution au lieu de créer des fichiers temporaires intermédiaires. Ainsi, Tez évite les démarrage, planification et la matérialisation des frais généraux de MapReduce.

	=Notes et Références=		=Notes et Références=