VT2020-Apache Arrow-Fiche - Revision history

Robin.Delbos at 17:23, 7 December 2020

2020-12-07T17:23:41Z

← Older revision		Revision as of 17:23, 7 December 2020
Line 57:		Line 57:
	= Alternatives =		= Alternatives =

		⚫	Apache Parquet et Apache ORC sont des exemples populaires de formats de données en colonnes sur disque. Apache Arrow est conçu comme un complément à ces formats pour le traitement des données en mémoire. Les projets Arrow et Parquet comprennent des bibliothèques qui permettent de lire et d'écrire des données entre les deux formats. Ces projets sont donc plus complémentaires que concurrents et peuvent s'utiliser simultanément.
⚫	Arrow peut être utilisé avec Apache Parquet, Apache Spark, NumPy, PySpark, Pandas et d'autres bibliothèques de traitement de données. Cependant Apache Arrow reste la solution la plus complète actuellement.

		⚫	Apache Arrow peut être utilisé avec Apache Parquet, Apache Spark, NumPy, PySpark, Pandas et d'autres bibliothèques de traitement de données. Cependant Apache Arrow reste la solution la plus complète actuellement pour un transfert efficace de données volumineuses.
⚫	Apache Parquet et Apache ORC sont des exemples populaires de formats de données en colonnes sur disque. Arrow est conçu comme un complément à ces formats pour le traitement des données en mémoire~~. Les compromis d'ingénierie des ressources matérielles pour le traitement en mémoire varient de ceux associés au stockage sur disque~~. Les projets Arrow et Parquet comprennent des bibliothèques qui permettent de lire et d'écrire des données entre les deux formats. Ces projets sont donc plus complémentaires que concurrents.


	= Désavantage =		= Désavantage =

	Le principal désavantage avec Apache Arrow va avec son principal avantage: il est très complet, ce qui le rend difficile à prendre en main pour les débutants. malgré une communauté active et une documentation fournie.		Le principal désavantage avec Apache Arrow va avec son principal avantage: il est très complet, ce qui le rend difficile à prendre en main pour les débutants malgré une communauté active et une documentation fournie.

Robin.Delbos at 15:00, 7 December 2020

2020-12-07T15:00:55Z

← Older revision		Revision as of 15:00, 7 December 2020
Line 14:		Line 14:
	*JavaScript		*JavaScript
	*Rust		*Rust
	*MATLAB (via la ~~librairie~~ C++)		*MATLAB (via la bibliothèque C++)
	*Python (via la ~~librairie~~ C++)		*Python (via la bibliothèque C++)
	*R (via la ~~librairie~~ C++)		*R (via la bibliothèque C++)
	*Ruby (via la ~~librairie~~ C++).		*Ruby (via la bibliothèque C++).

	Ces bibliothèques font l'objet de tests d'intégration les unes par rapport aux autres afin de garantir leur fidélité au format.		Ces bibliothèques font l'objet de tests d'intégration les unes par rapport aux autres afin de garantir leur fidélité au format.

Robin.Delbos at 14:53, 7 December 2020

2020-12-07T14:53:49Z

← Older revision		Revision as of 14:53, 7 December 2020
Line 35:		Line 35:

	Un élément essentiel d'Apache Arrow est son format en colonne en mémoire, une spécification standardisée et agnostique du langage pour représenter des ensembles de données structurés et semblables à des tableaux en mémoire. Le format Apache Arrow permet aux moteurs d'exécution de maximiser leur efficacité lors de l'analyse et de l'itération de gros volumes de données.		Un élément essentiel d'Apache Arrow est son format en colonne en mémoire, une spécification standardisée et agnostique du langage pour représenter des ensembles de données structurés et semblables à des tableaux en mémoire. Le format Apache Arrow permet aux moteurs d'exécution de maximiser leur efficacité lors de l'analyse et de l'itération de gros volumes de données.
	Sans un format standard de données en colonnes, chaque base de données et chaque langage ~~doit mettre en œuvre~~ son propre format de données interne. ~~Cela~~ génère beaucoup de gaspillage.		Sans un format standard de données en colonnes, chaque base de données et chaque langage possède son propre format de données interne ce qui génère beaucoup de gaspillage.
	Le déplacement des données d'un système à l'autre implique une sérialisation et une désérialisation coûteuses en temps et en mémoire. En outre, les algorithmes communs doivent souvent être réécrits pour chaque format de données :		Le déplacement des données d'un système à l'autre implique une sérialisation et une désérialisation coûteuses en temps et en mémoire. En outre, les algorithmes communs doivent souvent être réécrits pour chaque format de données :

Robin.Delbos: /* Qu'est ce que Apache Arrow */

2020-12-07T14:18:02Z

Qu'est ce que Apache Arrow

← Older revision		Revision as of 14:18, 7 December 2020
Line 35:		Line 35:

	Un élément essentiel d'Apache Arrow est son format en colonne en mémoire, une spécification standardisée et agnostique du langage pour représenter des ensembles de données structurés et semblables à des tableaux en mémoire. Le format Apache Arrow permet aux moteurs d'exécution de maximiser leur efficacité lors de l'analyse et de l'itération de gros volumes de données.		Un élément essentiel d'Apache Arrow est son format en colonne en mémoire, une spécification standardisée et agnostique du langage pour représenter des ensembles de données structurés et semblables à des tableaux en mémoire. Le format Apache Arrow permet aux moteurs d'exécution de maximiser leur efficacité lors de l'analyse et de l'itération de gros volumes de données.
	Sans un format standard de données en colonnes, chaque base de données et chaque ~~langue~~ doit mettre en œuvre son propre format de données interne. Cela génère beaucoup de gaspillage.		Sans un format standard de données en colonnes, chaque base de données et chaque langage doit mettre en œuvre son propre format de données interne. Cela génère beaucoup de gaspillage.
	Le déplacement des données d'un système à l'autre implique une sérialisation et une désérialisation coûteuses en temps et en mémoire. En outre, les algorithmes communs doivent souvent être réécrits pour chaque format de données :		Le déplacement des données d'un système à l'autre implique une sérialisation et une désérialisation coûteuses en temps et en mémoire. En outre, les algorithmes communs doivent souvent être réécrits pour chaque format de données :

Line 54:		Line 54:

	[[File:Arrow5.png\|500px\|frame\|center\|Format traditionnel et format utilisé par Apache Arrow ]]		[[File:Arrow5.png\|500px\|frame\|center\|Format traditionnel et format utilisé par Apache Arrow ]]


	= Alternatives =		= Alternatives =

Robin.Delbos at 14:06, 7 December 2020

2020-12-07T14:06:03Z

← Older revision		Revision as of 14:06, 7 December 2020
Line 42:		Line 42:


	Le format de données en colonnes en mémoire de Arrow est une solution toute prête pour résoudre ces problèmes. Les systèmes qui utilisent ou prennent en charge Arrow peuvent transférer des données entre eux à un coût minime, voire nul. De plus, ils n'ont pas besoin de mettre en place des connecteurs personnalisés pour tous les autres systèmes. En plus de ces économies, un format de mémoire standardisé facilite la réutilisation des bibliothèques d'algorithmes, même entre les ~~langues~~ :		Le format de données en colonnes en mémoire de Arrow est une solution toute prête pour résoudre ces problèmes. Les systèmes qui utilisent ou prennent en charge Arrow peuvent transférer des données entre eux à un coût minime, voire nul. De plus, ils n'ont pas besoin de mettre en place des connecteurs personnalisés pour tous les autres systèmes. En plus de ces économies, un format de mémoire standardisé facilite la réutilisation des bibliothèques d'algorithmes, même entre les langages :


Line 54:		Line 54:

	[[File:Arrow5.png\|500px\|frame\|center\|Format traditionnel et format utilisé par Apache Arrow ]]		[[File:Arrow5.png\|500px\|frame\|center\|Format traditionnel et format utilisé par Apache Arrow ]]


	= Alternatives =		= Alternatives =

Robin.Delbos at 13:44, 7 December 2020

2020-12-07T13:44:32Z

← Older revision		Revision as of 13:44, 7 December 2020
Line 81:		Line 81:
	* Année : [[VT2020\|VT2020]]		* Année : [[VT2020\|VT2020]]
	* Sujet : Apache Arrow		* Sujet : Apache Arrow
			* [[Media:Présentation_Apache_Arrow.pdf\|Présentation]]
			*[[VT2020-Apache Arrow-Demo\|Démonstration]]
	* Auteurs : [[User:Robin.Delbos\|Robin Delbos]]		* Auteurs : [[User:Robin.Delbos\|Robin Delbos]]

Robin.Delbos: /* Qu'est ce que Apache Arrow */

2020-12-07T13:42:55Z

Qu'est ce que Apache Arrow

← Older revision		Revision as of 13:42, 7 December 2020
Line 53:		Line 53:


	[[File:Arrow5.png\|500px\|frame\|center\|~~Transfert~~ de ~~données~~ ~~sans~~ Arrow]]		[[File:Arrow5.png\|500px\|frame\|center\|Format traditionnel et format utilisé par Apache Arrow ]]

	= Alternatives =		= Alternatives =

Robin.Delbos: /* Qu'est ce que Apache Arrow */

2020-12-07T13:40:43Z

Qu'est ce que Apache Arrow

← Older revision		Revision as of 13:40, 7 December 2020
Line 53:		Line 53:


	[[File:Arrow5.png\|~~300px~~\|center\|Transfert de données sans Arrow]]		[[File:Arrow5.png\|500px\|frame\|center\|Transfert de données sans Arrow]]

	= Alternatives =		= Alternatives =

Robin.Delbos: /* Qu'est ce que Apache Arrow */

2020-12-07T13:38:10Z

Qu'est ce que Apache Arrow

← Older revision		Revision as of 13:38, 7 December 2020
Line 36:		Line 36:
	Un élément essentiel d'Apache Arrow est son format en colonne en mémoire, une spécification standardisée et agnostique du langage pour représenter des ensembles de données structurés et semblables à des tableaux en mémoire. Le format Apache Arrow permet aux moteurs d'exécution de maximiser leur efficacité lors de l'analyse et de l'itération de gros volumes de données.		Un élément essentiel d'Apache Arrow est son format en colonne en mémoire, une spécification standardisée et agnostique du langage pour représenter des ensembles de données structurés et semblables à des tableaux en mémoire. Le format Apache Arrow permet aux moteurs d'exécution de maximiser leur efficacité lors de l'analyse et de l'itération de gros volumes de données.
	Sans un format standard de données en colonnes, chaque base de données et chaque langue doit mettre en œuvre son propre format de données interne. Cela génère beaucoup de gaspillage.		Sans un format standard de données en colonnes, chaque base de données et chaque langue doit mettre en œuvre son propre format de données interne. Cela génère beaucoup de gaspillage.
	Le déplacement des données d'un système à l'autre implique une sérialisation et une désérialisation coûteuses en temps et en mémoire. En outre, les algorithmes communs doivent souvent être réécrits pour chaque format de données.		Le déplacement des données d'un système à l'autre implique une sérialisation et une désérialisation coûteuses en temps et en mémoire. En outre, les algorithmes communs doivent souvent être réécrits pour chaque format de données :


	[[File:Arrow3.jpg\|300px\|center\|\|Transfert de données sans Arrow]]		[[File:Arrow3.jpg\|300px\|center\|Transfert de données sans Arrow]]


		⚫	Le format de données en colonnes en mémoire de Arrow est une solution toute prête pour résoudre ces problèmes. Les systèmes qui utilisent ou prennent en charge Arrow peuvent transférer des données entre eux à un coût minime, voire nul. De plus, ils n'ont pas besoin de mettre en place des connecteurs personnalisés pour tous les autres systèmes. En plus de ces économies, un format de mémoire standardisé facilite la réutilisation des bibliothèques d'algorithmes, même entre les langues :
⚫	[[File:Arrow4.jpg\|300px\|center\|Transfert de données sans Arrow]]


		⚫	[[File:Arrow4.jpg\|300px\|center\|Transfert de données sans Arrow]]
⚫	Le format de données en colonnes en mémoire de Arrow est une solution toute prête pour résoudre ces problèmes. Les systèmes qui utilisent ou prennent en charge Arrow peuvent transférer des données entre eux à un coût minime, voire nul. De plus, ils n'ont pas besoin de mettre en place des connecteurs personnalisés pour tous les autres systèmes. En plus de ces économies, un format de mémoire standardisé facilite la réutilisation des bibliothèques d'algorithmes, même entre les langues.


	Dans la plupart des systèmes de stockage, la donnée est stockée sur disque ligne par ligne. Maintenant imaginons que l’on souhaite agréger la donnée, il faudra alors lire toutes les lignes, entièrement, une à une et extraire la donnée à agréger. Le stockage row-wise est une perte de temps, d’espace de stockage et de performance.		Dans la plupart des systèmes de stockage, la donnée est stockée sur disque ligne par ligne. Maintenant imaginons que l’on souhaite agréger la donnée, il faudra alors lire toutes les lignes, entièrement, une à une et extraire la donnée à agréger. Le stockage row-wise est une perte de temps, d’espace de stockage et de performance.

	Si l’on pense maintenant en format colonne où chaque colonne et ses valeurs sont stockées au même endroit, nous n’aurons besoin d’accéder qu’à la colonne à agréger pour faire notre calcul. Le stockage colonne nous permet de gagner en efficacité et en rapidité.		Si l’on pense maintenant en format colonne où chaque colonne et ses valeurs sont stockées au même endroit, nous n’aurons besoin d’accéder qu’à la colonne à agréger pour faire notre calcul. Le stockage colonne nous permet de gagner en efficacité et en rapidité.


			[[File:Arrow5.png\|300px\|center\|Transfert de données sans Arrow]]

	= Alternatives =		= Alternatives =

Robin.Delbos: /* Qu'est ce que Apache Arrow */

2020-12-07T13:36:34Z

Qu'est ce que Apache Arrow

← Older revision		Revision as of 13:36, 7 December 2020
Line 39:		Line 39:


	[[File:Arrow3.jpg\|300px\|~~thumb~~\|Transfert de données sans Arrow]]		[[File:Arrow3.jpg\|300px\|center\|\|Transfert de données sans Arrow]]