VT2020-AppachePinot-Fiche - Revision history

Remy.Ruzafa: /* Alternative */

2020-12-07T19:53:03Z

Alternative

← Older revision		Revision as of 19:53, 7 December 2020
Line 101:		Line 101:
	Dans son domaine spécifique Apache Pinot n'a pas d'autre alternative. Nous pouvons tout de même parler de technologies similaires comme Presto qui est utilisé par Facebook ou encore Netflix.		Dans son domaine spécifique Apache Pinot n'a pas d'autre alternative. Nous pouvons tout de même parler de technologies similaires comme Presto qui est utilisé par Facebook ou encore Netflix.
	Presto est un moteur de recherche SQL optimisé pour les intéractions en temps réel ( d'ou la similarité avec Pinot ), cependant bien qu'il soit plus flexible que Pinot concernant les données ingéré la latence est beaucoup plus élevé que sur Pinot.		Presto est un moteur de recherche SQL optimisé pour les intéractions en temps réel ( d'ou la similarité avec Pinot ), cependant bien qu'il soit plus flexible que Pinot concernant les données ingéré la latence est beaucoup plus élevé que sur Pinot.
	Pour finir la principale différence ~~reste~~ le fait que Presto ne gère pas du tout l'analyse des données coté utilisateur.		Pour finir la principale différence réside dans le fait que Presto ne gère pas du tout l'analyse des données coté utilisateur.

	= Demonstration =		= Demonstration =

Remy.Ruzafa: /* Alternative */

2020-12-07T19:52:26Z

Alternative

← Older revision		Revision as of 19:52, 7 December 2020
Line 99:		Line 99:
	= Alternative =		= Alternative =

	Dans son domaine ~~spécique~~ Apache Pinot n'a pas d'autre alternative. Nous pouvons tout de même parler de technologies similaires comme Presto qui est utilisé par Facebook ou encore Netflix.		Dans son domaine spécifique Apache Pinot n'a pas d'autre alternative. Nous pouvons tout de même parler de technologies similaires comme Presto qui est utilisé par Facebook ou encore Netflix.
	Presto est un moteur de recherche SQL optimisé pour les intéractions en temps réel ( d'ou la similarité avec Pinot ), cependant bien qu'il soit plus flexible que Pinot concernant les données ingéré la latence est beaucoup plus élevé que sur Pinot.		Presto est un moteur de recherche SQL optimisé pour les intéractions en temps réel ( d'ou la similarité avec Pinot ), cependant bien qu'il soit plus flexible que Pinot concernant les données ingéré la latence est beaucoup plus élevé que sur Pinot.
	Pour finir la principale différence reste le fait que Presto ne gère pas du tout l'analyse des données coté utilisateur.		Pour finir la principale différence reste le fait que Presto ne gère pas du tout l'analyse des données coté utilisateur.

Remy.Ruzafa at 19:52, 7 December 2020

2020-12-07T19:52:11Z

← Older revision		Revision as of 19:52, 7 December 2020
Line 96:		Line 96:

	<br clear=all>		<br clear=all>

			= Alternative =

			Dans son domaine spécique Apache Pinot n'a pas d'autre alternative. Nous pouvons tout de même parler de technologies similaires comme Presto qui est utilisé par Facebook ou encore Netflix.
			Presto est un moteur de recherche SQL optimisé pour les intéractions en temps réel ( d'ou la similarité avec Pinot ), cependant bien qu'il soit plus flexible que Pinot concernant les données ingéré la latence est beaucoup plus élevé que sur Pinot.
			Pour finir la principale différence reste le fait que Presto ne gère pas du tout l'analyse des données coté utilisateur.

	= Demonstration =		= Demonstration =

Remy.Ruzafa at 00:18, 7 December 2020

2020-12-07T00:18:22Z

← Older revision		Revision as of 00:18, 7 December 2020
Line 96:		Line 96:

	<br clear=all>		<br clear=all>

			= Demonstration =

			Cliquer sur le lien ci-dessous pour avoir accès à la démonstration :

			[[VT2020-AppachePinot-Demo\|Démonstration]]

	= Sources =		= Sources =

Remy.Ruzafa at 00:09, 7 December 2020

2020-12-07T00:09:32Z

← Older revision		Revision as of 00:09, 7 December 2020
Line 6:		Line 6:
	«''Pinot is a real-time distributed OLAP datastore, built to deliver scalable real-time analytics with low latency. It can ingest from batch data sources as well as stream data sources (such as Apache Kafka).		«''Pinot is a real-time distributed OLAP datastore, built to deliver scalable real-time analytics with low latency. It can ingest from batch data sources as well as stream data sources (such as Apache Kafka).

	Pinot was built by engineers at LinkedIn and is designed to scale up and out with no upper bound. Performance always remains constant based on the size of your cluster and an expected query per second (QPS) threshold.''» - Documentation officielle de ~~Appache~~ Pinot		Pinot was built by engineers at LinkedIn and is designed to scale up and out with no upper bound. Performance always remains constant based on the size of your cluster and an expected query per second (QPS) threshold.''» - Documentation officielle de Apache Pinot

	<br clear=all>		<br clear=all>

	= ~~Appache~~ Pinot=		= Apache Pinot=
	== Présentation ==		== Présentation ==

Line 21:		Line 21:

	De plus Pour certains type de business la relation données/temps est très importantes. En effet récupérer des analyses concernant des données qui ont été collectées il y a plusieurs heures/jours est parfois beaucoup trop long. Dans certains cas comme dans la restauration par exemple il faut récupérer et analyser les données en temps réel pour pouvoir répondre à certains besoins/pouvoir régler certains problèmes.		De plus Pour certains type de business la relation données/temps est très importantes. En effet récupérer des analyses concernant des données qui ont été collectées il y a plusieurs heures/jours est parfois beaucoup trop long. Dans certains cas comme dans la restauration par exemple il faut récupérer et analyser les données en temps réel pour pouvoir répondre à certains besoins/pouvoir régler certains problèmes.
	~~Appache~~ Pinot va aussi permettre non seulement au gérant de la plateforme de profiter du traitement/analyse des données en temps réel mais aussi à tout les utilisateurs.		Apache Pinot va aussi permettre non seulement au gérant de la plateforme de profiter du traitement/analyse des données en temps réel mais aussi à tout les utilisateurs.
	On peut donc dire que cette technologie a été pensée pour gérer en temps réel une très grande quantité de donnée avec de nombreuses dimensions et métriques pour un grand nombres d’utilisateur.		On peut donc dire que cette technologie a été pensée pour gérer en temps réel une très grande quantité de donnée avec de nombreuses dimensions et métriques pour un grand nombres d’utilisateur.

Line 85:		Line 85:
	Uber eats à créé UberEats Rstaurent Manager qui est un dashboard d'analyse de données très complet qui permet au propriétaire d'un établissement de restauration de connaître toutes les données relatives aux commandes liées à UberEats.		Uber eats à créé UberEats Rstaurent Manager qui est un dashboard d'analyse de données très complet qui permet au propriétaire d'un établissement de restauration de connaître toutes les données relatives aux commandes liées à UberEats.
	Celà permet par exemple de récupérer des données concernant des informations relatives à la satisfaction client, aux menus les plus populaires, aux ventes ou à la qualité du service.		Celà permet par exemple de récupérer des données concernant des informations relatives à la satisfaction client, aux menus les plus populaires, aux ventes ou à la qualité du service.
	Grâce à la technologie ~~Appache~~ Pinot il est donc possible à tout moment de savoir pour le gérant le niveau de traffic relatif à UberEats pour son restaurent. En effet il a instantanement' accès à des données qui lui permette de mieux prévoir et gérer des évènements comme une brusque augmentation de commande par exemple.		Grâce à la technologie Apache Pinot il est donc possible à tout moment de savoir pour le gérant le niveau de traffic relatif à UberEats pour son restaurent. En effet il a instantanement' accès à des données qui lui permette de mieux prévoir et gérer des évènements comme une brusque augmentation de commande par exemple.

	<br clear=all>		<br clear=all>
Line 91:		Line 91:
	== LikedIn ==		== LikedIn ==

	C’est LinkedIn qui a développé ~~Appache~~ Pinot en 2014 et c’est maintenant le système par défaut pour toutes les analyses de données dont le réseau social à besoin. Si vous avez déjà utilisé LinkedIn vous avez forcément déjà interagie avec ~~Appache~~ Pinot. C’est ce dernier qui gère le système de « Qui a vu mon profile », système qui permet de savoir qui a visionner votre profile dernièrement ( même dans les dernières seconde ). Beaucoup d’autres fonctionnalités de LinkedIn sont gérées grâce à Pinot comme le système d’analyse des posts ou encore celui de « Talent Insght ».		C’est LinkedIn qui a développé Apache Pinot en 2014 et c’est maintenant le système par défaut pour toutes les analyses de données dont le réseau social à besoin. Si vous avez déjà utilisé LinkedIn vous avez forcément déjà interagie avec Apache Pinot. C’est ce dernier qui gère le système de « Qui a vu mon profile », système qui permet de savoir qui a visionner votre profile dernièrement ( même dans les dernières seconde ). Beaucoup d’autres fonctionnalités de LinkedIn sont gérées grâce à Pinot comme le système d’analyse des posts ou encore celui de « Talent Insght ».

	[[File:Linkedin.png\|300px]]		[[File:Linkedin.png\|300px]]
Line 110:		Line 110:
	= Veille Technologique 2020 =		= Veille Technologique 2020 =
	* Année : [[VT2020]]		* Année : [[VT2020]]
	* Sujet : ~~Appache~~ Pinot		* Sujet : Apache Pinot
	* Slides : [[Media:VT2020-AppachePinot-Présentaion.pdf\|Slides]]		* Slides : [[Media:VT2020-AppachePinot-Présentaion.pdf\|Slides]]
	* Auteur : RUZAFA Rémy		* Auteur : RUZAFA Rémy

Remy.Ruzafa: /* Uber eats */

2020-12-06T16:02:35Z

Uber eats

← Older revision		Revision as of 16:02, 6 December 2020
Line 83:		Line 83:
	== Uber eats ==		== Uber eats ==
	[[File:UberEats.png\|400px\|thumb\|Logo UberEats]]		[[File:UberEats.png\|400px\|thumb\|Logo UberEats]]
	~~«''~~Uber eats à créé UberEats Rstaurent Manager qui est un dashboard d'analyse de données très complet qui permet au propriétaire d'un établissement de restauration de connaître toutes les données relatives aux commandes liées à UberEats.		Uber eats à créé UberEats Rstaurent Manager qui est un dashboard d'analyse de données très complet qui permet au propriétaire d'un établissement de restauration de connaître toutes les données relatives aux commandes liées à UberEats.
	Celà permet par exemple de récupérer des données concernant des informations relatives à la satisfaction client, aux menus les plus populaires, aux ventes ou à la qualité du service.		Celà permet par exemple de récupérer des données concernant des informations relatives à la satisfaction client, aux menus les plus populaires, aux ventes ou à la qualité du service.
	Grâce à la technologie Appache Pinot il est donc possible à tout moment de savoir pour le gérant le niveau de traffic relatif à UberEats pour son restaurent. En effet il a instantanement' accès à des données qui lui permette de mieux prévoir et gérer des évènements comme une brusque augmentation de commande par exemple.'»		Grâce à la technologie Appache Pinot il est donc possible à tout moment de savoir pour le gérant le niveau de traffic relatif à UberEats pour son restaurent. En effet il a instantanement' accès à des données qui lui permette de mieux prévoir et gérer des évènements comme une brusque augmentation de commande par exemple.

	<br clear=all>		<br clear=all>

Remy.Ruzafa: /* Moèle de stockage */

2020-12-06T15:26:11Z

Moèle de stockage

← Older revision		Revision as of 15:26, 6 December 2020
Line 43:		Line 43:
	'''Cluster :'''		'''Cluster :'''

	Logiquement, un cluster est simplement un groupe de ~~locataires~~. En général, il n’y a qu’un seul cluster par environnement/centre de données. Il n’est pas nécessaire de créer plusieurs clusters puisque Pinot utilise un système de tenant. Sur LinkedIn, le plus grand cluster de Pinot se compose de plus de 1000 nœuds répartis dans un centre de données. Le nombre de nœuds dans un cluster peut être ajouté de manière à augmenter de manière linéaire les performances et la disponibilité des requêtes. Celà fait de Pinot une technologie très polyvalente et adaptative.		Logiquement, un cluster est simplement un groupe de tenant. En général, il n’y a qu’un seul cluster par environnement/centre de données. Il n’est pas nécessaire de créer plusieurs clusters puisque Pinot utilise un système de tenant. Sur LinkedIn, le plus grand cluster de Pinot se compose de plus de 1000 nœuds répartis dans un centre de données. Le nombre de nœuds dans un cluster peut être ajouté de manière à augmenter de manière linéaire les performances et la disponibilité des requêtes. Celà fait de Pinot une technologie très polyvalente et adaptative.

	<br clear=all>		<br clear=all>

Remy.Ruzafa: /* Présentation */

2020-12-06T14:21:37Z

Présentation

← Older revision		Revision as of 14:21, 6 December 2020
Line 15:		Line 15:
	Pinot est conçu pour exécuter des requêtes OLAP en temps réel avec une latence faible sur des quantités massives de données et d’événements. En plus de l’ingestion en temps réel, Pinot prend également en charge les cas d’utilisation par lots avec les mêmes garanties de faible latence. Il est utilisé lorsque des analyses rapides sont nécessaires sur des données immuables, éventuellement, avec l’ingestion de données en temps réel. Pinot fonctionne très bien pour interroger les données de séries chronologiques avec beaucoup de dimensions et de métriques.		Pinot est conçu pour exécuter des requêtes OLAP en temps réel avec une latence faible sur des quantités massives de données et d’événements. En plus de l’ingestion en temps réel, Pinot prend également en charge les cas d’utilisation par lots avec les mêmes garanties de faible latence. Il est utilisé lorsque des analyses rapides sont nécessaires sur des données immuables, éventuellement, avec l’ingestion de données en temps réel. Pinot fonctionne très bien pour interroger les données de séries chronologiques avec beaucoup de dimensions et de métriques.

	Il faut aussi noter que Pinot ne remplace pas une base de données, c’est-à-dire qu’il ne peut pas être utilisée comme source de stockage ni modifier les données. Bien que Pinot supporte la recherche de texte, ce n’est pas un remplacement pour un moteur de recherche.		Il faut aussi noter que Pinot ne remplace pas une base de données, c’est-à-dire qu’il ne peut pas être utilisée comme source de stockage ni modifier les données(c'est une technologie permettant d'effectuer des analyses de données multidimensionnelles au sein de bases de données créées à cet effet). Bien que Pinot supporte la recherche de texte, ce n’est pas un remplacement pour un moteur de recherche.

	== Pour qui Pinot à été conçu ? ==		== Pour qui Pinot à été conçu ? ==

Remy.Ruzafa: /* Veille Technologique 2020 */

2020-12-05T15:58:51Z

Veille Technologique 2020

← Older revision		Revision as of 15:58, 5 December 2020
Line 111:		Line 111:
	* Année : [[VT2020]]		* Année : [[VT2020]]
	* Sujet : Appache Pinot		* Sujet : Appache Pinot
	* Slides : [[Media:VT2020-AppachePinot-~~Presentaion~~.pdf\|Slides]]		* Slides : [[Media:VT2020-AppachePinot-Présentaion.pdf\|Slides]]
	* Auteur : RUZAFA Rémy		* Auteur : RUZAFA Rémy

Remy.Ruzafa at 15:57, 5 December 2020

2020-12-05T15:57:48Z

← Older revision		Revision as of 15:57, 5 December 2020
Line 111:		Line 111:
	* Année : [[VT2020]]		* Année : [[VT2020]]
	* Sujet : Appache Pinot		* Sujet : Appache Pinot
	* Slides : [[Media:VT2020-AppachePinot-~~Presentation~~.pdf\|Slides]]		* Slides : [[Media:VT2020-AppachePinot-Presentaion.pdf\|Slides]]
	* Auteur : RUZAFA Rémy		* Auteur : RUZAFA Rémy