VT2015 Complex Event Processing - Revision history

Tararaina.Klipffel: /* Abstract */

2015-10-23T09:56:28Z

Abstract

← Older revision		Revision as of 09:56, 23 October 2015
Line 23:		Line 23:

	Complex Event Processing (CEP) is a set of technologies that allows exploring temporal, causal, and semantic relationships among events to make sense of them in a timely fashion.		Complex Event Processing (CEP) is a set of technologies that allows exploring temporal, causal, and semantic relationships among events to make sense of them in a timely fashion.


			Of our in the daytime, Big-Data is an integral part of our everyday life(daily paper). The generated data become so voluminous that they become difficult there to work with classic tools of management of database or management of the information. Indeed, we attend a real explosion of the number of information sources and consequently the exponential increase of the information. All these data and events can have of value and can allow to make strategic decisions, if we can handle(treat) them in time. Complex Event Processing's technologies allow to handle this information under time constraint, and to explore the semantic and temporal relations.

	==Résumé==		==Résumé==

Tararaina.Klipffel: /* Résumé */

2015-10-23T09:46:42Z

Résumé

← Older revision		Revision as of 09:46, 23 October 2015
Line 26:		Line 26:
	==Résumé==		==Résumé==

			De nos jour, le Big-Data fait partie intégrante de notre quotidien. Les données générées deviennent tellement volumineux qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données ou de gestion de l'information. En effet, nous assistons à une véritable explosion du nombre de sources d'informations et par conséquent de l’augmentation exponentielle de l’information. Toutes ces données et événements peuvent avoir de valeur et peuvent permettre de prendre des décisions stratégiques, si on peut les traiter à temps. Les technologies de Complex Event Processing permettent de traiter ces informations sous contrainte de temps, et d’en explorer les relations sémantiques et temporelles.
	Nous assistons à une véritable explosion de la quantité d’information et du nombre de sources que les SI doivent gérer : interactions homme-machine ou entre machines, à l’intérieur du SI ou avec des partenaires, sans compter les nouvelles sources de données sur internet et les réseaux sociaux.

	Toutes ces données, tous ces évènements peuvent avoir beaucoup de valeur et peuvent permettre de prendre des décisions, si on peut les traiter à temps.

	L’article suivant, en anglais, présente les technologies de Complex Event Processing ; technologies qui permettent de traiter ces informations sous contrainte de temps, et d’en explorer les relations sémantiques et temporelles.

	==Synthèse==		==Synthèse==

Tararaina.Klipffel at 00:37, 21 October 2015

2015-10-21T00:37:26Z

← Older revision		Revision as of 00:37, 21 October 2015
Line 35:		Line 35:

	===CEP===		===CEP===
		⚫	Le Complex Event Processing (en francais, Traitement des événements complexes) est un concept d'analyse d'événements permettant d'identifier les événements significatifs dans un nuage d'événements. Cela consiste à un calcul et/ou traitement exécutant des opérations (lecture, création, transformation, l’abstraction des données) sur des événements. Le CEP emploie des techniques telles que la détection des schémas complexes de multiples événements: corrélation, abstraction, et hiérarchies entre événements et les relations entre événements tels que les liens de causalité, l'adhésion, la chronologie et les processus pilotés par les événements. La fonction du CEP est de découvrir les informations contenues dans les événements qui passent dans toutes les couches d'une organisation et ensuite d'analyser son impact au niveau macro comme "événement complexe" et puis décider du plan d'action en temps réel.
	Le Traitement des événements complexes (Complex Event Processing) est un concept de traitement d'événements permettant d'identifier les événements significatifs dans un nuage d'événements.

⚫	Le CEP emploie des techniques telles que la détection des schémas complexes de multiples événements: corrélation, abstraction, et hiérarchies entre événements et les relations entre événements tels que les liens de causalité, l'adhésion, la chronologie et les processus pilotés par les événements. La fonction du CEP est de découvrir les informations contenues dans les événements qui passent dans toutes les couches d'une organisation et ensuite d'analyser son impact au niveau macro comme "événement complexe" et puis décider du plan d'action en temps réel.

	Traitement de flots continus (ie non borné dans le temps) de données (mesures, événements) en temps réel.		Traitement de flots continus (ie non borné dans le temps) de données (mesures, événements) en temps réel.

Tararaina.Klipffel at 00:20, 21 October 2015

2015-10-21T00:20:54Z

@@ Line 18: / Line 18: @@
 ==Abstract==
 ==Résumé==
 Le Traitement des événements complexes (Complex Event Processing) est un concept de traitement d'événements permettant d'identifier les événements significatifs dans un nuage d'événements.
  Le CEP emploie des techniques telles que la détection des schémas complexes de multiples événements: corrélation, abstraction, et hiérarchies entre événements et les relations entre événements tels que les liens de causalité, l'adhésion, la chronologie et les processus pilotés par les événements. La fonction du CEP est de découvrir les informations contenues dans les événements qui passent dans toutes les couches d'une organisation et ensuite d'analyser son impact au niveau macro comme "événement complexe" et puis décider du plan d'action en temps réel.
 ===Apache Spark===
@@ Line 46: / Line 104: @@
 ==Conclusion==
 ==Bibliographie==

Tararaina.Klipffel: /* Apache Spark */

2015-10-20T22:37:02Z

Apache Spark

← Older revision		Revision as of 22:37, 20 October 2015
Line 29:		Line 29:

	===Apache Spark===		===Apache Spark===

	Apache Spark est un framework de traitements Big Data open source développé par AMPLab, de l’Université UC Berkeley, en 2009 et passé open source sous forme de projet Apache en 2010. Apache Spark permet d'effectuer des analyses sophistiquées. C'est principaux avantages et sa rapidité et sa facilité d’utilisation.		Apache Spark est un framework de traitements Big Data open source développé par AMPLab, de l’Université UC Berkeley, en 2009 et passé open source sous forme de projet Apache en 2010. Apache Spark permet d'effectuer des analyses sophistiquées. C'est principaux avantages et sa rapidité et sa facilité d’utilisation.
			====Avantages====
			Spark présente plusieurs avantages par rapport aux autres technologies big data et MapReduce comme Hadoop et Storm. D’abord, Spark propose un framework complet et unifié pour répondre aux besoins de traitements Big Data pour divers jeux de données, divers par leur nature (texte, graphe, etc.) aussi bien que par le type de source (batch ou flux temps-réel). Ensuite, Spark permet à des applications sur clusters Hadoop d’être exécutées jusqu’à 100 fois plus vite en mémoire, 10 fois plus vite sur disque. Il vous permet d’écrire rapidement des applications en Java, Scala ou Python et inclut un jeu de plus de 80 opérateurs haut-niveau. De plus, il est possible de l’utiliser de façon interactive pour requêter les données depuis un shell.

			Enfin, en plus des opérations de Map et Reduce, Spark supporte les requêtes SQL et le streaming de données et propose des fonctionnalités de machine learning et de traitements orientés graphe. Les développeurs peuvent utiliser ces possibilités en stand-alone ou en les combinant en une chaîne de traitement complexe.

	À côté des API principales de Spark, l’écosystème contient des librairies additionnelles qui permettent de travailler dans le domaine des analyses big data et du machine learning. Parmi ces librairies, on trouve :		À côté des API principales de Spark, l’écosystème contient des librairies additionnelles qui permettent de travailler dans le domaine des analyses big data et du machine learning. Parmi ces librairies, on trouve : Spark Streaming

			====Spark Streaming====
	~~Spark Streaming :~~ Spark Streaming peut être utilisé pour traitement temps-réel des données en flux. Il ~~s’appuie~~ ~~sur~~ un mode de traitement en "micro batch" et utilise pour les données temps-réel DStream, c’est-à-dire une série de RDD (Resilient Distributed Dataset).		Spark Streaming peut être utilisé pour traitement temps-réel des données en flux. En vérité Spart Streaming ne fait pas de l'analyse de données en temps réel mais utilise plutôt un mode de traitement "micro-batch". C'est à dire que Spark ne traite pas les données d’un flux en continue (contrairement à Apache Storm) mais les accumule pendant un laps de temps fixé avant d’être traitées. Deplus Spark stream utilise pour les données temps-réel DStream, c’est-à-dire une série de RDD (Resilient Distributed Dataset).

	Les concepts

		⚫	batch :En informatique, un traitement par lots est un enchaînement automatique d'une suite de commandes (processus) sur un ordinateur sans intervention d'un opérateur.Une fois que ce processus est terminé (quel que soit le résultat), l'ordinateur traite le lot suivant. Le traitement des lots se termine une fois que tous les lots de la pile ont été exécutés.
	En fait Spark Streaming ne fait pas du vrai temps réel mais plutôt du micro-batch c’est-à-dire que Spark ne traite pas les données d’un flux au fil de l’eau (contrairement à Apache Storm), elles sont accumulées pendant un laps de temps avant d’être traitées. Bien entendu, ce laps de temps peut être configuré.

			Les Resilient Distributed Datasets (basés sur la publication de recherche de Matei), ou RDD, sont un concept au cœur du framework Spark. Vous pouvez voir un RDD comme une table dans une base de données. Celui-ci peut porter tout type de données et est stocké par Spark sur différentes partitions. Les RDD permettent de réarranger les calculs et d’optimiser le traitement. Ils sont aussi tolérants aux pannes car un RDD sait comment recréer et recalculer son ensemble de données. Les RDD sont immutables. Pour obtenir une modification d’un RDD, il faut y appliquer une transformation, qui retournera un nouveau RDD, l’original restera inchangé. Les RDD supportent deux types d’opérations :
	batch :En informatique, un traitement par lots (batch processing en anglais) est un enchaînement automatique d'une suite de commandes (processus) sur un ordinateur sans intervention d'un opérateur1.
⚫	Une fois que ce processus est terminé (quel que soit le résultat), l'ordinateur traite le lot suivant. Le traitement des lots se termine une fois que tous les lots de la pile ont été exécutés.

	==Conclusion==		==Conclusion==

Tararaina.Klipffel: /* Synthèse */

2015-10-20T22:11:13Z

Synthèse

← Older revision		Revision as of 22:11, 20 October 2015
Line 22:		Line 22:

	==Synthèse==		==Synthèse==


			Le Traitement des événements complexes (Complex Event Processing) est un concept de traitement d'événements permettant d'identifier les événements significatifs dans un nuage d'événements.

			Le CEP emploie des techniques telles que la détection des schémas complexes de multiples événements: corrélation, abstraction, et hiérarchies entre événements et les relations entre événements tels que les liens de causalité, l'adhésion, la chronologie et les processus pilotés par les événements. La fonction du CEP est de découvrir les informations contenues dans les événements qui passent dans toutes les couches d'une organisation et ensuite d'analyser son impact au niveau macro comme "événement complexe" et puis décider du plan d'action en temps réel.

	===Apache Spark===		===Apache Spark===

Tararaina.Klipffel: /* Synthèse */

2015-10-20T22:00:13Z

Synthèse

← Older revision		Revision as of 22:00, 20 October 2015
Line 22:		Line 22:

	==Synthèse==		==Synthèse==

			===Apache Spark===

			Apache Spark est un framework de traitements Big Data open source développé par AMPLab, de l’Université UC Berkeley, en 2009 et passé open source sous forme de projet Apache en 2010. Apache Spark permet d'effectuer des analyses sophistiquées. C'est principaux avantages et sa rapidité et sa facilité d’utilisation.

			À côté des API principales de Spark, l’écosystème contient des librairies additionnelles qui permettent de travailler dans le domaine des analyses big data et du machine learning. Parmi ces librairies, on trouve :

			Spark Streaming : Spark Streaming peut être utilisé pour traitement temps-réel des données en flux. Il s’appuie sur un mode de traitement en "micro batch" et utilise pour les données temps-réel DStream, c’est-à-dire une série de RDD (Resilient Distributed Dataset).

			Les concepts

			En fait Spark Streaming ne fait pas du vrai temps réel mais plutôt du micro-batch c’est-à-dire que Spark ne traite pas les données d’un flux au fil de l’eau (contrairement à Apache Storm), elles sont accumulées pendant un laps de temps avant d’être traitées. Bien entendu, ce laps de temps peut être configuré.

			batch :En informatique, un traitement par lots (batch processing en anglais) est un enchaînement automatique d'une suite de commandes (processus) sur un ordinateur sans intervention d'un opérateur1.
			Une fois que ce processus est terminé (quel que soit le résultat), l'ordinateur traite le lot suivant. Le traitement des lots se termine une fois que tous les lots de la pile ont été exécutés.

	==Conclusion==		==Conclusion==

Tararaina.Klipffel at 21:28, 20 October 2015

2015-10-20T21:28:06Z

← Older revision		Revision as of 21:28, 20 October 2015
Line 1:		Line 1:
	==Présentation==		==Présentation==

	Enseignants : D. ~~Donsez~~, ~~GP.~~ ~~Bonneau~~		Enseignants : DONSEZ Didier, BONNEAU Georges-Pierre

	Sujet : Complex Event Processing ~~: Démonstration de Apache Storm et Spark Streaming sur le cloud d'Azure~~		Sujet : Complex Event Processing
⚫	Auteur : ~~Tararaina~~ KLIPFFEL

			Démonstration de Apache Storm et Spark Streaming sur le cloud d'Azure
⚫	Date : 23/10/15

		⚫	Auteur : KLIPFFEL Tararaina

		⚫	Date : 23/10/15

			Mots clés :

	==Document==		==Document==

Tararaina.Klipffel: Created page with "==Présentation== Enseignants : D. Donsez, GP. Bonneau Sujet : Complex Event Processing : Démonstration de Apache Storm et Spark Streaming sur le cloud d'Azure Auteur : Tar..."

2015-10-20T21:24:21Z

Created page with "==Présentation== Enseignants : D. Donsez, GP. Bonneau Sujet : Complex Event Processing : Démonstration de Apache Storm et Spark Streaming sur le cloud d'Azure Auteur : Tar..."

New page

==Présentation==

Enseignants : D. Donsez, GP. Bonneau

Sujet : Complex Event Processing : Démonstration de Apache Storm et Spark Streaming sur le cloud d'Azure
Auteur : Tararaina KLIPFFEL

Date : 23/10/15

==Document==

[[File:Complex_Event_Processing.pdf|Slides de présentation]]

==Abstract==

==Résumé==

==Synthèse==

==Conclusion==

==Bibliographie==