VT2018 ApacheBeam - Revision history

Benjamin.Besnier: /* Auteur */

2018-12-16T22:08:09Z

Auteur

← Older revision		Revision as of 22:08, 16 December 2018
Line 1:		Line 1:
	=Auteur=		=Auteur=
	*Nom : Benjamin ~~BESNIER~~		*Nom : Benjamin
	*Mail : besnierbenjamin73@gmail.com
	*Sujet : Apache Beam		*Sujet : Apache Beam

Benjamin.Besnier: /* Demonstration */

2018-12-16T20:22:23Z

Demonstration

← Older revision		Revision as of 20:22, 16 December 2018
Line 176:		Line 176:

	On a donc ici dans l'ordre : <br>		On a donc ici dans l'ordre : <br>

	La ~~réccuperation~~ des données depuis l'url donnée -> On sépare les mots un à un -> On compte le nombre d’apparition de chaque mot -> On les formate a un format lisible -> On écrit les fichiers de sortie		<b>La récupération des données depuis l'url donnée -> On sépare les mots un à un -> On compte le nombre d’apparition de chaque mot -> On les formate a un format lisible -> On écrit les fichiers de sortie</b>

	==Références==		==Références==

Benjamin.Besnier: /* Demonstration */

2018-12-16T20:21:51Z

Demonstration

← Older revision		Revision as of 20:21, 16 December 2018
Line 174:		Line 174:

	Chaque appelle a la méthode apply(), réaliser une tranformation (Ptransform)		Chaque appelle a la méthode apply(), réaliser une tranformation (Ptransform)

			On a donc ici dans l'ordre : <br>
			La réccuperation des données depuis l'url donnée -> On sépare les mots un à un -> On compte le nombre d’apparition de chaque mot -> On les formate a un format lisible -> On écrit les fichiers de sortie

	==Références==		==Références==

Benjamin.Besnier: /* Demonstration */

2018-12-16T20:18:18Z

Demonstration

← Older revision		Revision as of 20:18, 16 December 2018
Line 32:		Line 32:

	Dans cette démonstration, on va lancer un pipeline permettant de récuperer certains texte de shakespeare commen données d'entrée pour ensuite avec le nombre d'apparition de chaque mot en sortie.		Dans cette démonstration, on va lancer un pipeline permettant de récuperer certains texte de shakespeare commen données d'entrée pour ensuite avec le nombre d'apparition de chaque mot en sortie.
			Un pipeline comprend deux type de données :
			*Ptransforme : Constitue une étape du pipeline (i.e un traitement sur les données reçu)
			*Pcollection : Représentation des données dans le pipeline suite à une transformation, peut être fini ou infinie

	~~Prérequi~~ pour Java :		Prérequis pour Java :
	*Java		*Java
	*Maven		*Maven
Line 126:		Line 129:
	// in its dependencies.		// in its dependencies.
	PipelineOptions options = PipelineOptionsFactory.create();		PipelineOptions options = PipelineOptionsFactory.create();

	// In order to run your pipeline, you need to make following runner specific changes:
	//
	// CHANGE 1/3: Select a Beam runner, such as BlockingDataflowRunner
	// or FlinkRunner.
	// CHANGE 2/3: Specify runner-required options.
	// For BlockingDataflowRunner, set project and temp location as follows:
	// DataflowPipelineOptions dataflowOptions = options.as(DataflowPipelineOptions.class);
	// dataflowOptions.setRunner(BlockingDataflowRunner.class);
	// dataflowOptions.setProject("SET_YOUR_PROJECT_ID_HERE");
	// dataflowOptions.setTempLocation("gs://SET_YOUR_BUCKET_NAME_HERE/AND_TEMP_DIRECTORY");
	// For FlinkRunner, set the runner as follows. See {@code FlinkPipelineOptions}
	// for more details.
	// options.as(FlinkPipelineOptions.class)
	// .setRunner(FlinkRunner.class);

	// Create the Pipeline object with the options we defined above		// Create the Pipeline object with the options we defined above
Line 183:		Line 171:

	</source>		</source>


			Chaque appelle a la méthode apply(), réaliser une tranformation (Ptransform)

	==Références==		==Références==

Benjamin.Besnier: /* Demonstration */

2018-12-16T20:15:11Z

Demonstration

@@ Line 55: / Line 55: @@
 Elle peut être exécuté de la façon suivante :
  mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.MinimalWordCount
 ==Références==

Benjamin.Besnier: /* Demonstration */

2018-12-16T20:13:45Z

Demonstration

← Older revision		Revision as of 20:13, 16 December 2018
Line 50:		Line 50:
	Il y a alors une classe java appelée MinimalWordCount.java		Il y a alors une classe java appelée MinimalWordCount.java

	Celle-ci peut être représenté par le pipeline suivant :		Celle-ci peut être représenté par le pipeline suivant : <br>
	[[File:PipelineBeam.png]]		[[File:PipelineBeam.png]]

Benjamin.Besnier: /* Demonstration */

2018-12-16T20:13:16Z

Demonstration

← Older revision		Revision as of 20:13, 16 December 2018
Line 51:		Line 51:

	Celle-ci peut être représenté par le pipeline suivant :		Celle-ci peut être représenté par le pipeline suivant :
	[[File:~~Pipeline~~.png]]		[[File:PipelineBeam.png]]

	Elle peut être exécuté de la façon suivante :		Elle peut être exécuté de la façon suivante :

Benjamin.Besnier: /* Demonstration */

2018-12-16T20:12:58Z

Demonstration

← Older revision		Revision as of 20:12, 16 December 2018
Line 51:		Line 51:

	Celle-ci peut être représenté par le pipeline suivant :		Celle-ci peut être représenté par le pipeline suivant :
	[[File:Pipeline.~~jpg~~]]		[[File:Pipeline.png]]

	Elle peut être exécuté de la façon suivante :		Elle peut être exécuté de la façon suivante :

Benjamin.Besnier: /* Demonstration */

2018-12-16T20:10:51Z

Demonstration

← Older revision		Revision as of 20:10, 16 December 2018
Line 49:		Line 49:

	Il y a alors une classe java appelée MinimalWordCount.java		Il y a alors une classe java appelée MinimalWordCount.java

			Celle-ci peut être représenté par le pipeline suivant :
			[[File:Pipeline.jpg]]

			Elle peut être exécuté de la façon suivante :
			mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.MinimalWordCount

	==Références==		==Références==

Benjamin.Besnier: /* Demonstration */

2018-12-16T20:09:31Z

Demonstration

← Older revision		Revision as of 20:09, 16 December 2018
Line 48:		Line 48:
	-DinteractiveMode=false		-DinteractiveMode=false

			Il y a alors une classe java appelée MinimalWordCount.java

	==Références==		==Références==