Spark - Revision history

Donsez: /* Programmation interactive en Scala */

2016-05-25T19:26:32Z

Programmation interactive en Scala

← Older revision		Revision as of 19:26, 25 May 2016
Line 44:		Line 44:
	[[Image:SparkUI.png\|300px\|right\|thumb\|Spark UI]]		[[Image:SparkUI.png\|300px\|right\|thumb\|Spark UI]]

			<source lang="scala">
	<pre>
	sc.parallelize(1 to 10000000).count()		sc.parallelize(1 to 10000000).count()
	</~~pre~~>		</source>

			<source lang="scala">
	<pre>
	val NUM_SAMPLES = 10000		val NUM_SAMPLES = 10000
	val count = sc.parallelize(1 to NUM_SAMPLES).map{i =>		val count = sc.parallelize(1 to NUM_SAMPLES).map{i =>
Line 56:		Line 56:
	}.reduce(_ + _)		}.reduce(_ + _)
	println("Pi is roughly " + 4.0 * count / NUM_SAMPLES)		println("Pi is roughly " + 4.0 * count / NUM_SAMPLES)
	</~~pre~~>		</source>

	=Programmation interactive en [[Python]]=		=Programmation interactive en [[Python]]=

2016-05-25T19:25:52Z

En mode interactif

← Older revision		Revision as of 19:25, 25 May 2016
Line 118:		Line 118:

	Entrer dans la console le script suivant:		Entrer dans la console le script suivant:
			<source lang="scala">
	<pre>
	import org.eclipse.paho.client.mqttv3._		import org.eclipse.paho.client.mqttv3._
	import org.eclipse.paho.client.mqttv3.persist.MemoryPersistence		import org.eclipse.paho.client.mqttv3.persist.MemoryPersistence
Line 136:		Line 136:
	ssc.start()		ssc.start()
	ssc.awaitTermination()		ssc.awaitTermination()
	</~~pre~~>		</source>

	Sauvergarder le script ci-dessus dans mqttcount.scala et lancer la commande suivante		Sauvergarder le script ci-dessus dans mqttcount.scala et lancer la commande suivante

2016-05-25T19:23:36Z

Packages

← Older revision		Revision as of 19:23, 25 May 2016
Line 361:		Line 361:
	IAM profile name to launch instances under		IAM profile name to launch instances under
	</pre>		</pre>

			=Programmation=
			* [[Spark/DataFrame\|DataFrame]]

	=Packages=		=Packages=

2016-05-25T12:22:58Z

En mode interactif

← Older revision		Revision as of 12:22, 25 May 2016
Line 114:		Line 114:
	Lancer le shell de Spark		Lancer le shell de Spark
	<pre>		<pre>
	$SPARK_HOME/bin/spark-shell --jars ~~org.eclipse.paho.client.mqttv3/1.0.2/~~org.eclipse.paho.client.mqttv3-1.0.2.jar,spark-streaming-mqtt_2.11-1.6.0.jar		$SPARK_HOME/bin/spark-shell --jars org.eclipse.paho.client.mqttv3-1.0.2.jar,spark-streaming-mqtt_2.11-1.6.0.jar
	</pre>		</pre>

2016-04-29T03:35:48Z

En mode interactif

← Older revision		Revision as of 03:35, 29 April 2016
Line 143:		Line 143:
	</pre>		</pre>

	Un exemple orienté capteurs avec [[Apache Kafka]], [[Akka]], [[Apache Cassandra]], [[Spark]] : https://github.com/killrweather/killrweather		Pour continuer: un exemple orienté capteurs avec [[Apache Kafka]], [[Akka]], [[Apache Cassandra]], [[Spark]] : https://github.com/killrweather/killrweather

	=Déploiement d'un cluster Spark sur Amazon EC2=		=Déploiement d'un cluster Spark sur Amazon EC2=

2016-04-29T03:35:10Z

En mode interactif

← Older revision		Revision as of 03:35, 29 April 2016
Line 143:		Line 143:
	</pre>		</pre>

	Un exemple orienté capteurs avec [[Kafka]], [[Akka]], [[Cassandra]], [[Spark]] : https://github.com/killrweather/killrweather		Un exemple orienté capteurs avec [[Apache Kafka]], [[Akka]], [[Apache Cassandra]], [[Spark]] : https://github.com/killrweather/killrweather

	=Déploiement d'un cluster Spark sur Amazon EC2=		=Déploiement d'un cluster Spark sur Amazon EC2=

2016-04-29T03:33:56Z

En mode interactif

← Older revision		Revision as of 03:33, 29 April 2016
Line 143:		Line 143:
	</pre>		</pre>

	Un exemple orienté capteurs avec [[~~Kakfa~~]], [[Akka]], [[Cassandra]], [[Spark]] : https://github.com/killrweather/killrweather		Un exemple orienté capteurs avec [[Kafka]], [[Akka]], [[Cassandra]], [[Spark]] : https://github.com/killrweather/killrweather

	=Déploiement d'un cluster Spark sur Amazon EC2=		=Déploiement d'un cluster Spark sur Amazon EC2=

2016-04-29T03:33:25Z

En mode interactif

← Older revision		Revision as of 03:33, 29 April 2016
Line 143:		Line 143:
	</pre>		</pre>

	Un exemple orienté capteurs avec Kakfa, Akka, Cassandra, Spark : https://github.com/killrweather/killrweather		Un exemple orienté capteurs avec [[Kakfa]], [[Akka]], [[Cassandra]], [[Spark]] : https://github.com/killrweather/killrweather

	=Déploiement d'un cluster Spark sur Amazon EC2=		=Déploiement d'un cluster Spark sur Amazon EC2=

2016-04-29T03:32:51Z

En mode interactif

← Older revision		Revision as of 03:32, 29 April 2016
Line 142:		Line 142:
	$SPARK_HOME/bin/spark-shell --jars org.eclipse.paho.client.mqttv3-1.0.2.jar,spark-streaming-mqtt_2.11-1.6.0.jar --name MQTTCountScript -i mqttcount.scala		$SPARK_HOME/bin/spark-shell --jars org.eclipse.paho.client.mqttv3-1.0.2.jar,spark-streaming-mqtt_2.11-1.6.0.jar --name MQTTCountScript -i mqttcount.scala
	</pre>		</pre>

			Un exemple orienté capteurs avec Kakfa, Akka, Cassandra, Spark : https://github.com/killrweather/killrweather

	=Déploiement d'un cluster Spark sur Amazon EC2=		=Déploiement d'un cluster Spark sur Amazon EC2=

2016-02-26T12:07:45Z

Installation (depuis un Mac)

← Older revision		Revision as of 12:07, 26 February 2016
Line 19:		Line 19:
	* Cours RCP216 du CNAM http://cedric.cnam.fr/vertigo/Cours/RCP216/coursIntroduction.html		* Cours RCP216 du CNAM http://cedric.cnam.fr/vertigo/Cours/RCP216/coursIntroduction.html

	=Installation ~~(depuis un Mac)~~=		=Installation=
			==depuis un Mac==
	<pre>		<pre>
	wget http://wwwftp.ciril.fr/pub/apache/spark/spark-1.6.0/spark-1.6.0-bin-hadoop2.6.tgz		wget http://wwwftp.ciril.fr/pub/apache/spark/spark-1.6.0/spark-1.6.0-bin-hadoop2.6.tgz
Line 30:		Line 31:

	Remarque: $SPARK_HOME/bin/spark-shell et $SPARK_HOME/bin/pyspark démarrent une console web Spark UI http://localhost:4040/jobs/		Remarque: $SPARK_HOME/bin/spark-shell et $SPARK_HOME/bin/pyspark démarrent une console web Spark UI http://localhost:4040/jobs/

			==Avec [[Docker]]==
			Suivre https://hub.docker.com/r/sequenceiq/spark/

	=Programmation interactive en [[Scala]]=		=Programmation interactive en [[Scala]]=