air - User contributions [en]

PM2M-2016-LoRaMote/Suivi

2016-04-12T16:38:21Z

SAHUC.Alexandre: /* Photos et Vidéo */

'''LoRaMote Wyres'''

Etudiants [[PM2M/2016/TP|M2PGI PM2M]]: Erwan CROZE - Alexandre SAHUC

Dépôt Git : [https://github.com/PM2M2016-MOTES/PM2M2016-MOTES '''github''']

Documents : [[Media:PM2M-2016-LoRaMote.pdf|Rapport]] - [[Media:PM2M-2016-LoRaMote-slides.pdf|Transparents]] - [[Media:PM2M-2016-LoRaMote-flyer.pdf|Flyer]] - Video

=Contexte=
Ce projet est réalisé dans le cadre de l'UE M2M du Master 2 P GI.

=Objectif du projet=
Le but (initial) du projet est de faire comminquer deux motes Wyres entres elles

=Matériel utilisé=
* Motes Wyres
* Gateway(carte SX1301 IMST iC880A)
* AWS EC2

=Technologies utilisées (initialement) =
* [[AWS EC2]]
* [[TheThingNetwork]]
** utilise [[RabbitMQ]]
** utilise [[MongoDB]]
** utilise [[Node-RED]]

=Technologies utilisées =
* LoRa
* TheThingNetwork : un serveur clé en main pour la gestion des paquets LoRa envoyés via UDP.
** utilise RabbitMQ
** utilise MongoDB
** Les modules permettant la réception des paquets LoRa (croft) et leur stockage en base (jolie) sont écrits en Go.
* La partie visualisation des data est écrit en Javascript, avec un back-end utilisant NodeJS.
* Les programmes client permettant de récupérer des données des PC et de les envoyer sur la gateway sont écrits en C.

=Plan de développement=
==Mise en place de la gateway==
* Installation du packet_forwarder pour la carte [[IMST iC880A]] sur le RPI

==Mise en place de l'infrastructure==
* Création d'un compte sur [[AWS EC2]]
* Déployer [[TheThingNetwork]] sur une instance t2.micro gratuite
* Visualiser les métriques radio avec [[Grafana]]

==Traitement des données==
* Décoder le payload des messages envoyés par les motes Wyres avec un flow [[Node-RED]]
* Visualiser les données des motes Wyres avec [[Grafana]]
* Décoder le payload des messages envoyés par les LoRaMotes Semtech avec un flow [[Node-RED]]
* Visualiser les données des LoRaMotes Semtech avec [[Grafana]] et les positions avec [[Kibana]]

=Expérimentations et Résultats=
* 8/03 : Nous recevons les Motes et une documentation fournie par M. Donsez. Notre première tâche sera donc de communiquer via le port USB/série afin de pouvoir envoyer des commandes aux Motes.

* 15/03 : La machine Amazon a été démarrée dans la semaine et nous avons installé dessus NodeJS, InfluxDB et Grafana, la base (a priori) nécessaire pour le traitement des paquets LoRa coté serveur. Du coté des Motes, nous essayons tant bien que mal de communiquer avec le port série et le développement d'un logiciel nous simplifiant la tâche est en cours. Nous décidons aussi que le but du projet sera de remonter les données des capteurs internes des Motes au serveur Amazon. Le schéma sera le suivant : L'une des Motes envoie ses données à l'autre en pair à pair. Cette dernière, reliée à internet (au moyen d'un partage de connexion si nécessaire) enverra ces données sur le serveur Amazon où l'utilisateur pourra les visualiser.

* 22/03 : Après un petit échange avec M. Boulet dans la semaine, nous apprenons que les motes ne peuvent pas communiquer en pair à pair. Il nous faudra donc une gateway afin d'établir un réseau LoRa. Nous en informons M. Donsez qui nous donne la gateway en fin de séance. Du côté Motes, le programme (serialcom) permettant d'envoyer des commandes au motes est terminé.

* 29/03 : Durant la semaine, nous avons intallé le packet forwarder sur la raspberry. Sur la machine Amazon, nous installons TheThingsNetwork. Nous décidons de modifier légèrement le projet pour pouvoir utiliser une version locale de croft et jolie que l'on pourra donc modifier. Par ailleurs, un coup de fil de M. Boulet nous apprend qu'il n'est pas possible de remonter les données des capteurs internes des Motes. Qu'à cela ne tienne, nous décidons donc d'utiliser les motes pour remonter des données de nos propres ordinateurs. Un nouveau problème se présente : TheThingsNetwork utilise MongoDB et non InfluxDB. Or, MongoDB n'est pas supporté par Grafana, initialement prévu pour visualiser les données en base. Il nous faudra donc trouver un autre outil pour visualiser ces données.

En fin de séance, les Motes communiquent avec la gateway ! Cette dernière envoie même les paquets sur la machine Amazon mais elles sont chiffrées. Nous allons donc devoir résoudre 3 problèmes :
* Il n'existe pas de véritable outil pour visualiser des données stockées dans MongoDB.
* Trouver un moyen pour récupérer les données de nos ordinateurs et les envoyés sur la gateway via les Motes.
* Déchiffrer les données des paquets.

* 5/04 :
La partie visualisation du serveur est terminée. Nous nous sommes basés sur un projet (node-dc-mongo) utilisant NodeJS pour récupérer les données de MongoDB et dc.js, d3.js pour générer des graphes en Javascript. Le programme (sensor) aussi et peut être utilisé pour envoyer la température du PC sur la gateway. Problème : ces données sont chiffrées et nous n'avons toujours pas réussi à les déchiffrer même en utilisant la clé utilisée sur la mote.

=Photos et Vidéo=
[[File:Motes.png]]
[[File:Motes_bas.png]]
[[File:Gateway.jpeg|1380px]]
[[File:Motes_Wyres.jpeg|1380px]]

PM2M-2016-LoRaMote/Suivi

2016-04-12T14:07:47Z

SAHUC.Alexandre: /* Photos et Vidéo */

File:Motes bas.png

2016-04-12T14:04:29Z

SAHUC.Alexandre: Motes deuxième partie

Motes deuxième partie

File:Motes.png

2016-04-12T14:03:49Z

SAHUC.Alexandre: Motes première partie

Motes première partie

PM2M/2016/TP

2016-04-12T12:38:42Z

SAHUC.Alexandre: /* Sujets des mini-projets */

Page 2016 des supports de cours et travaux pratiques de l'UE [[Projets M2PGI Services Machine-to-Machine]].

Enseignants 2016 : Didier Donsez, Laurent Lemke

Partie démarrant le 1er Mars 2016 en F112.

Soutenance : 12 Avril 2016 de 13H30 à 17H30.

Rendu fiche de synthèse : 12 Avril 2016 de 13H00

Le mini-projet réalisé en séance a pour objectif la mise en place rapide et agile d'une infrastructure (matérielle et logicielle) de collecte de données capteur. Les mesures de capteurs distribués sont acquises par des dispositifs embarqués et sont remontés vers des serveurs de données hébergés dans un cluster sur un cloud public pour y être analysées (Big Data Analytics) et visualisées (dataviz).

==Support de cours==
* [http://membres-liglab.imag.fr/donsez/pub/publi/intergiciels-iot.pdf Intergiciels pour l'IoT]
* [http://membres-liglab.imag.fr/donsez/cours/openhab.pdf La plateforme OpenHAB]
* [http://membres-liglab.imag.fr/donsez/cours/osgi.pdf La plateforme de services OSGi]

==Etapes==
* Tutoriel [[OSGi]]
* [[UE_PEIP_L1|Tutoriel Arduino]]
* Installation d'[[OpenHAB]]
** [https://www.dropbox.com/s/9qdsnvtfo3tiaj7/openhab%2Barduino.zip OpenHAB+Arduino]
* Installation de [[Mosquitto]]
** Tutoriel [[MQTT]] : https://docs.google.com/presentation/d/1N9OiMxiVWPbsVrAcPfT-J0k1o7a-neIp7TVFGa6AkWM/edit?pli=1#slide=id.g1d409a344_09
* Installation de [[Node-RED]]
** et ses extensions [http://flows.nodered.org/node/node-red-contrib-rfxcom Rfxcom], [http://flows.nodered.org/node/node-red-contrib-influxdb Influxdb], [http://flows.nodered.org/node/node-red-contrib-eddystone Eddystone], [http://flows.nodered.org/node/node-red-node-sensortag Sensortag], [http://flows.nodered.org/node/node-red-contrib-openzwave ZWave], [http://flows.nodered.org/node/node-red-contrib-bleacon iBeacon], PubNub, IFTTT, * [http://flows.nodered.org/node/node-red-contrib-amqp AMQP] ... et [http://flows.nodered.org/ autres] (en fonction de votre projet).
* Installation de dashboard de visualisation [[InfluxDB]], [[Grafana]], [[Chronograf]], [[Telegraf]], [[Kapacitor]]
* Installation de la suite [[Logstash]], [[Elastic Search]] et [[Kibana]]
* Création de comptes sur [[Amazon EC2]], [[PubNub]], [[IFTTT]] Maker, [[Streamdata.io]], [https://data.sparkfun.com/streams/make Sparkfun Data] ...
* Installation de [[Spark]]

'''Remarque : pour gagner du temps, utilisez [[Docker]] pour le déploiement des (micro-)services et [[Puppet]] pour la configuration de ceux si c'est nécessaire'''.

'''Remarque TRES TRES importante: ne sauvegardez pas les crédentials des services cloud que vous utilisez (AWS, Twitter, ...) dans des dépôts git publiques : placez les dans des documents credentials.json, credentials.properties, credentials.sh, ... et ajoutez les ces documents à .gitignore'''.

==Fiche de synthèse==
Synthétiser un des sujets suivants en 1 page maximum. La page doit être une entrée du wiki. Chaque synthèse est individuelle.
* [[SARAH]] (BUCHS Thibaud)
* [[WirelessHART]] (= BAYLE Stéphane)
* [[Weightless]] (= AIT-MOULOUD Amine)
* [[OpenRF]] (= Jean-Yves Bottraud)
* [[WMBus]]
* [[Thread]] (Google) (= GUERIN Cedric )
* [[LoRaWAN]] (= BERGER Stéphane)
* [[NB-IoT]]
* [[NB-LTE]]
* [[HaLow]] (=SUN Huanan)
* [[Iridium]] (= DONIAS Pierre)
* [[Apple Homekit]]
* [[AllJoyn]](= MAKHLOUF Mehdi)
* [[OneM2M]]
* [[OPC-UA]]
* [[DTN|Delay Tolerant Networks]] (= RUKUNDO Fiston)
* [[Radio Data System]] (= ABHAMON Ronan)
* [[Tetra Radio]]
* [[IPSO]] (= CROZE Erwan)
* [[GeoJSON]] (= AZOUZI Marwen)
* [[Avro]] (= FAURE Adrien)
* [[Thrift]] (= FAURE Maximilien)
* [[Protobuf]] (= ZAKARI TOURE Ismael)
* [[Apache Flume]] (= MARQUE Bastien)
* [[Apache Zeppelin]] (= BIGARD Florian)
* [[Kaa]]
* [[Hypercat]] (= CHARTIER Aurélien)
* [[Jupyter]] (= SAHUC Alexandre)
* [[AWS IoT]] (= DIAGNE El Hadji Malick)
* [[Brillo]] (= MENGOLI Jean-Luc)
* [[EVRYTHNG]] (= OLVERA BADILLO Angélica)
* [[OGC SensorThings]]
* [[Zephyr Project]]
* [[OpenEnergyMonitor]] (= Loïc FAGNO)
* [[PlatformIO]](= BANWARTH Pierre)
...

==Capteurs et Actionneurs==
[[Image:Genuino101.jpg|200px|thumb|right|Genuino 101]]
# STM32 Nucleo + Shield LoRa SX1276 + Shield Météo
# STM32 Nucleo + Shield NFC + Shield BLE (avec [http://www.eclipse.org/paho/clients/android/sample/ client Android MQTT])
# STM32 Nucleo + [[SparkFun FM Tuner Evaluation Board - Si4703|Récepteur RDS]] + [[ESP8266]]
# Sensors ZWave + Clé ZWave
# Sensors RFXCom 433MHz + Clé RFXCom 433MHz
# STM32 Nucleo + Shield BLE (capture de beacons [[iBeacon]] & [[AltBeacon]]) (avec [http://www.eclipse.org/paho/clients/android/sample/ client Android MQTT])
# Sensors [[enOcean]] (à vérifier auprès de Jérôme Maisonnasse)
# Sensors [[Zigbee]] (à vérifier auprès de Jérôme Maisonnasse)
# Sensors [[XBee]] (à vérifier auprès de Jérôme Maisonnasse)
# Carte Wifi [[ESP8266]] (IDE Arduino) + Shield [[OpenEnergyMonitor]]
# Carte Wifi [[ESP8266]] ([[Lua]]) + Shield [[OpenEnergyMonitor]]
# Carte de démonstration [[SigFox]]
# Carte [[Intel Curie]] [[Genuino 101]] (avec [http://www.eclipse.org/paho/clients/android/sample/ client Android MQTT])
# Carte [[Intel Curie]] [[Genuino 101]] (avec [http://www.eclipse.org/paho/clients/android/sample/ client Android MQTT]) +Ceinture cardio [http://www.decathlon.fr/cardio-bluetooth-smart-40-id_8288269.html Geonaute]
# Carte Xadow GSM+BLE du [[RePhone]] (voir [http://www.instructables.com/id/ArduinoPhone-20-an-Open-Source-Mobile-Phone-Based-/ ArduinoPhone 2.0])
# Carte LoRa

==Mini-Projet==
[[Image:M2MArchi2015-001.jpg|200px|right|thumb|Architecture Mini-Projet]]

Ce mini-projet consiste a mettre en place une infrastructure de collecte de données capteur. L'acquisition des mesures de capteurs distribués se fait sur une carte [[STM32 Nucleo]], sur une carte [[Intel Galileo]] ou sur un téléphone Android. Les technologies de comminucation sont : USB Serial, BLE, [[LoRa]], Ethernet, WiFi. Les données sont remontées dans des messages vers un serveur ([[Node-RED]]) via un "broker" [[PubSub]] ([[MQTT]] ([[Mosquitto]] ou [[RabbitMQ]]), [[Apache Kafka]], [[PubNub]], [[PubSubHubbub]], [[Socket.io]], [[WebRTC]] ...). Les formats des messages peuvent être [[JSON]] ([[GeoJSON]]), [[BSON]], [[CSV]], [[NMEA 0183]], binaire, [[XML]] ([[EEML]], [[KML]], [[Adaptive Machine Messaging Protocol (AMMP)|AMMP]] ...) ... Les données peuvent être stockées dans une base de données (SQL ou [[NoSQL]] comme [[MongoDB]], [[Redis.io]], [[InfluxDB]], ...) et visualisées en différé ou en direct ([[Grafana]], [[D3.js]], [[OpenHAB]] via le connecteur [[MQTT]], [[Bootleaf]] pour les données géolocalisées ...)

===Sujets des mini-projets===

{|class="wikitable alternance"
|+ Affectation des projets PM2M 2015-2016
|-
|
!scope="col"| Sujet
!scope="col"| Étudiants
!scope="col"| Fiche de suivi
!scope="col"| Dépôt git
!scope="col"| Documents
!scope="col"| Matériel
|-

!scope="row"| 1
| Géolocalisation Outdoor sans GPS
| AVRIL Sébastien, BOTTRAUD Jean-Yves, FAGNO Loïc, BERGER Stéphane
| [[PM2M-2016-GeolocOutdoor/Suivi| '''Fiche''']]
| [https://github.com/PM2M-2016-GeolocOutdoor/pm2m '''github''']
| [[Media:PM2M-2016-GeolocOutdoor.pdf|Rapport]] - [[Media:PM2M-2016-GeolocOutdoor-slides.pdf|Transparents]] - [[Media:PM2M-2016-GeolocOutdoor-flyer.pdf|Flyer]]
| Cartes [[STM32 Nucleo]] (x4), Shield MBed [[LoRa]] SX1276 (x4), Semtech LoRaMote (x2)
|-

!scope="row"| 2
| Monitoring de consommation électrique avec [[OpenEnergyMonitor]]
| AZOUZI MARWEN, FAURE ADRIEN

| [[PM2M-2016-Presence/Suivi| '''Fiche''']]
| [https://github.com/PM2M-2016-Presence/pm2m '''github''']
| [[Media:PM2M-2016-Presence.pdf|Rapport]] - [[Media:PM2M-2016-Presence-slides.pdf|Transparents]] - [[Media:PM2M-2016-Presence-flyer.pdf|Flyer]]
| ESP8266 + Current Sensor + FTDI + Breadboard
|-

!scope="row"| 3
| Feuille de présence apprenti NFC
| FAURE MAXIMILIEN, MARQUE BASTIEN

| [[PM2M-2016-NFCApprenti/Suivi| '''Fiche''']]
| [https://github.com/PM2M-2016-NFCApprenti/pm2m '''github''']
| [[Media:PM2M-2016-NFCApprenti.pdf|Rapport]] - [[Media:PM2M-2016-NFCApprenti-slides.pdf|Transparents]] - [[Media:PM2M-2016-NFCApprenti-flyer.pdf|Flyer]]
| BBB + Lecteur NFC ACR 211 + Tags NFC
|-

!scope="row"| 4
| LoRaMote Wyres
| SAHUC Alexandre, CROZE Erwan

| [[PM2M-2016-LoRaMote/Suivi| '''Fiche''']]
| [https://github.com/PM2M2016-MOTES/PM2M2016-MOTES '''github''']
| [[Media:PM2M-2016-LoRaMote.pdf|Rapport]] - [https://github.com/PM2M2016-MOTES/PM2M2016-MOTES/blob/master/expo/expoM2M.pdf '''Transparents'''] - [[Media:PM2M-2016-LoRaMote-flyer.pdf|Flyer]]
| 2 Motes Wyres + RPI1 + 1 LoRaMote Semtech + 1 carte SX1301 [[IMST iC880A]] (FTDI)
|-

!scope="row"| 5
| Méteo 433 MHz
| CHARTIER Aurelien, MENGOLI JEAN-LUC
| [[PM2M-2016-Meteo433/Suivi| '''Fiche''']]
| [https://github.com/PM2M2016-CHARTIER-MENGOLI/M2M_Projet '''github''']
| [[Media:PM2M-2016-Meteo433.pdf|Rapport]] - [[Media:M2M-Chartier-Mengoli_Presentation.pptx|Transparents]] - [[Media:PM2M-2016-Meteo433-flyer.pdf|Flyer]]
| BBB + RFXCom + 2 Sondes (UV, Thermo) + Modules TxRx 433
|-

!scope="row"| 6
| Lecteur NFC Sigfox (Application : Gestion des rondes de surveillance)
| AIT-MOULOUD Amine, GUERIN CEDRIC
| [[PM2M-2016-NFCSigfox/Suivi| '''Fiche''']]
| [https://github.com/PM2M-2016-NFCSigfox/pm2m '''github''']
| [[Media:PM2M-2016-NFCSigfox.pdf|Rapport]] - [[Media:PM2M-2016-NFCSigfox-slides.pdf|Transparents]]
| Platine Snooplab Areku [[SigFox]] + Shield [[NFC]] + Tag NFC
|-

!scope="row"| 7
| Collecte et analyse de messages RDS par radio FM
| ABHAMON Ronan, BIGARD FLORIAN
| [[PM2M-2016-RDSMining/Suivi| '''Fiche''']]
| [https://github.com/PM2M2016-A-B/ '''github''']
| [https://github.com/PM2M2016-A-B/FM-tuner/blob/master/README.md '''Rapport'''] - [[Media:Pres.pdf|Transparents]]
| [[BeagleBone Black]] + [[SparkFun FM Tuner Evaluation Board - Si4703|Sparkfun FM Tuner]] + Ecran [[Graphic LCD 84x48 - Nokia 5110]]
|-

!scope="row"| 8
| Serrure intelligente - voir [[Touchkey]] & [[SmartSelfService/FicheSuivi2014|SmartSelfService]]
| BAYLE STEPHANE, BUCHS THIBAUD, MAKHLOUF MEHDI
| [[PM2M-2016-NfcCoffrefortStm32Nucleo/Suivi| '''Fiche''']]
| [https://github.com/PM2M2016-STM32NUCLEO/M2M '''github''']
| [[Media:PM2M-2016-NfcCoffrefort-slides.pdf|Transparents]]
| [[STM32 Nucleo]] + Shield Nucleo [[NFC]] + [[Raspberry Pi]] + Coffre-fort de [[FabMSTIC]]
|-

!scope="row"| 9
| Compteur de passage de véhicules avec [[OpenCV]] (A CONFIRMER)
| OLVERA BADILLO ANGELICA, RUKUNDO Fiston, SUN HUANAN
| [[PM2M-2016-CompteurVehicules/Suivi| '''Fiche''']]
| [https://github.com/AngieMoomin/PM2M2016-Galileo '''github''']
| [[Media:PM2M-2016-XXXXX.pdf|Rapport]] - [[Media:PM2M-2016-XXXXX-slides.pdf|Transparents]] - [[Media:PM2M-2016-XXXXX-flyer.pdf|Flyer]]
| [[Intel Galileo]] + Alim 5V + Module Wifi [[ESP8266]] + WebCam USB
|-

!scope="row"| 10
| Culture Hydroponique
| BANWARTH PIERRE, DONIAS PIERRE
| [[PM2M-2016-CultureHydroponique/Suivi| '''Fiche''']]
| [https://github.com/PierreBanwarth/M2M_E-Grow '''github''']
| [[Media:PM2M-2016-CultureHydroponique.pdf|Rapport]] - [[Media:PM2M-2016-CultureHydroponique-slides.pdf|Transparents]] - [[Media:PM2M-2016-CultureHydroponique-flyer.pdf|Flyer]]
| Arduino Uno, Pompe Peristalique, LEDs, Enceintes, Capteur Ultrason, 2 raspberry pi 2, [[AgriSensor_:_Arduino-Based_Sensor_for_Agriculture|AgriSensor]]

|-

!scope="row"| 11
| Capteurs XBee
| DIAGNE EI HADJI MALICK, ZAKARI TOURE ISMAEL
| [[PM2M-2016-XBee/Suivi| '''Fiche''']]
| [https://github.com/PM2M-2016-XBee/pm2m '''github''']
| [[Media:PM2M-2016-XBee.pdf|Rapport]] - [[Media:PM2M-2016-XBee-slides.pdf|Transparents]] - [[Media:PM2M-2016-XBee-flyer.pdf|Flyer]]
| [[Arduino FIO]] + FTDI + 2 [[XBee S1]] + Xbee Explorer
|-

|}

==Contenu général des mini-projets==
Les équipes ne font qu'une partie des manipulations en fonction du sujet du mini-projet affecté.

====[[CoAP]] Binding for [[OpenHAB]]====
* avec [[Californium]]
* avec https://github.com/eclipse/californium/pull/25

====Extension de [[Node-RED]]====
Création ou Amélioration de Nodes
* Node Crypto (avec https://nodejs.org/api/crypto.html)
* Node [[Apache Kafka]]
* Node [[Apache Flume]]
* Node [[CoAP]]
* Node [[UPnP]]
* Node [[DTLS]] en étendant le node UDP
* Node [[Radio Data System]] pour [[SparkFun FM Tuner Evaluation Board - Si4703]]
* Node [[SigFox]] (uplink et downlink)
* Node Sérialisation/Déserialisation [[Avro]]
* Node Sérialisation/Déserialisation [[Thrift]]
* Node Sérialisation/Déserialisation [[Protobuf]]
* Node [[Phant.io]] pour [https://data.sparkfun.com/streams/make Sparkfun Data]
* Node [[Streamdata.io]]
* Node [[SensorTag2015]] (sur la base du noeud [http://flows.nodered.org/node/node-red-node-sensortag SensorTag])
* Node Provider SMS Twilio
* Node [[Provider SMS Free Mobile]]
* Node Provider SMS Orange Mobile

Le code devra être recontribué en open-source sur GitHub et catalogué dans http://flows.nodered.org/

====Déploiement sur plateforme Cloud====
Le serveur [[Node-RED]] et le "broker" [[PubSub]] [[MQTT]] ([[Mosquitto]] ou [[RabbitMQ]]) peuvent être hébergé sur une plateforme cloud comme [[Windows Azure]] ou [[Amazon EC2]], [[Heroku]], [[IBM Bluemix]] ou sur votre machine.

'''Attention, Eduroam bloque le port 1883 du protocole [[MQTT]] (entre autre).'''

====[[PubSub]] des mesures capteur avec [[Apache Kafka]]====
[[Image:GPSKafkaStormAzureDemo.png|200px|right|thumb|GPS > Kafka > Storm on Azure Demo]]
Remplacer le broker [[MQTT]] par le broker [[PubSub]] [[Apache Kafka]] qui peut fonctionner en configuration distribuée et répliquée (plusieurs serveurs sur une plateforme cloud).

====[[PubSub]] des mesures capteur avec [[Apache Flume]]====
Remplacer le broker [[MQTT]] par le broker [[PubSub]] [[Apache Flume]] qui peut fonctionner en configuration distribuée et répliquée (plusieurs serveurs sur une plateforme cloud).

====Collecte, Stockage et Visualisation des mesures capteur avec [[Logstash]], [[Elastic Search]], [[Kibana]]====

voir [http://flows.nodered.org/node/node-red-contrib-elasticsearch3 NodeRED ElasticSearch3]

====Affichage des positions avec [[Bootleaf]]====
Refactorer et améliorer [[Bootleaf]] afin de visualiser en temps réel les données géolocalisées de vos capteurs ou des traces (séries temporelles de positions). Exemple: tester la présence d'un champ latlon, latlonalt, geo, ... dans le JSON des flows [[Node-RED]].

====Analyse des mesures capteurs en temps réel avec [[Spark|Apache Spark Streaming]]====
Installer [[Spark]] sur un petit cluster EC2 (1 master et 2 slaves en Ubuntu 14.04 t2.micro).

S'inspirer du script Scala MQTTCount pour calculer des valeurs agrégées (avg, min, max) des groupes de capteurs sur des fenêtres de 5 minutes.

Faire de même avec les brokers [[Apache Kafka]] et [[Apache Flume]]

====Intégration à un ESB [[Apache Camel]]====
Compléter le tutoriel avec un déploiement de composants [[Apache Camel]]
Vous pourrez utiliser les composants suivants
* https://camel.apache.org/weather.html
* https://camel.apache.org/mqtt.html
** http://tingenek.wordpress.com/category/mqtt/
* https://camel.apache.org/rss.html
* https://camel.apache.org/esper.html
* https://camel.apache.org/mongodb.html
** https://code.google.com/a/apache-extras.org/p/camel-extra/wiki/EsperDemo
* [[InfluxDB]]

====Monitoring de votre infrastructure avec [[Telegraf]], [[InfluxDB]], [[Grafana]] et [[Kapacitor]]====

====Monitoring de votre infrastructure avec [[AWS Cloudwatch]] et [[Grafana]]====

Pour monitorer les machines qui hébergent les serveurs ([[Mosquitto]], ...) sur AWS EC2:
* Activer [[AWS Cloudwatch]]
* Configurer [[Grafana]] pour AWS Cloudwatch ([http://docs.grafana.org/v2.6/datasources/cloudwatch/ lien]).

==Soutenances==

====Planning des soutenances====
COMING SOON

====Instructions pour les soutenances des mini-projets====

* chaque soutenance dure 15 minutes comportant une présentation de 7 minutes ainsi qu'une démonstration de 5 minutes et 3 à 5 minutes de questions/réponses.
* respectez le temps donc repetez la
* remplissez le doodle pour choisir un creneau de passage
* la présentation mettra en avant
** le titre (avec les noms prénoms des binômes)
** les applications IoT cibles/envisagées
** le ou les architectures (successivement) implémentées,
** les composants logiciels et matériels utilisés,
** les métriques (langages de programmation, sloc, performance ...),
** les problèmes rencontrés et les solutions élaborées,
** la conclusion
** des perspectives possibles à votre développement.

Le code, le rapport et le PDF de la presentation doivent être livré dans un dépôt Github la veille de la soutenance.
Le rapport qui détaille les éléments de la présentation sera livré dans un README.md ou README.html dans le dépôt GitHub.

Envoyez le lien vers le dépôt Github (code + présentation) avant la soutenance.

La présentation peut-être réalisée avec [[Reveal.js]].

Pensez a répéter vos présentations.

==Projets==

==Matériel à disposition==
* [[Intel Galileo]]
* http://intel-software-academic-program.com/courses/#iot
** http://intel-software-academic-program.com/courses/diy/Intel_Academic_-_DIY_-_InternetOfThings/IntelAcademic_IoT_09_Arduino_Motor_Shield.pdf
* [[Gas Sensors]]
* [[DHT11/DHT21/DHT22 etc. Temperature & Humidity sensors]]
* [[SCL3711]] NFC Reader --> voir [[NFCpy]]
* [[Capteur de pression BMP085]]
* [[High Sensitivity Alarm Vibration Sensor Module]]
* [[PIR Motion Sensor]]
* [[BMP085 Pressure Sensor]]
* [[CC2541 SensorTag Development Kit]]
* [[Socket.io]]
* [[STM32 Nucleo]]
** Shield BlueNRG
* 2 Shields [[LoRa]] pour Arduino ([http://www.labfab.fr/portfolio/lora-fabian/ LoRaFabian]) à brancher sur Galileo et STM32 Nucleo.
** Il faut porter les sketchs Arduino https://github.com/Wi6labs/lorafabian/tree/master/ARDUINO_SKETCH via MBed et Galileo.

==Visualisation==
* [https://github.com/PaulLabat/mqtt-panel MQTT Panel]
* MQTT over Websocket
** https://www.npmjs.org/package/mqtt-ws
** http://mqtt.org/wiki/doku.php/mqtt_over_websockets
* [[Leaflet.js]] modern open-source JavaScript library for mobile-friendly interactive maps
* [[Morris.js]] Charts in Javascript
* [[Grafana]]
* [[Graphite]]
* [[Ganglia]]

==Stockage==
* [[InfluxDB]]
* [[MongoDB]]

==Liens==
* [[Intel Galileo]]
* http://wiki.eclipse.org/Eclipse_IoT_Day_Grenoble_2014
* https://github.com/SmartDollHouse
* https://twitter.com/FablabAIR

==Autres==
* [[IoTSyS]]
* [https://github.com/denschu/home.pi Home.pi]
* [[OM2M]]
* [[Gladys]]
* DEPRECATED : [[MQTT Panel]] avec [http://code.shutterstock.com/rickshaw/examples/ rickshaw]
* [https://github.com/SmartDollHouse Dépôt GitHub]
* [http://www.oezratty.net/wordpress/2016/rapport-ces-2016/ Rapport 2016 sur le CES de Olivier Ezratty]
* [[Flot Charts]]

==Galerie 2016==

==Galerie 2015==

==Galerie 2014==
[[Image:PM2M214-001.jpg|200px|PM2M 2014]][[Image:PM2M214-002.jpg|200px|PM2M 2014]][[Image:PM2M214-003.jpg|200px|PM2M 2014]][[Image:PM2M214-004.jpg|200px|PM2M 2014]][[Image:PM2M214-005.jpg|200px|PM2M 2014]][[Image:PM2M214-006.jpg|200px|PM2M 2014]][[Image:PM2M214-007.jpg|200px|PM2M 2014]][[Image:PM2M214-008.jpg|200px|PM2M 2014]]

File:ExpoM2M.pdf

2016-04-12T12:10:44Z

SAHUC.Alexandre: Présentation

Présentation

PM2M-2016-LoRaMote/Suivi

2016-04-11T18:28:40Z

SAHUC.Alexandre:

'''LoRaMote Wyres'''

Etudiants [[PM2M/2016/TP|M2PGI PM2M]]: Erwan CROZE - Alexandre SAHUC

Dépôt Git : [https://github.com/PM2M2016-MOTES/PM2M2016-MOTES '''github''']

Documents : [[Media:PM2M-2016-LoRaMote.pdf|Rapport]] - [[Media:PM2M-2016-LoRaMote-slides.pdf|Transparents]] - [[Media:PM2M-2016-LoRaMote-flyer.pdf|Flyer]] - Video

=Contexte=
Ce projet est réalisé dans le cadre de l'UE M2M du Master 2 P GI.

=Objectif du projet=
Le but (initial) du projet est de faire comminquer deux motes Wyres entres elles

=Matériel utilisé=
* Motes Wyres
* Gateway
* AWS EC2

=Technologies utilisées (initialement) =
* [[AWS EC2]]
* [[TheThingNetwork]]
** utilise [[RabbitMQ]]
** utilise [[MongoDB]]
** utilise [[Node-RED]]

=Technologies utilisées =
* LoRa
* TheThingNetwork : un serveur clé en main pour la gestion des paquets LoRa envoyés via UDP.
** utilise RabbitMQ
** utilise MongoDB
** Les modules permettant la réception des paquets LoRa (croft) et leur stockage en base (jolie) sont écrits en Go.
* La partie visualisation des data est écrit en Javascript, avec un back-end utilisant NodeJS.
* Les programmes client permettant de récupérer des données des PC et de les envoyer sur la gateway sont écrits en C.

=Plan de développement=
==Mise en place de la gateway==
* Installation du packet_forwarder pour la carte [[IMST iC880A]] sur le RPI

==Mise en place de l'infrastructure==
* Création d'un compte sur [[AWS EC2]]
* Déployer [[TheThingNetwork]] sur une instance t2.micro gratuite
* Visualiser les métriques radio avec [[Grafana]]

==Traitement des données==
* Décoder le payload des messages envoyés par les motes Wyres avec un flow [[Node-RED]]
* Visualiser les données des motes Wyres avec [[Grafana]]
* Décoder le payload des messages envoyés par les LoRaMotes Semtech avec un flow [[Node-RED]]
* Visualiser les données des LoRaMotes Semtech avec [[Grafana]] et les positions avec [[Kibana]]

=Expérimentations et Résultats=
* 8/03 : Nous recevons les Motes et une documentation fournie par M. Donsez. Notre première tâche sera donc de communiquer via le port USB/série afin de pouvoir envoyer des commandes aux Motes.

* 15/03 : La machine Amazon a été démarrée dans la semaine et nous avons installé dessus NodeJS, InfluxDB et Grafana, la base (a priori) nécessaire pour le traitement des paquets LoRa coté serveur. Du coté des Motes, nous essayons tant bien que mal de communiquer avec le port série et le développement d'un logiciel nous simplifiant la tâche est en cours. Nous décidons aussi que le but du projet sera de remonter les données des capteurs internes des Motes au serveur Amazon. Le schéma sera le suivant : L'une des Motes envoie ses données à l'autre en pair à pair. Cette dernière, reliée à internet (au moyen d'un partage de connexion si nécessaire) enverra ces données sur le serveur Amazon où l'utilisateur pourra les visualiser.

* 22/03 : Après un petit échange avec M. Boulet dans la semaine, nous apprenons que les motes ne peuvent pas communiquer en pair à pair. Il nous faudra donc une gateway afin d'établir un réseau LoRa. Nous en informons M. Donsez qui nous donne la gateway en fin de séance. Du côté Motes, le programme (serialcom) permettant d'envoyer des commandes au motes est terminé.

* 29/03 : Durant la semaine, nous avons intallé le packet forwarder sur la raspberry. Sur la machine Amazon, nous installons TheThingsNetwork. Nous décidons de modifier légèrement le projet pour pouvoir utiliser une version locale de croft et jolie que l'on pourra donc modifier. Par ailleurs, un coup de fil de M. Boulet nous apprend qu'il n'est pas possible de remonter les données des capteurs internes des Motes. Qu'à cela ne tienne, nous décidons donc d'utiliser les motes pour remonter des données de nos propres ordinateurs. Un nouveau problème se présente : TheThingsNetwork utilise MongoDB et non InfluxDB. Or, MongoDB n'est pas supporté par Grafana, initialement prévu pour visualiser les données en base. Il nous faudra donc trouver un autre outil pour visualiser ces données.

En fin de séance, les Motes communiquent avec la gateway ! Cette dernière envoie même les paquets sur la machine Amazon mais elles sont chiffrées. Nous allons donc devoir résoudre 3 problèmes :
* Il n'existe pas de véritable outil pour visualiser des données stockées dans MongoDB.
* Trouver un moyen pour récupérer les données de nos ordinateurs et les envoyés sur la gateway via les Motes.
* Déchiffrer les données des paquets.

* 5/04 :
La partie visualisation du serveur est terminée. Nous nous sommes basés sur un projet (node-dc-mongo) utilisant NodeJS pour récupérer les données de MongoDB et dc.js, d3.js pour générer des graphes en Javascript. Le programme (sensor) aussi et peut être utilisé pour envoyer la température du PC sur la gateway. Problème : ces données sont chiffrées et nous n'avons toujours pas réussi à les déchiffrer même en utilisant la clé utilisée sur la mote.

=Photos et Vidéo=

Jupyter

2016-03-29T20:31:03Z

SAHUC.Alexandre:

http://jupyter.org/

Jupyter est un projet permettant de créer et partager des documents interactifs au travers d'une application web.

== Fonctionalités ==

Cette application permet notamment de créer des documents contenant du texte, des équations; mais aussi la possibilité d'exécuter du code directement au sein des documents.

Les documents sont composés de cellules. Une cellule peut contenir un code source, du texte brut ou du texte utilisant la syntaxe du markdown git (et qui sera interprété lors du rendu). Il est possible d'exécuter le code d'une cellule dans l'éditeur afin de vérifier son résultat.
Le noyau (exécutant le code) est un processsus lié au document et non à une cellule. De ce fait, il est possible de définir une variable dans une cellule puis de l'utiliser dans une autre. Ceci permet donc de rendre la document plus lisible puisqu'il est possible de diviser le code en plusieurs cellules (et par exemple de pouvoir insérer des cellules expliquant le but du code que l'on vient d'écrire). Dans le cas où le code écrit sur le sortie standard, la cellule qui le contient est automatiquement modifée afin de faire apparaitre la sortie du script.

Jupyter offre la possibilité d'éditer un document via un éditeur web. Cet éditeur intégre un mini-gestionnaire de version pusqu'il est possible de sauvegarder l'état d'un document en définissant un checkpoint et par la suite de revenir au dernier checkpoint afin d'annuler les dernières modifications. Il es possible d'exporter les document au format Jupyter (pour ensuite pouvoir les visionner dans Jupyter Notebook Viewer, une application faisant partie du projet Jupyter et permettant de visualiser et partager les documents Jupyter), Python, HTML, Markdown, reST et PDF.

Il est possible de partager simplement un document Jupyter par mail, Dropbox, GitHub ou en utilisant Jupyter Notebook Viewer.
Il est possible d'inclure des images, des vidéos ou des widgets permettant de manipuler et visualiser les données en temps réel.

== Le projet Jupyter ==
Jupyter Notebook n'est qu'une partie du projet Jupyter. Ce dernier est composé de 4 grands sous-projets.

Jupyter Notebook, donc, pour l'édition de document en ligne.

Jupyter Nbviewer pour partager simplement des docuements édités avec Jupyter Notebook.

IPython, le noyau de référence du projet de Jupyter, permettant d'interpréter des scripts Python. D'autres noyaux sont disponibles (environ une soixantaine) mais sont développés par des tierces parties et ne sont donc pas considérés comme faisant partie intégrante du projet Jupyter.

Jupyterhub une version multi-utilisateur de Jupyter Notebook, conçu pour un usage professionnel au sein d'une entreprise ou des universités. Elle permet notamment une authentification des utilisateurs et une mise à l'échelle de l'application en déployant des conteneurs Docker préparés à l'avance.

== Installation ==
Le moyen le plus simple d'insatller Jupyter est d'utiliser Anaconda. Ananconda est un [installateur]. Il est possible de le récupérer sur leur site officiel ou au moyen de la commande :

wget https://3230d63b5fc54e62148e-c95ac804525aac4b6dba79b00b39d1d3.ssl.cf1.rackcdn.com/Anaconda-2.3.0-Linux-x86_64.sh

(version 64 bits)

Par la suite, il suffira d'exécuter le script Anaconda-2.3.0-Linux-x86_64.sh pour installer anaconda.
Une fois Anaconda installé, il suffit d'exécuter la commande

conda install jupyter

pour installer Jupyter et ses dépendances.
Anaconda n'installe que le noyau IPython (pour les scripts Python). Pour installer d'autres noyaux au sein de Jupyter, référez-vous à la documentation ([https://ipython.readthedocs.org/en/latest/install/kernel_install.html https://ipython.readthedocs.org/en/latest/install/kernel_install.html])

Pour lancer Jupyter, un simple

jupyter notebook

suffit. Vous pouvez maintenant accéder à l'éditeur sur localhost:8888/tree.

Jupyter

2016-03-28T20:48:48Z

SAHUC.Alexandre:

http://jupyter.org/

Jupyter est un projet permettant de créer et partager des documents interactifs au travers d'une application web.

== Fonctionalités ==

Cette application permet notamment de créer des documents contenant du texte, des équations; mais aussi la possibilité d'exécuter du code directement au sein des documents.

Les documents sont composés de cellules. Une cellule peut contenir un code source, du texte brut ou du texte utilisant la syntaxe du markdown git (et qui sera interprété lors du rendu). Il est possible d'exécuter le code d'une cellule dans l'éditeur afin de vérifier son résultat.
Le noyau (exécutant le code) est un processsus lié au document et non à une cellule. De ce fait, il est possible de définir une variable dans une cellule puis de l'utiliser dans une autre. Ceci permet donc de rendre la document plus lisible puisqu'il est possible de diviser le code en plusieurs cellules (et par exemple de pouvoir insérer des cellules expliquant le but du code que l'on vient d'écrire). Dans le cas où le code écrit sur le sortie standard, la cellule qui le contient est automatiquement modifée afin de faire apparaitre la sortie du script.

Jupyter offre la possibilité d'éditer un document via un éditeur web. Cet éditeur intégre un mini-gestionnaire de version pusqu'il est possible de sauvegarder l'état d'un document en définissant un checkpoint et par la suite de revenir au dernier checkpoint afin d'annuler les dernières modifications. Il es possible d'exporter les document au format Jupyter (pour ensuite pouvoir les visionner dans Jupyter Notebook Viewer, une application faisant partie du projet Jupyter et permettant de visualiser et partager les documents Jupyter), Python, HTML, Markdown, reST et PDF.

Il est possible de partager simplement un document Jupyter par mail, Dropbox, GitHub ou en utilisant Jupyter Notebook Viewer.
Il est possible d'inclure des images, des vidéos ou des widgets permettant de manipuler et visualiser les données en temps réel.

== Architecture ==
Les documents Jupyter sont enregistrés dans un format ouvert basé sur JSON.

Il dialoguent avec le noyau via l'Interactive Computing Protocol, un protocole ouvert basé sur des données JSON échangées via ZMQ ou par WebSockets.

Le noyau est un processus chargé d'interprété le code saisi dans les documents et de renvoyer la sortie. Le noyau supporte plus de 40 langages dont Python, R, Julia et Scala.

== Installation ==
Le moyen le plus simple d'insatller Jupyter est d'utiliser Anaconda. Ananconda est un [installateur]. Il est possible de le récupérer sur leur site officiel ou au moyen de la commande :

wget https://3230d63b5fc54e62148e-c95ac804525aac4b6dba79b00b39d1d3.ssl.cf1.rackcdn.com/Anaconda-2.3.0-Linux-x86_64.sh

(version 64 bits)

Par la suite, il suffira d'exécuter le script Anaconda-2.3.0-Linux-x86_64.sh pour installer anaconda.
Une fois Anaconda installé, il suffit d'exécuter la commande

conda install jupyter

pour installer Jupyter et ses dépendances.
Anaconda n'installe que le noyau IPython (pour les scripts Python). Pour installer d'autres noyaux au sein de Jupyter, référez-vous à la documentation ([https://ipython.readthedocs.org/en/latest/install/kernel_install.html https://ipython.readthedocs.org/en/latest/install/kernel_install.html])

Pour lancer Jupyter, un simple

jupyter notebook

suffit. Vous pouvez maintenant accéder à l'éditeur sur localhost:8888/tree.

Jupyter

2016-03-28T20:47:23Z

SAHUC.Alexandre: Spawn

http://jupyter.org/

Jupyter est un projet permettant de créer et partager des documents interactifs au travers d'une application web.

== Fonctionalités ==

Cette application permet notamment de créer des documents contenant du texte, des équations; mais aussi la possibilité d'exécuter du code directement au sein des documents.

Les documents sont composés de cellules. Une cellule peut contenir un code source, du texte brut ou du texte utilisant la syntaxe du markdown git (et qui sera interprété lors du rendu). Il est possible d'exécuter le code d'une cellule dans l'éditeur afin de vérifier son résultat.
Le noyau (exécutant le code) est un processsus lié au document et non à une cellule. De ce fait, il est possible de définir une variable dans une cellule puis de l'utiliser dans une autre. Ceci permet donc de rendre la document plus lisible puisqu'il est possible de diviser le code en plusieurs cellules (et par exemple de pouvoir insérer des cellules expliquant le but du code que l'on vient d'écrire). Dans le cas où le code écrit sur le sortie standard, la cellule qui le contient est automatiquement modifée afin de faire apparaitre la sortie du script.

Jupyter offre la possibilité d'éditer un document via un éditeur web. Cet éditeur intégre un mini-gestionnaire de version pusqu'il est possible de sauvegarder l'état d'un document en définissant un checkpoint et par la suite de revenir au dernier checkpoint afin d'annuler les dernières modifications. Il es possible d'exporter les document au format Jupyter (pour ensuite pouvoir les visionner dans Jupyter Notebook Viewer, une application faisant partie du projet Jupyter et permettant de visualiser et partager les documents Jupyter), Python, HTML, Markdown, reST et PDF.

Il est possible de partager simplement un document Jupyter par mail, Dropbox, GitHub ou en utilisant Jupyter Notebook Viewer.
Il est possible d'inclure des images, des vidéos ou des widgets permettant de manipuler et visualiser les données en temps réel.

== Architecture ==
Les documents Jupyter sont enregistrés dans un format ouvert basé sur JSON.

Il dialoguent avec le noyau via l'Interactive Computing Protocol, un protocole ouvert basé sur des données JSON échangées via ZMQ ou par WebSockets.

Le noyau est un processus chargé d'interprété le code saisi dans les documents et de renvoyer la sortie. Le noyau supporte plus de 40 langages dont Python, R, Julia et Scala.

== Installation ==
Le moyen le plus simple d'insatller Jupyter est d'utiliser Anaconda. Ananconda est un [installateur]. Il est possible de le récupérer sur leur site officiel ou au moyen de la commande :

wget https://3230d63b5fc54e62148e-c95ac804525aac4b6dba79b00b39d1d3.ssl.cf1.rackcdn.com/Anaconda-2.3.0-Linux-x86_64.sh

(version 64 bits)

Par la suite, il suffira d'exécuter le script Anaconda-2.3.0-Linux-x86_64.sh pour installer anaconda.
Une fois Anaconda installé, il suffit d'exécuter la commande

conda install jupyter

pour installer Jupyter et ses dépendances.
Anaconda n'installe que le noyau IPython (pour les scripts Python). Pour installer d'autres noyaux au sein de Jupyter, référez-vous à la documentation ([https://ipython.readthedocs.org/en/latest/install/kernel_install.html https://ipython.readthedocs.org/en/latest/install/kernel_install.html])

Pour lancer Jupyter, un simple

jupyter notebook

suffit. Vous pouvez maintenant accéder à l'éditeur sur [localhost:8888/tree localhost:8888/tree].