air - User contributions [en]

File:RapportProjetOpenSmartCampus2016.pdf

2016-03-17T08:56:58Z

Rama.Codazzi:

Projets-2015-2016-OpenSmartCampus/tuto meteor

2016-03-17T08:43:32Z

Rama.Codazzi: Created page with "Nous allons, lors de ce tutoriel, utiliser un script (deploy_meteor.sh) dans le but de deployer l'application sur le serveur amazon. Vous pouvez néanmoins développer le proj..."

Nous allons, lors de ce tutoriel, utiliser un script (deploy_meteor.sh) dans le but de deployer l'application sur le serveur amazon. Vous pouvez néanmoins développer le projet en local avant de passer au deployment sur un server

Cloner le projet situé sur [https://github.com/quentin74/Smartcampus, GitHub]
git clone https://github.com/quentin74/Smartcampus.git
Se placer dans le dossier Smartcampus/meteor :
cd Smartcampus/meteor

Ouvrir le fichier deploy_meteor.sh avec un éditeur :

Dans ce fichier il faut changer la variable HOST en fonction de l'adresse sur laquelle vous voulez déployer l'application.

Pour développer en local il faut installer Meteor et installer les packages :

Installation des différents paquets nécessaires à la mise en place de l'application :
# curl https://install.meteor.com/ | sh
# meteor add meteorhacks:npm
# npm install mqtt --save
# sudo npm install fs
# meteor add bevanhunt:leaflet

Pour passer en MQTTS, il faut modifier le fichier settings.json :

#"mqtt_options" : {
# "port": <your port>,
# "host": "<your host>",
# "clientId": "GEST",
# "username": "<your username>",
# "password": "<your password>",
# "qos":1,
# "keepalive": 60,
# "reconnectPeriod": 1000,
# "protocol": "mqtts",
# "protocolVersion": 4,
# "clean": true,
# "encoding": "utf8",
# "key" : "<your key>",
# "ca" : "<your ca>",
# "rejectUnauthorized": false,
# "cert" :"<your cert>"
# }

Intégration Kadira à l'application Meteor, Dashboard disponible pour l'administrateur

Installation du package :
# meteor add meteorhacks:kadira

Ajout au settings.json

#"kadira": {
# "appId": "<your id>",
# "appSecret": "<your app>"
#}

Projets-2015-2016-OpenSmartCampus

2016-03-17T08:30:08Z

Rama.Codazzi: /* Introduction */

=Présentation du Projet=
==Introduction==
Le projet nommé smart Campus est un projet étudiant visant à rendre un domaine universitaire intelligent. Il a vu le jour il y a 3 ans et il a comme but principal de rendre plus pratique la vie sur le campus ainsi que la gestion de celui-ci.

'''Le projet en 2014-2015 :''' [http://air.imag.fr/index.php/Proj-2014-2015-SmartCampus2015 '''SmartCampus2014-2015''']

'''Le projet en 2013-2014 :''' [http://air.imag.fr/index.php/SmartCampus2014/FicheSuivi '''SmartCampus2013-2014''']

'''Tutoriel de déploiement de l'application sur Raspberry Pi''' [http://air.imag.fr/index.php/Projets-2015-2016-OpenSmartCampus/tuto_raspi '''Tutoriel installation''']

Le tutoriel ci-dessus est un résumé des étapes décrites dans les sprint ci-dessous. Grâce à ce tutoriel on obtient rapidement le flux créé sur node-red les cartes dans l'état nécessaire au fonctionnement de l'application. Après l'édition du fichier settings.json, la carte est prête à envoyer des données via MQTT.

'''Tutoriel de déploiement de l'application sur serveur(s) Ubuntu 14.04''' [http://air.imag.fr/index.php/Projets-2015-2016-OpenSmartCampus/tuto_serveur '''Tutoriel installation''']

'''Tutoriel de déploiement de l'application coté client via Meteor''' [http://air.imag.fr/index.php/Projets-2015-2016-OpenSmartCampus/tuto_meteor '''Tutoriel installation''']

==L'équipe==

'''RICM5 : '''
*Quentin Torck
*Vivien Michel
*Jérémy Hammerer
*Rama Codazzi
*Zhengmeng Zhang

'''DUT : '''
*Andréas Gillet-Pascal

'''Encadrants : '''
*Didier Donsez
*Vivien Quéma

=Organisation du Projet=
Dans le but de mener à bien notre projet, nous avons décider d'utiliser la méthode agile Scrum. Le projet étant à faire dans un court intervalle de temps (2 mois), nous avons décidé de faire des sprints d'une semaine chacun.

==Sprint 1 (du 25 Janvier au 31 Janvier)==
Matériel récupéré:
* Gateways
** [[Raspberry Pi]] 2 + Alimentation 5V DC
* [[ZWave]]
** Clé USB Sigma ZWave
** [http://www.domadoo.fr/fr/peripheriques/2921-aeon-labs-detecteur-multifonctions-6-en-1-multisensor-z-wave-plus-gen5-1220000013100.html Détecteur de présence Aeon-labs ZWave]
** [http://www.domadoo.fr/fr/peripheriques/2608-zipato-detecteur-z-wave-4-en-1-mouvement-ouverture-luminosite-tem-3858890730425.html Détecteur d'ouverture Zipato ZWave]
*[[Rfxcom]]
** Récepteur RFXCom 443 MHz
** Station WMR88
** Sonde Oregon Hygro Baro
** Sonde Oregon Luminosité
** Sonde Oregon Thermo Hygro All Weather
* [[enOcean]]
* Digital Security Camera
** [[DLink DSC 5222L]] PTZ, UPnP

Travail effectué:
** Etude de l'existant
** Etude des données de la métro de Grenoble, savoir si l'on peut leur apporter de nouvelles données ou non.

A voir
* http://fablab.ensimag.fr/index.php/SmartCampus/FicheSuivi
* http://air.imag.fr/index.php/PM2M/2016/TP
* http://air.imag.fr/index.php/GrenobloisFut%C3%A9

==Sprint 2 (du 1 Février au 7 Février)==

Architecture réalisée avec Didier Donsez :
[[Image:Architecture_SmartCampus_2016.png|800px|thumb|center]]

L'utilisation de [http://www.angular-meteor.com/ Météor] avec une base de donnée MongoDB est possible . Une alternative à explorer est [http://sailsjs.org/ Sails.js]. Étant donné le caractère exploratoire de ce sprint, l'architecture peut être amenée à changer. Notamment en ce qui concerne l'utilisation de Météor ou la base de donnée MongoDB.

Taches :

*Explorer l'utilisation de Météor et de [https://kadira.io/ Kadira] à travers des tutoriels. Installation locale pour l'instant.

*Installer un serveur Mosquito/MQTT(S) pour les communications avec les cartes

*Installer Node-Red sur Rasberry PI : faire flux de reception/envoie entre la carte et le serveur MQTT : [http://nodered.org/docs/hardware/raspberrypi.html Tutoriel d'installation Node-Red]

[http://www.rs-online.com/designspark/electronics/eng/blog/building-distributed-node-red-applications-with-mqtt Tutoriel pour connecter Node-Red avec serveur MQTT]. Ceci est à adapter suivant la configuration dans settings.json

[http://flows.nodered.org/flow/015f1c7463476d5e5fd8 Regarder ce flux existant proposant un envoie sécurisé sur le serveur]

[http://flows.nodered.org/flow/bf9814b4c6bffda3c675 Regarder ce flux existant pour envoyer des données reçues par la Z-Wave]

*Explorer l'utilisation de [https://www.twilio.com/ Twilio] pour l'envoie de sms automatique depuis les cartes. Technologies JavaScript utilisable sur serveur Node.js

=== Prendre en main sa rasberry pi à distance ===
http://www.framboise314.fr/prenez-la-main-a-distance-sur-votre-raspberry-pi-avec-vnc/

===Installation sur Rasberry Pi Wheezy===
* Lancer node-red sur la rasberry-pi B+ grâce aux commandes suivantes dans un script. Sur l'OS Debian wheezy.

#!/bin/bash
#install nodered
sudo apt-get remove nodered
wget http://node-arm.herokuapp.com/node_archive_armhf.deb
sudo dpkg -i node_archive_armhf.deb
sudo apt-get install build-essential python-dev python-rpi.gpio
# install Node-red
sudo npm install -g --unsafe-perm node-red
echo nmp--------------------->[OK]

Tentatives de démarrer le serveur au boot de la carte sur l'OS Wheezy. Malgré plusieurs tentatives (utilisation de update.rc, de PM2) le serveur ne démarre pas au lancement.

=== Utilisation de la plateforme AWS d'Amazon ===
* Création d'un compte gratuit sur Amazon d'une validité d'un an.
* Création d'une machine virtuelle Ubuntu sur la plateforme.
* Installation et mise en marche d'un serveur Mosquitto (broker) sur la machine virtuelle. (voir [http://mosquitto.org/2013/01/mosquitto-debian-repository/ installation])

===Sur l'OS Debian Jessie : Une version de node-red est pré-installée.===

Pour passer de Wheezy à Jessie (solution adoptée) : installation de [https://www.raspberrypi.org/downloads/noobs/ NOOBS] puis de Debian Jessie via cet utilitaire. Il est nécessaire d'avoir une carte SD vierge ou de la formater.

Mise à jour des logiciels :
sudo apt-get update
sudo apt-get upgrade

le système pré-installé sur Jessie permet de lancer au démarrage et, en cas de panne, de relancer le serveur node-red grâce à nodered.service.

Pour l'activer, taper la commande :
sudo systemctl enable nodered.service

===Installation des noeuds RFXcom pour le récepteur 433 Mhz et du noeud pour le récepteur Zwave===

Il est nécessaire d'installer npm pour ajouter des noeuds à node-red:
sudo apt-get install npm

Les noeuds sont à installer dans le dossier $HOME/.node-red/ pour qu'un seul utilisateur y ai accès. La commande npm sans -g installera le noeud dans le dossier courant. Sinon avec l'option -g et les droits root dans le dossier node_module/node-red. Pour que le noeud apparaisse, il faut redémarrer node-red.

====Téléchargement du noeud RFXcom====

[http://flows.nodered.org/node/node-red-contrib-rfxcom Noeud RfxCom]

====Installation des noeuds Zwave====

[http://flows.nodered.org/node/node-red-contrib-openzwave Noeud Zwave]

Ce noeud dépend d'une version d'Openzwave avec nodejs : [https://github.com/OpenZWave/node-openzwave-shared node-openzave]. Il faut donc installer la librairie OpenZwave.

Téléchargement de la version 1.4 [https://github.com/OpenZWave/open-zwave/releases/tag/v1.4 OpenZwave 1.4] en zip.

Dans le répertoire décompressé.
make
sudo make install

La commande make, provoquant la compilation, peut mettre du temps.
Il est possible qu'une librairie soit manquante et provoque une erreur.

Pour y remédier :
sudo apt-get install libudev-dev

La commande make install copie les librairies openzwave dans /usr/local/lib. Si node-red n'est pas dans /usr/local/lib/node_modules/ il faut déplacer les librairies dans /usr/lib/.

Pour vérifier la bonne installation, lors de lancement de node-red, un noeud Zwave in et Zwave out sont respectivement dans Input et Output.

L'installation du noeud peut provoquer une erreur si la version de nodejs est inférieure ou égale à 0.10.29

====Configuration des ports====

http://www.latelierdugeek.fr/2015/02/02/domotique-partie-8-ajout-du-support-du-z-wave-dans-domoticz/

====Mettre à jour nodejs====
sudo apt-get remove nodered
sudo apt-get remove nodejs nodejs-legacy
sudo apt-get remove npm

=====Raspberry Pi 2=====
curl -sL https://deb.nodesource.com/setup_4.x | sudo bash -
sudo apt-get install -y build-essential python-dev python-rpi.gpio nodejs

=====Raspberry Pi=====
wget http://node-arm.herokuapp.com/node_archive_armhf.deb
sudo dpkg -i node_archive_armhf.deb
sudo apt-get install build-essential python-dev python-rpi.gpio

Une fois nodejs mis à jour(nodejs -v > 0.12.x ou 4.2.x)
sudo npm cache clean
sudo npm install -g --unsafe-perm node-red

=====Remettre les scripts de lancement et de démarrage=====
sudo wget https://raw.githubusercontent.com/quentin74/Smartcampus/master/node-red/nodered.service -O /lib/systemd/system/nodered.service
sudo wget https://raw.githubusercontent.com/node-red/raspbian-deb-package/master/resources/node-red-start -O /usr/bin/node-red-start
sudo wget https://raw.githubusercontent.com/node-red/raspbian-deb-package/master/resources/node-red-stop -O /usr/bin/node-red-stop
sudo chmod +x /usr/bin/node-red-st*
sudo systemctl daemon-reload

==Sprint 3 (du 8 Février au 14 Février)==

=== Mise en place d'un VPN ===
Dans le but de pouvoir avancer plus facilement dans le projet, nous avons dû mettre en place un serveur VPN car les ports utilisés par MQTT sont bloqués sur le réseau de l'université. Il est donc impossible pour une Raspberry Pi de communiquer avec un serveur mosquitto basé sur la plateforme AWS sans passer par un VPN (en utilisant le réseau de l'université). L'avantage d'utiliser un VPN est aussi de sécuriser les communications entre les Raspberry pi et le serveur mosquitto. Les étapes de la mise en place de notre VPN sont les suivantes :

* Création d'une nouvelle machine virtuelle dans le but d'installer un serveur VPN openVPN dans le cluster d'amazon (voir [https://www.youtube.com/watch?v=VWqRrMGHJQg installation]).

* Installation d'un client VPN sur une Raspberry

===Mise en place d'une base de donnée [https://influxdata.com/ InfluxDB]===

Installation sur le serveur amazone d'une base InfluxDB:
wget https://s3.amazonaws.com/influxdb/influxdb_0.10.1-1_amd64.deb
sudo dpkg -i influxdb_0.10.1-1_amd64.deb

===Installation de [http://grafana.org/download/ Grafana]===
Connexion avec la base InfluxDB et première visualisation de données émises par les capteurs météorologiques.
Avec ce Framework, nous pouvons visualiser l'occupation d'une salle ou non, en fonction des capteurs de présence.

[[File:Grafana.png |1000px]]

* Nous pouvons également afficher des graphique pour voir les variations de température au cours du temps.
[[File:Grafana2.png |1000px]]

===Modification du flow Node-red===
Récupération d'informations depuis le récepteur RfxCom et envoie vers le broker mqtt.

==Sprint 4 (du 15 Février au 21 Février)==
===Mise en place de Meteor===
Installation des différents paquets nécessaires à la mise en place de l'application
# curl https://install.meteor.com/ | sh
# meteor add meteorhacks:npm
# npm install mqtt --save
# sudo npm install fs

[[File:meteor.png | 1000px]]

===Mise en place de Leaflet===

# meteor add bevanhunt:leaflet

[[File:Leaflet.png | 1000px]]

Cliquer sur une des 2 salles équipées et obtenir les informations en temps réels

===Passage en MQTTS===
Changement du port de configuration sur le flow node-red : 1883 -> 8883
Activation du cryptage tls/ssl et désactivation de la vérification du certificat du serveur. En effet, tous les certificats générés sont auto-signés. Afin que la connexion puisse se faire il faut, soit un certificat signé par une autorité reconnue, soit désactiver la vérification.

Pour Telegraf (voir installation ci-dessous)

Changement du port et définition de la clé et du certificat pour la communication cryptée dans le fichier de configuration.

Pour le broker mosquitto, nous avons changé le fichier config dans le but de pouvoir utiliser TLS/SSL. Le fichier config est complété comme suivant :
# Place your local configuration in /etc/mosquitto/conf.d/
#
# A full description of the configuration file is at
# /usr/share/doc/mosquitto/examples/mosquitto.conf.example
pid_file /var/run/mosquitto.pid
#TLS
require_certificate false
listener 8883
cafile /etc/mosquitto/ca_certificates/ca.crt
certfile /etc/mosquitto/certs/server.crt
keyfile /etc/mosquitto/certs/server.key
#
persistence true
persistence_location /var/lib/mosquitto/
log_dest file /var/log/mosquitto/mosquitto.log
include_dir /etc/mosquitto/conf.d
allow_anonymous true
password_file /etc/mosquitto/passwd

===Passage en MQTTS coté Meteor===

Il faut modifier le fichier settings.json

#"mqtt_options" : {
# "port": <your port>,
# "host": "<your host>",
# "clientId": "GEST",
# "username": "<your username>",
# "password": "<your password>",
# "qos":1,
# "keepalive": 60,
# "reconnectPeriod": 1000,
# "protocol": "mqtts",
# "protocolVersion": 4,
# "clean": true,
# "encoding": "utf8",
# "key" : "<your key>",
# "ca" : "<your ca>",
# "rejectUnauthorized": false,
# "cert" :"<your cert>"
# }

===Installation de [https://github.com/influxdata/telegraf Telegraf]===
La dernière release précompilée pour Ubuntu(0.10.2) ne contient pas le plugin "mqtt_consumer". Elle ne sera disponible que dans la release 0.10.3. Il faut donc l'installer depuis les sources si la version n'est pas supérieur à 0.10.3.
Afin de faciliter le démarrage automatique de Telegraf, on installe via le package debian puis on remplacera l'exécutable par une version plus récente:

[http://get.influxdb.org/telegraf/telegraf_0.10.3-1_amd64.deb Dernière version disponible actuellement]

====Installation de GO====
Sur AWS, une version de go est pré-existante mais non fonctionnelle car non à jour.
sudo rm /usr/bin/go

Choisir la dernière version de go : [https://golang.org/dl/ GO]

Décompresser l'archive:
tar -C /usr/local -xzf go$VERSION.$OS-$ARCH.tar.gz

Ajouter dans /etc/profile ou $HOME/.profile. L'exemple ci-dessous n'est fonctionnel que si vous avez décompréssé dans /usr/local:
export PATH=$PATH:/usr/local/go/bin

Créer la variable GOPATH:
export GOPATH=<YOUR_PATH>

Télécharger les sources:
go get github.com/influxdata/telegraf

Aller dans le dossier de téléchargements:
cd $GOPATH/src/github.com/influxdata/telegraf
make
sudo cp telegraf /usr/bin/

====Configuration de Telegraf====

Un exemple de fichier de configuration est obtenu via la commande suivante :

telegraf -sample-config -input-filter mqtt_consumer -output-filter influxdb > YOUR_FILE.conf
[https://github.com/influxdata/telegraf/tree/master/plugins/inputs/mqtt_consumer Exemple configuration mqtt]

Changez l'adresse et le port du broker mqtt et de la base influxDB. Choissez les topics auxquels souscrire, le format des données reçu de la part du broker (json,influx...)

Si vous utilisez des certificats auto-signés ne pas oublier
skip_verify_ssl = true

Le fichier de configuration lu au démarrage se situe dans :
/etc/telegraf

Pour renommer le fichier de configuration lu au démarrage :
sudo nano /etc/init.d/telegraf

Changer la ligne avec la variable confile=/etc/telegraf/YOUR_FILE.conf

===Passage d'influxDB en https===
Dans le fichier /etc/influxdb/infludb.conf :

Modifier les attributs de [admin] et [http] en mettant https = true et le chemin vers la clé/certificat pour influxDB. Une subtilité est à retenir pour influxDB ssl. En effet, la clé et le certificat doivent être dans le même fichier :
cat key.pem crt.pem > key_crt.pem

==Sprint 5 (du 29 Février au 6 Mars)==

=== Ajout de Widget dans grafana integrant cartographie leaflet ===
Attention --> cette tache ne sera pas réalisée car sur le forum de grafana ou d'autres nous avons vu qu'intégrer de la cartographie était dans les projet à venir de grafana, par consequent il est inutile de perdre du temps sur une tache qui sera prochainement réalisée.

=== Mise en place d'une PKI ===

Une PKI (Public Key Infrastructure) permet de gérer la création, la récupération et la révocation de certificats. Nous avons, dans le cadre de la sécurisation de notre plateforme, d'en créer une dans le but de fournir des certificats à nos différentes machines. Nous avons décider de suivre le tutoriel suivant :
* Mise en place d'une d'une PKI: http://stankiewicz.free.fr/Wikka/wikka.php?wakka=HowtoPKI

Nous avons donc commencé à travailler sur ce tutoriel. Cependant, celui-ci semble être obsolète (certaines technologies semblent avoir évoluées depuis et donc certaines actions du tutoriel ne fonctionnent plus). Nous avons perdu beaucoup de temps à essayer de résoudre ces problèmes.

===Configuration d'OpenVPN, dans le but d'ajouter de nouveaux utilisateurs ===

Au départ, nous avions alloué une instance Amazon dédiée à OpenVPN. Plus précisément, c'était une image dans laquelle OpenVPN était préinstallé. Nous n'arrivions pas à ajouter de nouveaux utilisateurs pour ce VPN avec cette instance. Nous avons donc décidé de supprimer l'instance Amazon d'OpenVPN et de l'installer par nous même sur notre instance principale. Après avoir fait cela, nous arrivions à créer différents utilisateurs pour notre VPN. Cependant, nous avons remarqué qu'OpenVPN limite le nombre de connexions à deux utilisateurs maximum (en même temps).

==Sprint 6 (du 7 Mars au 13 Mars)==
Equipement des salles avec les raspberry pi , les capteurs enocean, les capteurs Zwave

Ajout de fichier de configuration dans l'application meteor, pour faciliter le déploiement. Ajout par exemple de chemins génériques.

Intégration Kadira à l'application Meteor, Dashboard disponible pour l'administrateur

Installation du package :
# meteor add meteorhacks:kadira

Ajout au settings.json

#"kadira": {
# "appId": "<your id>",
# "appSecret": "<your app>"
#}

[[File:kadira.PNG]]

==Sprint 7 (du 14 Mars au 17 Mars)==
* Pour lancer l'application Meteor : lancer le script deploy_meteor.sh : attention à modifier le Host pour deployer sur votre serveur
* Equipement des salles air et fablab avec les capteurs Zwave, Rfxcom
* Contact des administrateurs réseaux de Polytech pour pouvoir débloquer les ports

Projets-2015-2016-OpenSmartCampus

2016-03-17T08:25:30Z

Rama.Codazzi: /* Passage en MQTTS */

=Présentation du Projet=
==Introduction==
Le projet nommé smart Campus est un projet étudiant visant à rendre un domaine universitaire intelligent. Il a vu le jour il y a 3 ans et il a comme but principal de rendre plus pratique la vie sur le campus ainsi que la gestion de celui-ci.

'''Le projet en 2014-2015 :''' [http://air.imag.fr/index.php/Proj-2014-2015-SmartCampus2015 '''SmartCampus2014-2015''']

'''Le projet en 2013-2014 :''' [http://air.imag.fr/index.php/SmartCampus2014/FicheSuivi '''SmartCampus2013-2014''']

'''Tutoriel de déploiement de l'application sur Raspberry Pi''' [http://air.imag.fr/index.php/Projets-2015-2016-OpenSmartCampus/tuto_raspi '''Tutoriel installation''']

Le tutoriel ci-dessus est un résumé des étapes décrites dans les sprint ci-dessous. Grâce à ce tutoriel on obtient rapidement le flux créé sur node-red les cartes dans l'état nécessaire au fonctionnement de l'application. Après l'édition du fichier settings.json, la carte est prête à envoyer des données via MQTT.

'''Tutoriel de déploiement de l'application sur serveur(s) Ubuntu 14.04''' [http://air.imag.fr/index.php/Projets-2015-2016-OpenSmartCampus/tuto_serveur '''Tutoriel installation''']

==L'équipe==

'''RICM5 : '''
*Quentin Torck
*Vivien Michel
*Jérémy Hammerer
*Rama Codazzi
*Zhengmeng Zhang

'''DUT : '''
*Andréas Gillet-Pascal

'''Encadrants : '''
*Didier Donsez
*Vivien Quéma

=Organisation du Projet=
Dans le but de mener à bien notre projet, nous avons décider d'utiliser la méthode agile Scrum. Le projet étant à faire dans un court intervalle de temps (2 mois), nous avons décidé de faire des sprints d'une semaine chacun.

==Sprint 1 (du 25 Janvier au 31 Janvier)==
Matériel récupéré:
* Gateways
** [[Raspberry Pi]] 2 + Alimentation 5V DC
* [[ZWave]]
** Clé USB Sigma ZWave
** [http://www.domadoo.fr/fr/peripheriques/2921-aeon-labs-detecteur-multifonctions-6-en-1-multisensor-z-wave-plus-gen5-1220000013100.html Détecteur de présence Aeon-labs ZWave]
** [http://www.domadoo.fr/fr/peripheriques/2608-zipato-detecteur-z-wave-4-en-1-mouvement-ouverture-luminosite-tem-3858890730425.html Détecteur d'ouverture Zipato ZWave]
*[[Rfxcom]]
** Récepteur RFXCom 443 MHz
** Station WMR88
** Sonde Oregon Hygro Baro
** Sonde Oregon Luminosité
** Sonde Oregon Thermo Hygro All Weather
* [[enOcean]]
* Digital Security Camera
** [[DLink DSC 5222L]] PTZ, UPnP

Travail effectué:
** Etude de l'existant
** Etude des données de la métro de Grenoble, savoir si l'on peut leur apporter de nouvelles données ou non.

A voir
* http://fablab.ensimag.fr/index.php/SmartCampus/FicheSuivi
* http://air.imag.fr/index.php/PM2M/2016/TP
* http://air.imag.fr/index.php/GrenobloisFut%C3%A9

==Sprint 2 (du 1 Février au 7 Février)==

Architecture réalisée avec Didier Donsez :
[[Image:Architecture_SmartCampus_2016.png|800px|thumb|center]]

L'utilisation de [http://www.angular-meteor.com/ Météor] avec une base de donnée MongoDB est possible . Une alternative à explorer est [http://sailsjs.org/ Sails.js]. Étant donné le caractère exploratoire de ce sprint, l'architecture peut être amenée à changer. Notamment en ce qui concerne l'utilisation de Météor ou la base de donnée MongoDB.

Taches :

*Explorer l'utilisation de Météor et de [https://kadira.io/ Kadira] à travers des tutoriels. Installation locale pour l'instant.

*Installer un serveur Mosquito/MQTT(S) pour les communications avec les cartes

*Installer Node-Red sur Rasberry PI : faire flux de reception/envoie entre la carte et le serveur MQTT : [http://nodered.org/docs/hardware/raspberrypi.html Tutoriel d'installation Node-Red]

[http://www.rs-online.com/designspark/electronics/eng/blog/building-distributed-node-red-applications-with-mqtt Tutoriel pour connecter Node-Red avec serveur MQTT]. Ceci est à adapter suivant la configuration dans settings.json

[http://flows.nodered.org/flow/015f1c7463476d5e5fd8 Regarder ce flux existant proposant un envoie sécurisé sur le serveur]

[http://flows.nodered.org/flow/bf9814b4c6bffda3c675 Regarder ce flux existant pour envoyer des données reçues par la Z-Wave]

*Explorer l'utilisation de [https://www.twilio.com/ Twilio] pour l'envoie de sms automatique depuis les cartes. Technologies JavaScript utilisable sur serveur Node.js

=== Prendre en main sa rasberry pi à distance ===
http://www.framboise314.fr/prenez-la-main-a-distance-sur-votre-raspberry-pi-avec-vnc/

===Installation sur Rasberry Pi Wheezy===
* Lancer node-red sur la rasberry-pi B+ grâce aux commandes suivantes dans un script. Sur l'OS Debian wheezy.

#!/bin/bash
#install nodered
sudo apt-get remove nodered
wget http://node-arm.herokuapp.com/node_archive_armhf.deb
sudo dpkg -i node_archive_armhf.deb
sudo apt-get install build-essential python-dev python-rpi.gpio
# install Node-red
sudo npm install -g --unsafe-perm node-red
echo nmp--------------------->[OK]

Tentatives de démarrer le serveur au boot de la carte sur l'OS Wheezy. Malgré plusieurs tentatives (utilisation de update.rc, de PM2) le serveur ne démarre pas au lancement.

=== Utilisation de la plateforme AWS d'Amazon ===
* Création d'un compte gratuit sur Amazon d'une validité d'un an.
* Création d'une machine virtuelle Ubuntu sur la plateforme.
* Installation et mise en marche d'un serveur Mosquitto (broker) sur la machine virtuelle. (voir [http://mosquitto.org/2013/01/mosquitto-debian-repository/ installation])

===Sur l'OS Debian Jessie : Une version de node-red est pré-installée.===

Pour passer de Wheezy à Jessie (solution adoptée) : installation de [https://www.raspberrypi.org/downloads/noobs/ NOOBS] puis de Debian Jessie via cet utilitaire. Il est nécessaire d'avoir une carte SD vierge ou de la formater.

Mise à jour des logiciels :
sudo apt-get update
sudo apt-get upgrade

le système pré-installé sur Jessie permet de lancer au démarrage et, en cas de panne, de relancer le serveur node-red grâce à nodered.service.

Pour l'activer, taper la commande :
sudo systemctl enable nodered.service

===Installation des noeuds RFXcom pour le récepteur 433 Mhz et du noeud pour le récepteur Zwave===

Il est nécessaire d'installer npm pour ajouter des noeuds à node-red:
sudo apt-get install npm

Les noeuds sont à installer dans le dossier $HOME/.node-red/ pour qu'un seul utilisateur y ai accès. La commande npm sans -g installera le noeud dans le dossier courant. Sinon avec l'option -g et les droits root dans le dossier node_module/node-red. Pour que le noeud apparaisse, il faut redémarrer node-red.

====Téléchargement du noeud RFXcom====

[http://flows.nodered.org/node/node-red-contrib-rfxcom Noeud RfxCom]

====Installation des noeuds Zwave====

[http://flows.nodered.org/node/node-red-contrib-openzwave Noeud Zwave]

Ce noeud dépend d'une version d'Openzwave avec nodejs : [https://github.com/OpenZWave/node-openzwave-shared node-openzave]. Il faut donc installer la librairie OpenZwave.

Téléchargement de la version 1.4 [https://github.com/OpenZWave/open-zwave/releases/tag/v1.4 OpenZwave 1.4] en zip.

Dans le répertoire décompressé.
make
sudo make install

La commande make, provoquant la compilation, peut mettre du temps.
Il est possible qu'une librairie soit manquante et provoque une erreur.

Pour y remédier :
sudo apt-get install libudev-dev

La commande make install copie les librairies openzwave dans /usr/local/lib. Si node-red n'est pas dans /usr/local/lib/node_modules/ il faut déplacer les librairies dans /usr/lib/.

Pour vérifier la bonne installation, lors de lancement de node-red, un noeud Zwave in et Zwave out sont respectivement dans Input et Output.

L'installation du noeud peut provoquer une erreur si la version de nodejs est inférieure ou égale à 0.10.29

====Configuration des ports====

http://www.latelierdugeek.fr/2015/02/02/domotique-partie-8-ajout-du-support-du-z-wave-dans-domoticz/

====Mettre à jour nodejs====
sudo apt-get remove nodered
sudo apt-get remove nodejs nodejs-legacy
sudo apt-get remove npm

=====Raspberry Pi 2=====
curl -sL https://deb.nodesource.com/setup_4.x | sudo bash -
sudo apt-get install -y build-essential python-dev python-rpi.gpio nodejs

=====Raspberry Pi=====
wget http://node-arm.herokuapp.com/node_archive_armhf.deb
sudo dpkg -i node_archive_armhf.deb
sudo apt-get install build-essential python-dev python-rpi.gpio

Une fois nodejs mis à jour(nodejs -v > 0.12.x ou 4.2.x)
sudo npm cache clean
sudo npm install -g --unsafe-perm node-red

=====Remettre les scripts de lancement et de démarrage=====
sudo wget https://raw.githubusercontent.com/quentin74/Smartcampus/master/node-red/nodered.service -O /lib/systemd/system/nodered.service
sudo wget https://raw.githubusercontent.com/node-red/raspbian-deb-package/master/resources/node-red-start -O /usr/bin/node-red-start
sudo wget https://raw.githubusercontent.com/node-red/raspbian-deb-package/master/resources/node-red-stop -O /usr/bin/node-red-stop
sudo chmod +x /usr/bin/node-red-st*
sudo systemctl daemon-reload

==Sprint 3 (du 8 Février au 14 Février)==

=== Mise en place d'un VPN ===
Dans le but de pouvoir avancer plus facilement dans le projet, nous avons dû mettre en place un serveur VPN car les ports utilisés par MQTT sont bloqués sur le réseau de l'université. Il est donc impossible pour une Raspberry Pi de communiquer avec un serveur mosquitto basé sur la plateforme AWS sans passer par un VPN (en utilisant le réseau de l'université). L'avantage d'utiliser un VPN est aussi de sécuriser les communications entre les Raspberry pi et le serveur mosquitto. Les étapes de la mise en place de notre VPN sont les suivantes :

* Création d'une nouvelle machine virtuelle dans le but d'installer un serveur VPN openVPN dans le cluster d'amazon (voir [https://www.youtube.com/watch?v=VWqRrMGHJQg installation]).

* Installation d'un client VPN sur une Raspberry

===Mise en place d'une base de donnée [https://influxdata.com/ InfluxDB]===

Installation sur le serveur amazone d'une base InfluxDB:
wget https://s3.amazonaws.com/influxdb/influxdb_0.10.1-1_amd64.deb
sudo dpkg -i influxdb_0.10.1-1_amd64.deb

===Installation de [http://grafana.org/download/ Grafana]===
Connexion avec la base InfluxDB et première visualisation de données émises par les capteurs météorologiques.
Avec ce Framework, nous pouvons visualiser l'occupation d'une salle ou non, en fonction des capteurs de présence.

[[File:Grafana.png |1000px]]

* Nous pouvons également afficher des graphique pour voir les variations de température au cours du temps.
[[File:Grafana2.png |1000px]]

===Modification du flow Node-red===
Récupération d'informations depuis le récepteur RfxCom et envoie vers le broker mqtt.

==Sprint 4 (du 15 Février au 21 Février)==
===Mise en place de Meteor===
Installation des différents paquets nécessaires à la mise en place de l'application
# curl https://install.meteor.com/ | sh
# meteor add meteorhacks:npm
# npm install mqtt --save
# sudo npm install fs

[[File:meteor.png | 1000px]]

===Mise en place de Leaflet===

# meteor add bevanhunt:leaflet

[[File:Leaflet.png | 1000px]]

Cliquer sur une des 2 salles équipées et obtenir les informations en temps réels

===Passage en MQTTS===
Changement du port de configuration sur le flow node-red : 1883 -> 8883
Activation du cryptage tls/ssl et désactivation de la vérification du certificat du serveur. En effet, tous les certificats générés sont auto-signés. Afin que la connexion puisse se faire il faut, soit un certificat signé par une autorité reconnue, soit désactiver la vérification.

Pour Telegraf (voir installation ci-dessous)

Changement du port et définition de la clé et du certificat pour la communication cryptée dans le fichier de configuration.

Pour le broker mosquitto, nous avons changé le fichier config dans le but de pouvoir utiliser TLS/SSL. Le fichier config est complété comme suivant :
# Place your local configuration in /etc/mosquitto/conf.d/
#
# A full description of the configuration file is at
# /usr/share/doc/mosquitto/examples/mosquitto.conf.example
pid_file /var/run/mosquitto.pid
#TLS
require_certificate false
listener 8883
cafile /etc/mosquitto/ca_certificates/ca.crt
certfile /etc/mosquitto/certs/server.crt
keyfile /etc/mosquitto/certs/server.key
#
persistence true
persistence_location /var/lib/mosquitto/
log_dest file /var/log/mosquitto/mosquitto.log
include_dir /etc/mosquitto/conf.d
allow_anonymous true
password_file /etc/mosquitto/passwd

===Passage en MQTTS coté Meteor===

Il faut modifier le fichier settings.json

#"mqtt_options" : {
# "port": <your port>,
# "host": "<your host>",
# "clientId": "GEST",
# "username": "<your username>",
# "password": "<your password>",
# "qos":1,
# "keepalive": 60,
# "reconnectPeriod": 1000,
# "protocol": "mqtts",
# "protocolVersion": 4,
# "clean": true,
# "encoding": "utf8",
# "key" : "<your key>",
# "ca" : "<your ca>",
# "rejectUnauthorized": false,
# "cert" :"<your cert>"
# }

===Installation de [https://github.com/influxdata/telegraf Telegraf]===
La dernière release précompilée pour Ubuntu(0.10.2) ne contient pas le plugin "mqtt_consumer". Elle ne sera disponible que dans la release 0.10.3. Il faut donc l'installer depuis les sources si la version n'est pas supérieur à 0.10.3.
Afin de faciliter le démarrage automatique de Telegraf, on installe via le package debian puis on remplacera l'exécutable par une version plus récente:

[http://get.influxdb.org/telegraf/telegraf_0.10.3-1_amd64.deb Dernière version disponible actuellement]

====Installation de GO====
Sur AWS, une version de go est pré-existante mais non fonctionnelle car non à jour.
sudo rm /usr/bin/go

Choisir la dernière version de go : [https://golang.org/dl/ GO]

Décompresser l'archive:
tar -C /usr/local -xzf go$VERSION.$OS-$ARCH.tar.gz

Ajouter dans /etc/profile ou $HOME/.profile. L'exemple ci-dessous n'est fonctionnel que si vous avez décompréssé dans /usr/local:
export PATH=$PATH:/usr/local/go/bin

Créer la variable GOPATH:
export GOPATH=<YOUR_PATH>

Télécharger les sources:
go get github.com/influxdata/telegraf

Aller dans le dossier de téléchargements:
cd $GOPATH/src/github.com/influxdata/telegraf
make
sudo cp telegraf /usr/bin/

====Configuration de Telegraf====

Un exemple de fichier de configuration est obtenu via la commande suivante :

telegraf -sample-config -input-filter mqtt_consumer -output-filter influxdb > YOUR_FILE.conf
[https://github.com/influxdata/telegraf/tree/master/plugins/inputs/mqtt_consumer Exemple configuration mqtt]

Changez l'adresse et le port du broker mqtt et de la base influxDB. Choissez les topics auxquels souscrire, le format des données reçu de la part du broker (json,influx...)

Si vous utilisez des certificats auto-signés ne pas oublier
skip_verify_ssl = true

Le fichier de configuration lu au démarrage se situe dans :
/etc/telegraf

Pour renommer le fichier de configuration lu au démarrage :
sudo nano /etc/init.d/telegraf

Changer la ligne avec la variable confile=/etc/telegraf/YOUR_FILE.conf

===Passage d'influxDB en https===
Dans le fichier /etc/influxdb/infludb.conf :

Modifier les attributs de [admin] et [http] en mettant https = true et le chemin vers la clé/certificat pour influxDB. Une subtilité est à retenir pour influxDB ssl. En effet, la clé et le certificat doivent être dans le même fichier :
cat key.pem crt.pem > key_crt.pem

==Sprint 5 (du 29 Février au 6 Mars)==

=== Ajout de Widget dans grafana integrant cartographie leaflet ===
Attention --> cette tache ne sera pas réalisée car sur le forum de grafana ou d'autres nous avons vu qu'intégrer de la cartographie était dans les projet à venir de grafana, par consequent il est inutile de perdre du temps sur une tache qui sera prochainement réalisée.

=== Mise en place d'une PKI ===

Une PKI (Public Key Infrastructure) permet de gérer la création, la récupération et la révocation de certificats. Nous avons, dans le cadre de la sécurisation de notre plateforme, d'en créer une dans le but de fournir des certificats à nos différentes machines. Nous avons décider de suivre le tutoriel suivant :
* Mise en place d'une d'une PKI: http://stankiewicz.free.fr/Wikka/wikka.php?wakka=HowtoPKI

Nous avons donc commencé à travailler sur ce tutoriel. Cependant, celui-ci semble être obsolète (certaines technologies semblent avoir évoluées depuis et donc certaines actions du tutoriel ne fonctionnent plus). Nous avons perdu beaucoup de temps à essayer de résoudre ces problèmes.

===Configuration d'OpenVPN, dans le but d'ajouter de nouveaux utilisateurs ===

Au départ, nous avions alloué une instance Amazon dédiée à OpenVPN. Plus précisément, c'était une image dans laquelle OpenVPN était préinstallé. Nous n'arrivions pas à ajouter de nouveaux utilisateurs pour ce VPN avec cette instance. Nous avons donc décidé de supprimer l'instance Amazon d'OpenVPN et de l'installer par nous même sur notre instance principale. Après avoir fait cela, nous arrivions à créer différents utilisateurs pour notre VPN. Cependant, nous avons remarqué qu'OpenVPN limite le nombre de connexions à deux utilisateurs maximum (en même temps).

==Sprint 6 (du 7 Mars au 13 Mars)==
Equipement des salles avec les raspberry pi , les capteurs enocean, les capteurs Zwave

Ajout de fichier de configuration dans l'application meteor, pour faciliter le déploiement. Ajout par exemple de chemins génériques.

Intégration Kadira à l'application Meteor, Dashboard disponible pour l'administrateur

Installation du package :
# meteor add meteorhacks:kadira

Ajout au settings.json

#"kadira": {
# "appId": "<your id>",
# "appSecret": "<your app>"
#}

[[File:kadira.PNG]]

==Sprint 7 (du 14 Mars au 17 Mars)==
* Pour lancer l'application Meteor : lancer le script deploy_meteor.sh : attention à modifier le Host pour deployer sur votre serveur
* Equipement des salles air et fablab avec les capteurs Zwave, Rfxcom
* Contact des administrateurs réseaux de Polytech pour pouvoir débloquer les ports

Projets-2015-2016-OpenSmartCampus

2016-03-17T08:21:45Z

Rama.Codazzi: /* Sprint 7 (du 14 Mars au 17 Mars) */

=Présentation du Projet=
==Introduction==
Le projet nommé smart Campus est un projet étudiant visant à rendre un domaine universitaire intelligent. Il a vu le jour il y a 3 ans et il a comme but principal de rendre plus pratique la vie sur le campus ainsi que la gestion de celui-ci.

'''Le projet en 2014-2015 :''' [http://air.imag.fr/index.php/Proj-2014-2015-SmartCampus2015 '''SmartCampus2014-2015''']

'''Le projet en 2013-2014 :''' [http://air.imag.fr/index.php/SmartCampus2014/FicheSuivi '''SmartCampus2013-2014''']

'''Tutoriel de déploiement de l'application sur Raspberry Pi''' [http://air.imag.fr/index.php/Projets-2015-2016-OpenSmartCampus/tuto_raspi '''Tutoriel installation''']

Le tutoriel ci-dessus est un résumé des étapes décrites dans les sprint ci-dessous. Grâce à ce tutoriel on obtient rapidement le flux créé sur node-red les cartes dans l'état nécessaire au fonctionnement de l'application. Après l'édition du fichier settings.json, la carte est prête à envoyer des données via MQTT.

'''Tutoriel de déploiement de l'application sur serveur(s) Ubuntu 14.04''' [http://air.imag.fr/index.php/Projets-2015-2016-OpenSmartCampus/tuto_serveur '''Tutoriel installation''']

==L'équipe==

'''RICM5 : '''
*Quentin Torck
*Vivien Michel
*Jérémy Hammerer
*Rama Codazzi
*Zhengmeng Zhang

'''DUT : '''
*Andréas Gillet-Pascal

'''Encadrants : '''
*Didier Donsez
*Vivien Quéma

=Organisation du Projet=
Dans le but de mener à bien notre projet, nous avons décider d'utiliser la méthode agile Scrum. Le projet étant à faire dans un court intervalle de temps (2 mois), nous avons décidé de faire des sprints d'une semaine chacun.

==Sprint 1 (du 25 Janvier au 31 Janvier)==
Matériel récupéré:
* Gateways
** [[Raspberry Pi]] 2 + Alimentation 5V DC
* [[ZWave]]
** Clé USB Sigma ZWave
** [http://www.domadoo.fr/fr/peripheriques/2921-aeon-labs-detecteur-multifonctions-6-en-1-multisensor-z-wave-plus-gen5-1220000013100.html Détecteur de présence Aeon-labs ZWave]
** [http://www.domadoo.fr/fr/peripheriques/2608-zipato-detecteur-z-wave-4-en-1-mouvement-ouverture-luminosite-tem-3858890730425.html Détecteur d'ouverture Zipato ZWave]
*[[Rfxcom]]
** Récepteur RFXCom 443 MHz
** Station WMR88
** Sonde Oregon Hygro Baro
** Sonde Oregon Luminosité
** Sonde Oregon Thermo Hygro All Weather
* [[enOcean]]
* Digital Security Camera
** [[DLink DSC 5222L]] PTZ, UPnP

Travail effectué:
** Etude de l'existant
** Etude des données de la métro de Grenoble, savoir si l'on peut leur apporter de nouvelles données ou non.

A voir
* http://fablab.ensimag.fr/index.php/SmartCampus/FicheSuivi
* http://air.imag.fr/index.php/PM2M/2016/TP
* http://air.imag.fr/index.php/GrenobloisFut%C3%A9

==Sprint 2 (du 1 Février au 7 Février)==

Architecture réalisée avec Didier Donsez :
[[Image:Architecture_SmartCampus_2016.png|800px|thumb|center]]

L'utilisation de [http://www.angular-meteor.com/ Météor] avec une base de donnée MongoDB est possible . Une alternative à explorer est [http://sailsjs.org/ Sails.js]. Étant donné le caractère exploratoire de ce sprint, l'architecture peut être amenée à changer. Notamment en ce qui concerne l'utilisation de Météor ou la base de donnée MongoDB.

Taches :

*Explorer l'utilisation de Météor et de [https://kadira.io/ Kadira] à travers des tutoriels. Installation locale pour l'instant.

*Installer un serveur Mosquito/MQTT(S) pour les communications avec les cartes

*Installer Node-Red sur Rasberry PI : faire flux de reception/envoie entre la carte et le serveur MQTT : [http://nodered.org/docs/hardware/raspberrypi.html Tutoriel d'installation Node-Red]

[http://www.rs-online.com/designspark/electronics/eng/blog/building-distributed-node-red-applications-with-mqtt Tutoriel pour connecter Node-Red avec serveur MQTT]. Ceci est à adapter suivant la configuration dans settings.json

[http://flows.nodered.org/flow/015f1c7463476d5e5fd8 Regarder ce flux existant proposant un envoie sécurisé sur le serveur]

[http://flows.nodered.org/flow/bf9814b4c6bffda3c675 Regarder ce flux existant pour envoyer des données reçues par la Z-Wave]

*Explorer l'utilisation de [https://www.twilio.com/ Twilio] pour l'envoie de sms automatique depuis les cartes. Technologies JavaScript utilisable sur serveur Node.js

=== Prendre en main sa rasberry pi à distance ===
http://www.framboise314.fr/prenez-la-main-a-distance-sur-votre-raspberry-pi-avec-vnc/

===Installation sur Rasberry Pi Wheezy===
* Lancer node-red sur la rasberry-pi B+ grâce aux commandes suivantes dans un script. Sur l'OS Debian wheezy.

#!/bin/bash
#install nodered
sudo apt-get remove nodered
wget http://node-arm.herokuapp.com/node_archive_armhf.deb
sudo dpkg -i node_archive_armhf.deb
sudo apt-get install build-essential python-dev python-rpi.gpio
# install Node-red
sudo npm install -g --unsafe-perm node-red
echo nmp--------------------->[OK]

Tentatives de démarrer le serveur au boot de la carte sur l'OS Wheezy. Malgré plusieurs tentatives (utilisation de update.rc, de PM2) le serveur ne démarre pas au lancement.

=== Utilisation de la plateforme AWS d'Amazon ===
* Création d'un compte gratuit sur Amazon d'une validité d'un an.
* Création d'une machine virtuelle Ubuntu sur la plateforme.
* Installation et mise en marche d'un serveur Mosquitto (broker) sur la machine virtuelle. (voir [http://mosquitto.org/2013/01/mosquitto-debian-repository/ installation])

===Sur l'OS Debian Jessie : Une version de node-red est pré-installée.===

Pour passer de Wheezy à Jessie (solution adoptée) : installation de [https://www.raspberrypi.org/downloads/noobs/ NOOBS] puis de Debian Jessie via cet utilitaire. Il est nécessaire d'avoir une carte SD vierge ou de la formater.

Mise à jour des logiciels :
sudo apt-get update
sudo apt-get upgrade

le système pré-installé sur Jessie permet de lancer au démarrage et, en cas de panne, de relancer le serveur node-red grâce à nodered.service.

Pour l'activer, taper la commande :
sudo systemctl enable nodered.service

===Installation des noeuds RFXcom pour le récepteur 433 Mhz et du noeud pour le récepteur Zwave===

Il est nécessaire d'installer npm pour ajouter des noeuds à node-red:
sudo apt-get install npm

Les noeuds sont à installer dans le dossier $HOME/.node-red/ pour qu'un seul utilisateur y ai accès. La commande npm sans -g installera le noeud dans le dossier courant. Sinon avec l'option -g et les droits root dans le dossier node_module/node-red. Pour que le noeud apparaisse, il faut redémarrer node-red.

====Téléchargement du noeud RFXcom====

[http://flows.nodered.org/node/node-red-contrib-rfxcom Noeud RfxCom]

====Installation des noeuds Zwave====

[http://flows.nodered.org/node/node-red-contrib-openzwave Noeud Zwave]

Ce noeud dépend d'une version d'Openzwave avec nodejs : [https://github.com/OpenZWave/node-openzwave-shared node-openzave]. Il faut donc installer la librairie OpenZwave.

Téléchargement de la version 1.4 [https://github.com/OpenZWave/open-zwave/releases/tag/v1.4 OpenZwave 1.4] en zip.

Dans le répertoire décompressé.
make
sudo make install

La commande make, provoquant la compilation, peut mettre du temps.
Il est possible qu'une librairie soit manquante et provoque une erreur.

Pour y remédier :
sudo apt-get install libudev-dev

La commande make install copie les librairies openzwave dans /usr/local/lib. Si node-red n'est pas dans /usr/local/lib/node_modules/ il faut déplacer les librairies dans /usr/lib/.

Pour vérifier la bonne installation, lors de lancement de node-red, un noeud Zwave in et Zwave out sont respectivement dans Input et Output.

L'installation du noeud peut provoquer une erreur si la version de nodejs est inférieure ou égale à 0.10.29

====Configuration des ports====

http://www.latelierdugeek.fr/2015/02/02/domotique-partie-8-ajout-du-support-du-z-wave-dans-domoticz/

====Mettre à jour nodejs====
sudo apt-get remove nodered
sudo apt-get remove nodejs nodejs-legacy
sudo apt-get remove npm

=====Raspberry Pi 2=====
curl -sL https://deb.nodesource.com/setup_4.x | sudo bash -
sudo apt-get install -y build-essential python-dev python-rpi.gpio nodejs

=====Raspberry Pi=====
wget http://node-arm.herokuapp.com/node_archive_armhf.deb
sudo dpkg -i node_archive_armhf.deb
sudo apt-get install build-essential python-dev python-rpi.gpio

Une fois nodejs mis à jour(nodejs -v > 0.12.x ou 4.2.x)
sudo npm cache clean
sudo npm install -g --unsafe-perm node-red

=====Remettre les scripts de lancement et de démarrage=====
sudo wget https://raw.githubusercontent.com/quentin74/Smartcampus/master/node-red/nodered.service -O /lib/systemd/system/nodered.service
sudo wget https://raw.githubusercontent.com/node-red/raspbian-deb-package/master/resources/node-red-start -O /usr/bin/node-red-start
sudo wget https://raw.githubusercontent.com/node-red/raspbian-deb-package/master/resources/node-red-stop -O /usr/bin/node-red-stop
sudo chmod +x /usr/bin/node-red-st*
sudo systemctl daemon-reload

==Sprint 3 (du 8 Février au 14 Février)==

=== Mise en place d'un VPN ===
Dans le but de pouvoir avancer plus facilement dans le projet, nous avons dû mettre en place un serveur VPN car les ports utilisés par MQTT sont bloqués sur le réseau de l'université. Il est donc impossible pour une Raspberry Pi de communiquer avec un serveur mosquitto basé sur la plateforme AWS sans passer par un VPN (en utilisant le réseau de l'université). L'avantage d'utiliser un VPN est aussi de sécuriser les communications entre les Raspberry pi et le serveur mosquitto. Les étapes de la mise en place de notre VPN sont les suivantes :

* Création d'une nouvelle machine virtuelle dans le but d'installer un serveur VPN openVPN dans le cluster d'amazon (voir [https://www.youtube.com/watch?v=VWqRrMGHJQg installation]).

* Installation d'un client VPN sur une Raspberry

===Mise en place d'une base de donnée [https://influxdata.com/ InfluxDB]===

Installation sur le serveur amazone d'une base InfluxDB:
wget https://s3.amazonaws.com/influxdb/influxdb_0.10.1-1_amd64.deb
sudo dpkg -i influxdb_0.10.1-1_amd64.deb

===Installation de [http://grafana.org/download/ Grafana]===
Connexion avec la base InfluxDB et première visualisation de données émises par les capteurs météorologiques.
Avec ce Framework, nous pouvons visualiser l'occupation d'une salle ou non, en fonction des capteurs de présence.

[[File:Grafana.png |1000px]]

* Nous pouvons également afficher des graphique pour voir les variations de température au cours du temps.
[[File:Grafana2.png |1000px]]

===Modification du flow Node-red===
Récupération d'informations depuis le récepteur RfxCom et envoie vers le broker mqtt.

==Sprint 4 (du 15 Février au 21 Février)==
===Mise en place de Meteor===
Installation des différents paquets nécessaires à la mise en place de l'application
# curl https://install.meteor.com/ | sh
# meteor add meteorhacks:npm
# npm install mqtt --save
# sudo npm install fs

[[File:meteor.png | 1000px]]

===Mise en place de Leaflet===

# meteor add bevanhunt:leaflet

[[File:Leaflet.png | 1000px]]

Cliquer sur une des 2 salles équipées et obtenir les informations en temps réels

===Passage en MQTTS===
Changement du port de configuration sur le flow node-red : 1883 -> 8883
Activation du cryptage tls/ssl et désactivation de la vérification du certificat du serveur. En effet, tous les certificats générés sont auto-signés. Afin que la connexion puisse se faire il faut, soit un certificat signé par une autorité reconnue, soit désactiver la vérification.

Pour Telegraf (voir installation ci-dessous)

Changement du port et définition de la clé et du certificat pour la communication cryptée dans le fichier de configuration.

Pour le broker mosquitto, nous avons changé le fichier config dans le but de pouvoir utiliser TLS/SSL. Le fichier config est complété comme suivant :
# Place your local configuration in /etc/mosquitto/conf.d/
#
# A full description of the configuration file is at
# /usr/share/doc/mosquitto/examples/mosquitto.conf.example
pid_file /var/run/mosquitto.pid
#TLS
require_certificate false
listener 8883
cafile /etc/mosquitto/ca_certificates/ca.crt
certfile /etc/mosquitto/certs/server.crt
keyfile /etc/mosquitto/certs/server.key
#
persistence true
persistence_location /var/lib/mosquitto/
log_dest file /var/log/mosquitto/mosquitto.log
include_dir /etc/mosquitto/conf.d
allow_anonymous true
password_file /etc/mosquitto/passwd

===Installation de [https://github.com/influxdata/telegraf Telegraf]===
La dernière release précompilée pour Ubuntu(0.10.2) ne contient pas le plugin "mqtt_consumer". Elle ne sera disponible que dans la release 0.10.3. Il faut donc l'installer depuis les sources si la version n'est pas supérieur à 0.10.3.
Afin de faciliter le démarrage automatique de Telegraf, on installe via le package debian puis on remplacera l'exécutable par une version plus récente:

[http://get.influxdb.org/telegraf/telegraf_0.10.3-1_amd64.deb Dernière version disponible actuellement]

====Installation de GO====
Sur AWS, une version de go est pré-existante mais non fonctionnelle car non à jour.
sudo rm /usr/bin/go

Choisir la dernière version de go : [https://golang.org/dl/ GO]

Décompresser l'archive:
tar -C /usr/local -xzf go$VERSION.$OS-$ARCH.tar.gz

Ajouter dans /etc/profile ou $HOME/.profile. L'exemple ci-dessous n'est fonctionnel que si vous avez décompréssé dans /usr/local:
export PATH=$PATH:/usr/local/go/bin

Créer la variable GOPATH:
export GOPATH=<YOUR_PATH>

Télécharger les sources:
go get github.com/influxdata/telegraf

Aller dans le dossier de téléchargements:
cd $GOPATH/src/github.com/influxdata/telegraf
make
sudo cp telegraf /usr/bin/

====Configuration de Telegraf====

Un exemple de fichier de configuration est obtenu via la commande suivante :

telegraf -sample-config -input-filter mqtt_consumer -output-filter influxdb > YOUR_FILE.conf
[https://github.com/influxdata/telegraf/tree/master/plugins/inputs/mqtt_consumer Exemple configuration mqtt]

Changez l'adresse et le port du broker mqtt et de la base influxDB. Choissez les topics auxquels souscrire, le format des données reçu de la part du broker (json,influx...)

Si vous utilisez des certificats auto-signés ne pas oublier
skip_verify_ssl = true

Le fichier de configuration lu au démarrage se situe dans :
/etc/telegraf

Pour renommer le fichier de configuration lu au démarrage :
sudo nano /etc/init.d/telegraf

Changer la ligne avec la variable confile=/etc/telegraf/YOUR_FILE.conf

===Passage d'influxDB en https===
Dans le fichier /etc/influxdb/infludb.conf :

Modifier les attributs de [admin] et [http] en mettant https = true et le chemin vers la clé/certificat pour influxDB. Une subtilité est à retenir pour influxDB ssl. En effet, la clé et le certificat doivent être dans le même fichier :
cat key.pem crt.pem > key_crt.pem

==Sprint 5 (du 29 Février au 6 Mars)==

=== Ajout de Widget dans grafana integrant cartographie leaflet ===
Attention --> cette tache ne sera pas réalisée car sur le forum de grafana ou d'autres nous avons vu qu'intégrer de la cartographie était dans les projet à venir de grafana, par consequent il est inutile de perdre du temps sur une tache qui sera prochainement réalisée.

=== Mise en place d'une PKI ===

Une PKI (Public Key Infrastructure) permet de gérer la création, la récupération et la révocation de certificats. Nous avons, dans le cadre de la sécurisation de notre plateforme, d'en créer une dans le but de fournir des certificats à nos différentes machines. Nous avons décider de suivre le tutoriel suivant :
* Mise en place d'une d'une PKI: http://stankiewicz.free.fr/Wikka/wikka.php?wakka=HowtoPKI

Nous avons donc commencé à travailler sur ce tutoriel. Cependant, celui-ci semble être obsolète (certaines technologies semblent avoir évoluées depuis et donc certaines actions du tutoriel ne fonctionnent plus). Nous avons perdu beaucoup de temps à essayer de résoudre ces problèmes.

===Configuration d'OpenVPN, dans le but d'ajouter de nouveaux utilisateurs ===

Au départ, nous avions alloué une instance Amazon dédiée à OpenVPN. Plus précisément, c'était une image dans laquelle OpenVPN était préinstallé. Nous n'arrivions pas à ajouter de nouveaux utilisateurs pour ce VPN avec cette instance. Nous avons donc décidé de supprimer l'instance Amazon d'OpenVPN et de l'installer par nous même sur notre instance principale. Après avoir fait cela, nous arrivions à créer différents utilisateurs pour notre VPN. Cependant, nous avons remarqué qu'OpenVPN limite le nombre de connexions à deux utilisateurs maximum (en même temps).

==Sprint 6 (du 7 Mars au 13 Mars)==
Equipement des salles avec les raspberry pi , les capteurs enocean, les capteurs Zwave

Ajout de fichier de configuration dans l'application meteor, pour faciliter le déploiement. Ajout par exemple de chemins génériques.

Intégration Kadira à l'application Meteor, Dashboard disponible pour l'administrateur

Installation du package :
# meteor add meteorhacks:kadira

Ajout au settings.json

#"kadira": {
# "appId": "<your id>",
# "appSecret": "<your app>"
#}

[[File:kadira.PNG]]

==Sprint 7 (du 14 Mars au 17 Mars)==
* Pour lancer l'application Meteor : lancer le script deploy_meteor.sh : attention à modifier le Host pour deployer sur votre serveur
* Equipement des salles air et fablab avec les capteurs Zwave, Rfxcom
* Contact des administrateurs réseaux de Polytech pour pouvoir débloquer les ports

Projets-2015-2016-OpenSmartCampus

2016-03-17T08:17:20Z

Rama.Codazzi: /* Sprint 6 (du 7 Mars au 13 Mars) */

=Présentation du Projet=
==Introduction==
Le projet nommé smart Campus est un projet étudiant visant à rendre un domaine universitaire intelligent. Il a vu le jour il y a 3 ans et il a comme but principal de rendre plus pratique la vie sur le campus ainsi que la gestion de celui-ci.

'''Le projet en 2014-2015 :''' [http://air.imag.fr/index.php/Proj-2014-2015-SmartCampus2015 '''SmartCampus2014-2015''']

'''Le projet en 2013-2014 :''' [http://air.imag.fr/index.php/SmartCampus2014/FicheSuivi '''SmartCampus2013-2014''']

'''Tutoriel de déploiement de l'application sur Raspberry Pi''' [http://air.imag.fr/index.php/Projets-2015-2016-OpenSmartCampus/tuto_raspi '''Tutoriel installation''']

Le tutoriel ci-dessus est un résumé des étapes décrites dans les sprint ci-dessous. Grâce à ce tutoriel on obtient rapidement le flux créé sur node-red les cartes dans l'état nécessaire au fonctionnement de l'application. Après l'édition du fichier settings.json, la carte est prête à envoyer des données via MQTT.

'''Tutoriel de déploiement de l'application sur serveur(s) Ubuntu 14.04''' [http://air.imag.fr/index.php/Projets-2015-2016-OpenSmartCampus/tuto_serveur '''Tutoriel installation''']

==L'équipe==

'''RICM5 : '''
*Quentin Torck
*Vivien Michel
*Jérémy Hammerer
*Rama Codazzi
*Zhengmeng Zhang

'''DUT : '''
*Andréas Gillet-Pascal

'''Encadrants : '''
*Didier Donsez
*Vivien Quéma

=Organisation du Projet=
Dans le but de mener à bien notre projet, nous avons décider d'utiliser la méthode agile Scrum. Le projet étant à faire dans un court intervalle de temps (2 mois), nous avons décidé de faire des sprints d'une semaine chacun.

==Sprint 1 (du 25 Janvier au 31 Janvier)==
Matériel récupéré:
* Gateways
** [[Raspberry Pi]] 2 + Alimentation 5V DC
* [[ZWave]]
** Clé USB Sigma ZWave
** [http://www.domadoo.fr/fr/peripheriques/2921-aeon-labs-detecteur-multifonctions-6-en-1-multisensor-z-wave-plus-gen5-1220000013100.html Détecteur de présence Aeon-labs ZWave]
** [http://www.domadoo.fr/fr/peripheriques/2608-zipato-detecteur-z-wave-4-en-1-mouvement-ouverture-luminosite-tem-3858890730425.html Détecteur d'ouverture Zipato ZWave]
*[[Rfxcom]]
** Récepteur RFXCom 443 MHz
** Station WMR88
** Sonde Oregon Hygro Baro
** Sonde Oregon Luminosité
** Sonde Oregon Thermo Hygro All Weather
* [[enOcean]]
* Digital Security Camera
** [[DLink DSC 5222L]] PTZ, UPnP

Travail effectué:
** Etude de l'existant
** Etude des données de la métro de Grenoble, savoir si l'on peut leur apporter de nouvelles données ou non.

A voir
* http://fablab.ensimag.fr/index.php/SmartCampus/FicheSuivi
* http://air.imag.fr/index.php/PM2M/2016/TP
* http://air.imag.fr/index.php/GrenobloisFut%C3%A9

==Sprint 2 (du 1 Février au 7 Février)==

Architecture réalisée avec Didier Donsez :
[[Image:Architecture_SmartCampus_2016.png|800px|thumb|center]]

L'utilisation de [http://www.angular-meteor.com/ Météor] avec une base de donnée MongoDB est possible . Une alternative à explorer est [http://sailsjs.org/ Sails.js]. Étant donné le caractère exploratoire de ce sprint, l'architecture peut être amenée à changer. Notamment en ce qui concerne l'utilisation de Météor ou la base de donnée MongoDB.

Taches :

*Explorer l'utilisation de Météor et de [https://kadira.io/ Kadira] à travers des tutoriels. Installation locale pour l'instant.

*Installer un serveur Mosquito/MQTT(S) pour les communications avec les cartes

*Installer Node-Red sur Rasberry PI : faire flux de reception/envoie entre la carte et le serveur MQTT : [http://nodered.org/docs/hardware/raspberrypi.html Tutoriel d'installation Node-Red]

[http://www.rs-online.com/designspark/electronics/eng/blog/building-distributed-node-red-applications-with-mqtt Tutoriel pour connecter Node-Red avec serveur MQTT]. Ceci est à adapter suivant la configuration dans settings.json

[http://flows.nodered.org/flow/015f1c7463476d5e5fd8 Regarder ce flux existant proposant un envoie sécurisé sur le serveur]

[http://flows.nodered.org/flow/bf9814b4c6bffda3c675 Regarder ce flux existant pour envoyer des données reçues par la Z-Wave]

*Explorer l'utilisation de [https://www.twilio.com/ Twilio] pour l'envoie de sms automatique depuis les cartes. Technologies JavaScript utilisable sur serveur Node.js

=== Prendre en main sa rasberry pi à distance ===
http://www.framboise314.fr/prenez-la-main-a-distance-sur-votre-raspberry-pi-avec-vnc/

===Installation sur Rasberry Pi Wheezy===
* Lancer node-red sur la rasberry-pi B+ grâce aux commandes suivantes dans un script. Sur l'OS Debian wheezy.

#!/bin/bash
#install nodered
sudo apt-get remove nodered
wget http://node-arm.herokuapp.com/node_archive_armhf.deb
sudo dpkg -i node_archive_armhf.deb
sudo apt-get install build-essential python-dev python-rpi.gpio
# install Node-red
sudo npm install -g --unsafe-perm node-red
echo nmp--------------------->[OK]

Tentatives de démarrer le serveur au boot de la carte sur l'OS Wheezy. Malgré plusieurs tentatives (utilisation de update.rc, de PM2) le serveur ne démarre pas au lancement.

=== Utilisation de la plateforme AWS d'Amazon ===
* Création d'un compte gratuit sur Amazon d'une validité d'un an.
* Création d'une machine virtuelle Ubuntu sur la plateforme.
* Installation et mise en marche d'un serveur Mosquitto (broker) sur la machine virtuelle. (voir [http://mosquitto.org/2013/01/mosquitto-debian-repository/ installation])

===Sur l'OS Debian Jessie : Une version de node-red est pré-installée.===

Pour passer de Wheezy à Jessie (solution adoptée) : installation de [https://www.raspberrypi.org/downloads/noobs/ NOOBS] puis de Debian Jessie via cet utilitaire. Il est nécessaire d'avoir une carte SD vierge ou de la formater.

Mise à jour des logiciels :
sudo apt-get update
sudo apt-get upgrade

le système pré-installé sur Jessie permet de lancer au démarrage et, en cas de panne, de relancer le serveur node-red grâce à nodered.service.

Pour l'activer, taper la commande :
sudo systemctl enable nodered.service

===Installation des noeuds RFXcom pour le récepteur 433 Mhz et du noeud pour le récepteur Zwave===

Il est nécessaire d'installer npm pour ajouter des noeuds à node-red:
sudo apt-get install npm

Les noeuds sont à installer dans le dossier $HOME/.node-red/ pour qu'un seul utilisateur y ai accès. La commande npm sans -g installera le noeud dans le dossier courant. Sinon avec l'option -g et les droits root dans le dossier node_module/node-red. Pour que le noeud apparaisse, il faut redémarrer node-red.

====Téléchargement du noeud RFXcom====

[http://flows.nodered.org/node/node-red-contrib-rfxcom Noeud RfxCom]

====Installation des noeuds Zwave====

[http://flows.nodered.org/node/node-red-contrib-openzwave Noeud Zwave]

Ce noeud dépend d'une version d'Openzwave avec nodejs : [https://github.com/OpenZWave/node-openzwave-shared node-openzave]. Il faut donc installer la librairie OpenZwave.

Téléchargement de la version 1.4 [https://github.com/OpenZWave/open-zwave/releases/tag/v1.4 OpenZwave 1.4] en zip.

Dans le répertoire décompressé.
make
sudo make install

La commande make, provoquant la compilation, peut mettre du temps.
Il est possible qu'une librairie soit manquante et provoque une erreur.

Pour y remédier :
sudo apt-get install libudev-dev

La commande make install copie les librairies openzwave dans /usr/local/lib. Si node-red n'est pas dans /usr/local/lib/node_modules/ il faut déplacer les librairies dans /usr/lib/.

Pour vérifier la bonne installation, lors de lancement de node-red, un noeud Zwave in et Zwave out sont respectivement dans Input et Output.

L'installation du noeud peut provoquer une erreur si la version de nodejs est inférieure ou égale à 0.10.29

====Configuration des ports====

http://www.latelierdugeek.fr/2015/02/02/domotique-partie-8-ajout-du-support-du-z-wave-dans-domoticz/

====Mettre à jour nodejs====
sudo apt-get remove nodered
sudo apt-get remove nodejs nodejs-legacy
sudo apt-get remove npm

=====Raspberry Pi 2=====
curl -sL https://deb.nodesource.com/setup_4.x | sudo bash -
sudo apt-get install -y build-essential python-dev python-rpi.gpio nodejs

=====Raspberry Pi=====
wget http://node-arm.herokuapp.com/node_archive_armhf.deb
sudo dpkg -i node_archive_armhf.deb
sudo apt-get install build-essential python-dev python-rpi.gpio

Une fois nodejs mis à jour(nodejs -v > 0.12.x ou 4.2.x)
sudo npm cache clean
sudo npm install -g --unsafe-perm node-red

=====Remettre les scripts de lancement et de démarrage=====
sudo wget https://raw.githubusercontent.com/quentin74/Smartcampus/master/node-red/nodered.service -O /lib/systemd/system/nodered.service
sudo wget https://raw.githubusercontent.com/node-red/raspbian-deb-package/master/resources/node-red-start -O /usr/bin/node-red-start
sudo wget https://raw.githubusercontent.com/node-red/raspbian-deb-package/master/resources/node-red-stop -O /usr/bin/node-red-stop
sudo chmod +x /usr/bin/node-red-st*
sudo systemctl daemon-reload

==Sprint 3 (du 8 Février au 14 Février)==

=== Mise en place d'un VPN ===
Dans le but de pouvoir avancer plus facilement dans le projet, nous avons dû mettre en place un serveur VPN car les ports utilisés par MQTT sont bloqués sur le réseau de l'université. Il est donc impossible pour une Raspberry Pi de communiquer avec un serveur mosquitto basé sur la plateforme AWS sans passer par un VPN (en utilisant le réseau de l'université). L'avantage d'utiliser un VPN est aussi de sécuriser les communications entre les Raspberry pi et le serveur mosquitto. Les étapes de la mise en place de notre VPN sont les suivantes :

* Création d'une nouvelle machine virtuelle dans le but d'installer un serveur VPN openVPN dans le cluster d'amazon (voir [https://www.youtube.com/watch?v=VWqRrMGHJQg installation]).

* Installation d'un client VPN sur une Raspberry

===Mise en place d'une base de donnée [https://influxdata.com/ InfluxDB]===

Installation sur le serveur amazone d'une base InfluxDB:
wget https://s3.amazonaws.com/influxdb/influxdb_0.10.1-1_amd64.deb
sudo dpkg -i influxdb_0.10.1-1_amd64.deb

===Installation de [http://grafana.org/download/ Grafana]===
Connexion avec la base InfluxDB et première visualisation de données émises par les capteurs météorologiques.
Avec ce Framework, nous pouvons visualiser l'occupation d'une salle ou non, en fonction des capteurs de présence.

[[File:Grafana.png |1000px]]

* Nous pouvons également afficher des graphique pour voir les variations de température au cours du temps.
[[File:Grafana2.png |1000px]]

===Modification du flow Node-red===
Récupération d'informations depuis le récepteur RfxCom et envoie vers le broker mqtt.

==Sprint 4 (du 15 Février au 21 Février)==
===Mise en place de Meteor===
Installation des différents paquets nécessaires à la mise en place de l'application
# curl https://install.meteor.com/ | sh
# meteor add meteorhacks:npm
# npm install mqtt --save
# sudo npm install fs

[[File:meteor.png | 1000px]]

===Mise en place de Leaflet===

# meteor add bevanhunt:leaflet

[[File:Leaflet.png | 1000px]]

Cliquer sur une des 2 salles équipées et obtenir les informations en temps réels

===Passage en MQTTS===
Changement du port de configuration sur le flow node-red : 1883 -> 8883
Activation du cryptage tls/ssl et désactivation de la vérification du certificat du serveur. En effet, tous les certificats générés sont auto-signés. Afin que la connexion puisse se faire il faut, soit un certificat signé par une autorité reconnue, soit désactiver la vérification.

Pour Telegraf (voir installation ci-dessous)

Changement du port et définition de la clé et du certificat pour la communication cryptée dans le fichier de configuration.

Pour le broker mosquitto, nous avons changé le fichier config dans le but de pouvoir utiliser TLS/SSL. Le fichier config est complété comme suivant :
# Place your local configuration in /etc/mosquitto/conf.d/
#
# A full description of the configuration file is at
# /usr/share/doc/mosquitto/examples/mosquitto.conf.example
pid_file /var/run/mosquitto.pid
#TLS
require_certificate false
listener 8883
cafile /etc/mosquitto/ca_certificates/ca.crt
certfile /etc/mosquitto/certs/server.crt
keyfile /etc/mosquitto/certs/server.key
#
persistence true
persistence_location /var/lib/mosquitto/
log_dest file /var/log/mosquitto/mosquitto.log
include_dir /etc/mosquitto/conf.d
allow_anonymous true
password_file /etc/mosquitto/passwd

===Installation de [https://github.com/influxdata/telegraf Telegraf]===
La dernière release précompilée pour Ubuntu(0.10.2) ne contient pas le plugin "mqtt_consumer". Elle ne sera disponible que dans la release 0.10.3. Il faut donc l'installer depuis les sources si la version n'est pas supérieur à 0.10.3.
Afin de faciliter le démarrage automatique de Telegraf, on installe via le package debian puis on remplacera l'exécutable par une version plus récente:

[http://get.influxdb.org/telegraf/telegraf_0.10.3-1_amd64.deb Dernière version disponible actuellement]

====Installation de GO====
Sur AWS, une version de go est pré-existante mais non fonctionnelle car non à jour.
sudo rm /usr/bin/go

Choisir la dernière version de go : [https://golang.org/dl/ GO]

Décompresser l'archive:
tar -C /usr/local -xzf go$VERSION.$OS-$ARCH.tar.gz

Ajouter dans /etc/profile ou $HOME/.profile. L'exemple ci-dessous n'est fonctionnel que si vous avez décompréssé dans /usr/local:
export PATH=$PATH:/usr/local/go/bin

Créer la variable GOPATH:
export GOPATH=<YOUR_PATH>

Télécharger les sources:
go get github.com/influxdata/telegraf

Aller dans le dossier de téléchargements:
cd $GOPATH/src/github.com/influxdata/telegraf
make
sudo cp telegraf /usr/bin/

====Configuration de Telegraf====

Un exemple de fichier de configuration est obtenu via la commande suivante :

telegraf -sample-config -input-filter mqtt_consumer -output-filter influxdb > YOUR_FILE.conf
[https://github.com/influxdata/telegraf/tree/master/plugins/inputs/mqtt_consumer Exemple configuration mqtt]

Changez l'adresse et le port du broker mqtt et de la base influxDB. Choissez les topics auxquels souscrire, le format des données reçu de la part du broker (json,influx...)

Si vous utilisez des certificats auto-signés ne pas oublier
skip_verify_ssl = true

Le fichier de configuration lu au démarrage se situe dans :
/etc/telegraf

Pour renommer le fichier de configuration lu au démarrage :
sudo nano /etc/init.d/telegraf

Changer la ligne avec la variable confile=/etc/telegraf/YOUR_FILE.conf

===Passage d'influxDB en https===
Dans le fichier /etc/influxdb/infludb.conf :

Modifier les attributs de [admin] et [http] en mettant https = true et le chemin vers la clé/certificat pour influxDB. Une subtilité est à retenir pour influxDB ssl. En effet, la clé et le certificat doivent être dans le même fichier :
cat key.pem crt.pem > key_crt.pem

==Sprint 5 (du 29 Février au 6 Mars)==

=== Ajout de Widget dans grafana integrant cartographie leaflet ===
Attention --> cette tache ne sera pas réalisée car sur le forum de grafana ou d'autres nous avons vu qu'intégrer de la cartographie était dans les projet à venir de grafana, par consequent il est inutile de perdre du temps sur une tache qui sera prochainement réalisée.

=== Mise en place d'une PKI ===

Une PKI (Public Key Infrastructure) permet de gérer la création, la récupération et la révocation de certificats. Nous avons, dans le cadre de la sécurisation de notre plateforme, d'en créer une dans le but de fournir des certificats à nos différentes machines. Nous avons décider de suivre le tutoriel suivant :
* Mise en place d'une d'une PKI: http://stankiewicz.free.fr/Wikka/wikka.php?wakka=HowtoPKI

Nous avons donc commencé à travailler sur ce tutoriel. Cependant, celui-ci semble être obsolète (certaines technologies semblent avoir évoluées depuis et donc certaines actions du tutoriel ne fonctionnent plus). Nous avons perdu beaucoup de temps à essayer de résoudre ces problèmes.

===Configuration d'OpenVPN, dans le but d'ajouter de nouveaux utilisateurs ===

Au départ, nous avions alloué une instance Amazon dédiée à OpenVPN. Plus précisément, c'était une image dans laquelle OpenVPN était préinstallé. Nous n'arrivions pas à ajouter de nouveaux utilisateurs pour ce VPN avec cette instance. Nous avons donc décidé de supprimer l'instance Amazon d'OpenVPN et de l'installer par nous même sur notre instance principale. Après avoir fait cela, nous arrivions à créer différents utilisateurs pour notre VPN. Cependant, nous avons remarqué qu'OpenVPN limite le nombre de connexions à deux utilisateurs maximum (en même temps).

==Sprint 6 (du 7 Mars au 13 Mars)==
Equipement des salles avec les raspberry pi , les capteurs enocean, les capteurs Zwave

Ajout de fichier de configuration dans l'application meteor, pour faciliter le déploiement. Ajout par exemple de chemins génériques.

Intégration Kadira à l'application Meteor, Dashboard disponible pour l'administrateur

Installation du package :
# meteor add meteorhacks:kadira

Ajout au settings.json

#"kadira": {
# "appId": "<your id>",
# "appSecret": "<your app>"
#}

[[File:kadira.PNG]]

==Sprint 7 (du 14 Mars au 17 Mars)==
* Equipement des salles air et fablab avec les capteurs Zwave, Rfxcom
* Contact des administrateurs réseaux de Polytech pour pouvoir débloquer les ports

Projets-2015-2016-OpenSmartCampus

2016-03-17T08:13:16Z

Rama.Codazzi: /* Mise en place de Meteor */

=Présentation du Projet=
==Introduction==
Le projet nommé smart Campus est un projet étudiant visant à rendre un domaine universitaire intelligent. Il a vu le jour il y a 3 ans et il a comme but principal de rendre plus pratique la vie sur le campus ainsi que la gestion de celui-ci.

'''Le projet en 2014-2015 :''' [http://air.imag.fr/index.php/Proj-2014-2015-SmartCampus2015 '''SmartCampus2014-2015''']

'''Le projet en 2013-2014 :''' [http://air.imag.fr/index.php/SmartCampus2014/FicheSuivi '''SmartCampus2013-2014''']

'''Tutoriel de déploiement de l'application sur Raspberry Pi''' [http://air.imag.fr/index.php/Projets-2015-2016-OpenSmartCampus/tuto_raspi '''Tutoriel installation''']

Le tutoriel ci-dessus est un résumé des étapes décrites dans les sprint ci-dessous. Grâce à ce tutoriel on obtient rapidement le flux créé sur node-red les cartes dans l'état nécessaire au fonctionnement de l'application. Après l'édition du fichier settings.json, la carte est prête à envoyer des données via MQTT.

'''Tutoriel de déploiement de l'application sur serveur(s) Ubuntu 14.04''' [http://air.imag.fr/index.php/Projets-2015-2016-OpenSmartCampus/tuto_serveur '''Tutoriel installation''']

==L'équipe==

'''RICM5 : '''
*Quentin Torck
*Vivien Michel
*Jérémy Hammerer
*Rama Codazzi
*Zhengmeng Zhang

'''DUT : '''
*Andréas Gillet-Pascal

'''Encadrants : '''
*Didier Donsez
*Vivien Quéma

=Organisation du Projet=
Dans le but de mener à bien notre projet, nous avons décider d'utiliser la méthode agile Scrum. Le projet étant à faire dans un court intervalle de temps (2 mois), nous avons décidé de faire des sprints d'une semaine chacun.

==Sprint 1 (du 25 Janvier au 31 Janvier)==
Matériel récupéré:
* Gateways
** [[Raspberry Pi]] 2 + Alimentation 5V DC
* [[ZWave]]
** Clé USB Sigma ZWave
** [http://www.domadoo.fr/fr/peripheriques/2921-aeon-labs-detecteur-multifonctions-6-en-1-multisensor-z-wave-plus-gen5-1220000013100.html Détecteur de présence Aeon-labs ZWave]
** [http://www.domadoo.fr/fr/peripheriques/2608-zipato-detecteur-z-wave-4-en-1-mouvement-ouverture-luminosite-tem-3858890730425.html Détecteur d'ouverture Zipato ZWave]
*[[Rfxcom]]
** Récepteur RFXCom 443 MHz
** Station WMR88
** Sonde Oregon Hygro Baro
** Sonde Oregon Luminosité
** Sonde Oregon Thermo Hygro All Weather
* [[enOcean]]
* Digital Security Camera
** [[DLink DSC 5222L]] PTZ, UPnP

Travail effectué:
** Etude de l'existant
** Etude des données de la métro de Grenoble, savoir si l'on peut leur apporter de nouvelles données ou non.

A voir
* http://fablab.ensimag.fr/index.php/SmartCampus/FicheSuivi
* http://air.imag.fr/index.php/PM2M/2016/TP
* http://air.imag.fr/index.php/GrenobloisFut%C3%A9

==Sprint 2 (du 1 Février au 7 Février)==

Architecture réalisée avec Didier Donsez :
[[Image:Architecture_SmartCampus_2016.png|800px|thumb|center]]

L'utilisation de [http://www.angular-meteor.com/ Météor] avec une base de donnée MongoDB est possible . Une alternative à explorer est [http://sailsjs.org/ Sails.js]. Étant donné le caractère exploratoire de ce sprint, l'architecture peut être amenée à changer. Notamment en ce qui concerne l'utilisation de Météor ou la base de donnée MongoDB.

Taches :

*Explorer l'utilisation de Météor et de [https://kadira.io/ Kadira] à travers des tutoriels. Installation locale pour l'instant.

*Installer un serveur Mosquito/MQTT(S) pour les communications avec les cartes

*Installer Node-Red sur Rasberry PI : faire flux de reception/envoie entre la carte et le serveur MQTT : [http://nodered.org/docs/hardware/raspberrypi.html Tutoriel d'installation Node-Red]

[http://www.rs-online.com/designspark/electronics/eng/blog/building-distributed-node-red-applications-with-mqtt Tutoriel pour connecter Node-Red avec serveur MQTT]. Ceci est à adapter suivant la configuration dans settings.json

[http://flows.nodered.org/flow/015f1c7463476d5e5fd8 Regarder ce flux existant proposant un envoie sécurisé sur le serveur]

[http://flows.nodered.org/flow/bf9814b4c6bffda3c675 Regarder ce flux existant pour envoyer des données reçues par la Z-Wave]

*Explorer l'utilisation de [https://www.twilio.com/ Twilio] pour l'envoie de sms automatique depuis les cartes. Technologies JavaScript utilisable sur serveur Node.js

=== Prendre en main sa rasberry pi à distance ===
http://www.framboise314.fr/prenez-la-main-a-distance-sur-votre-raspberry-pi-avec-vnc/

===Installation sur Rasberry Pi Wheezy===
* Lancer node-red sur la rasberry-pi B+ grâce aux commandes suivantes dans un script. Sur l'OS Debian wheezy.

#!/bin/bash
#install nodered
sudo apt-get remove nodered
wget http://node-arm.herokuapp.com/node_archive_armhf.deb
sudo dpkg -i node_archive_armhf.deb
sudo apt-get install build-essential python-dev python-rpi.gpio
# install Node-red
sudo npm install -g --unsafe-perm node-red
echo nmp--------------------->[OK]

Tentatives de démarrer le serveur au boot de la carte sur l'OS Wheezy. Malgré plusieurs tentatives (utilisation de update.rc, de PM2) le serveur ne démarre pas au lancement.

=== Utilisation de la plateforme AWS d'Amazon ===
* Création d'un compte gratuit sur Amazon d'une validité d'un an.
* Création d'une machine virtuelle Ubuntu sur la plateforme.
* Installation et mise en marche d'un serveur Mosquitto (broker) sur la machine virtuelle. (voir [http://mosquitto.org/2013/01/mosquitto-debian-repository/ installation])

===Sur l'OS Debian Jessie : Une version de node-red est pré-installée.===

Pour passer de Wheezy à Jessie (solution adoptée) : installation de [https://www.raspberrypi.org/downloads/noobs/ NOOBS] puis de Debian Jessie via cet utilitaire. Il est nécessaire d'avoir une carte SD vierge ou de la formater.

Mise à jour des logiciels :
sudo apt-get update
sudo apt-get upgrade

le système pré-installé sur Jessie permet de lancer au démarrage et, en cas de panne, de relancer le serveur node-red grâce à nodered.service.

Pour l'activer, taper la commande :
sudo systemctl enable nodered.service

===Installation des noeuds RFXcom pour le récepteur 433 Mhz et du noeud pour le récepteur Zwave===

Il est nécessaire d'installer npm pour ajouter des noeuds à node-red:
sudo apt-get install npm

Les noeuds sont à installer dans le dossier $HOME/.node-red/ pour qu'un seul utilisateur y ai accès. La commande npm sans -g installera le noeud dans le dossier courant. Sinon avec l'option -g et les droits root dans le dossier node_module/node-red. Pour que le noeud apparaisse, il faut redémarrer node-red.

====Téléchargement du noeud RFXcom====

[http://flows.nodered.org/node/node-red-contrib-rfxcom Noeud RfxCom]

====Installation des noeuds Zwave====

[http://flows.nodered.org/node/node-red-contrib-openzwave Noeud Zwave]

Ce noeud dépend d'une version d'Openzwave avec nodejs : [https://github.com/OpenZWave/node-openzwave-shared node-openzave]. Il faut donc installer la librairie OpenZwave.

Téléchargement de la version 1.4 [https://github.com/OpenZWave/open-zwave/releases/tag/v1.4 OpenZwave 1.4] en zip.

Dans le répertoire décompressé.
make
sudo make install

La commande make, provoquant la compilation, peut mettre du temps.
Il est possible qu'une librairie soit manquante et provoque une erreur.

Pour y remédier :
sudo apt-get install libudev-dev

La commande make install copie les librairies openzwave dans /usr/local/lib. Si node-red n'est pas dans /usr/local/lib/node_modules/ il faut déplacer les librairies dans /usr/lib/.

Pour vérifier la bonne installation, lors de lancement de node-red, un noeud Zwave in et Zwave out sont respectivement dans Input et Output.

L'installation du noeud peut provoquer une erreur si la version de nodejs est inférieure ou égale à 0.10.29

====Configuration des ports====

http://www.latelierdugeek.fr/2015/02/02/domotique-partie-8-ajout-du-support-du-z-wave-dans-domoticz/

====Mettre à jour nodejs====
sudo apt-get remove nodered
sudo apt-get remove nodejs nodejs-legacy
sudo apt-get remove npm

=====Raspberry Pi 2=====
curl -sL https://deb.nodesource.com/setup_4.x | sudo bash -
sudo apt-get install -y build-essential python-dev python-rpi.gpio nodejs

=====Raspberry Pi=====
wget http://node-arm.herokuapp.com/node_archive_armhf.deb
sudo dpkg -i node_archive_armhf.deb
sudo apt-get install build-essential python-dev python-rpi.gpio

Une fois nodejs mis à jour(nodejs -v > 0.12.x ou 4.2.x)
sudo npm cache clean
sudo npm install -g --unsafe-perm node-red

=====Remettre les scripts de lancement et de démarrage=====
sudo wget https://raw.githubusercontent.com/quentin74/Smartcampus/master/node-red/nodered.service -O /lib/systemd/system/nodered.service
sudo wget https://raw.githubusercontent.com/node-red/raspbian-deb-package/master/resources/node-red-start -O /usr/bin/node-red-start
sudo wget https://raw.githubusercontent.com/node-red/raspbian-deb-package/master/resources/node-red-stop -O /usr/bin/node-red-stop
sudo chmod +x /usr/bin/node-red-st*
sudo systemctl daemon-reload

==Sprint 3 (du 8 Février au 14 Février)==

=== Mise en place d'un VPN ===
Dans le but de pouvoir avancer plus facilement dans le projet, nous avons dû mettre en place un serveur VPN car les ports utilisés par MQTT sont bloqués sur le réseau de l'université. Il est donc impossible pour une Raspberry Pi de communiquer avec un serveur mosquitto basé sur la plateforme AWS sans passer par un VPN (en utilisant le réseau de l'université). L'avantage d'utiliser un VPN est aussi de sécuriser les communications entre les Raspberry pi et le serveur mosquitto. Les étapes de la mise en place de notre VPN sont les suivantes :

* Création d'une nouvelle machine virtuelle dans le but d'installer un serveur VPN openVPN dans le cluster d'amazon (voir [https://www.youtube.com/watch?v=VWqRrMGHJQg installation]).

* Installation d'un client VPN sur une Raspberry

===Mise en place d'une base de donnée [https://influxdata.com/ InfluxDB]===

Installation sur le serveur amazone d'une base InfluxDB:
wget https://s3.amazonaws.com/influxdb/influxdb_0.10.1-1_amd64.deb
sudo dpkg -i influxdb_0.10.1-1_amd64.deb

===Installation de [http://grafana.org/download/ Grafana]===
Connexion avec la base InfluxDB et première visualisation de données émises par les capteurs météorologiques.
Avec ce Framework, nous pouvons visualiser l'occupation d'une salle ou non, en fonction des capteurs de présence.

[[File:Grafana.png |1000px]]

* Nous pouvons également afficher des graphique pour voir les variations de température au cours du temps.
[[File:Grafana2.png |1000px]]

===Modification du flow Node-red===
Récupération d'informations depuis le récepteur RfxCom et envoie vers le broker mqtt.

==Sprint 4 (du 15 Février au 21 Février)==
===Mise en place de Meteor===
Installation des différents paquets nécessaires à la mise en place de l'application
# curl https://install.meteor.com/ | sh
# meteor add meteorhacks:npm
# npm install mqtt --save
# sudo npm install fs

[[File:meteor.png | 1000px]]

===Mise en place de Leaflet===

# meteor add bevanhunt:leaflet

[[File:Leaflet.png | 1000px]]

Cliquer sur une des 2 salles équipées et obtenir les informations en temps réels

===Passage en MQTTS===
Changement du port de configuration sur le flow node-red : 1883 -> 8883
Activation du cryptage tls/ssl et désactivation de la vérification du certificat du serveur. En effet, tous les certificats générés sont auto-signés. Afin que la connexion puisse se faire il faut, soit un certificat signé par une autorité reconnue, soit désactiver la vérification.

Pour Telegraf (voir installation ci-dessous)

Changement du port et définition de la clé et du certificat pour la communication cryptée dans le fichier de configuration.

Pour le broker mosquitto, nous avons changé le fichier config dans le but de pouvoir utiliser TLS/SSL. Le fichier config est complété comme suivant :
# Place your local configuration in /etc/mosquitto/conf.d/
#
# A full description of the configuration file is at
# /usr/share/doc/mosquitto/examples/mosquitto.conf.example
pid_file /var/run/mosquitto.pid
#TLS
require_certificate false
listener 8883
cafile /etc/mosquitto/ca_certificates/ca.crt
certfile /etc/mosquitto/certs/server.crt
keyfile /etc/mosquitto/certs/server.key
#
persistence true
persistence_location /var/lib/mosquitto/
log_dest file /var/log/mosquitto/mosquitto.log
include_dir /etc/mosquitto/conf.d
allow_anonymous true
password_file /etc/mosquitto/passwd

===Installation de [https://github.com/influxdata/telegraf Telegraf]===
La dernière release précompilée pour Ubuntu(0.10.2) ne contient pas le plugin "mqtt_consumer". Elle ne sera disponible que dans la release 0.10.3. Il faut donc l'installer depuis les sources si la version n'est pas supérieur à 0.10.3.
Afin de faciliter le démarrage automatique de Telegraf, on installe via le package debian puis on remplacera l'exécutable par une version plus récente:

[http://get.influxdb.org/telegraf/telegraf_0.10.3-1_amd64.deb Dernière version disponible actuellement]

====Installation de GO====
Sur AWS, une version de go est pré-existante mais non fonctionnelle car non à jour.
sudo rm /usr/bin/go

Choisir la dernière version de go : [https://golang.org/dl/ GO]

Décompresser l'archive:
tar -C /usr/local -xzf go$VERSION.$OS-$ARCH.tar.gz

Ajouter dans /etc/profile ou $HOME/.profile. L'exemple ci-dessous n'est fonctionnel que si vous avez décompréssé dans /usr/local:
export PATH=$PATH:/usr/local/go/bin

Créer la variable GOPATH:
export GOPATH=<YOUR_PATH>

Télécharger les sources:
go get github.com/influxdata/telegraf

Aller dans le dossier de téléchargements:
cd $GOPATH/src/github.com/influxdata/telegraf
make
sudo cp telegraf /usr/bin/

====Configuration de Telegraf====

Un exemple de fichier de configuration est obtenu via la commande suivante :

telegraf -sample-config -input-filter mqtt_consumer -output-filter influxdb > YOUR_FILE.conf
[https://github.com/influxdata/telegraf/tree/master/plugins/inputs/mqtt_consumer Exemple configuration mqtt]

Changez l'adresse et le port du broker mqtt et de la base influxDB. Choissez les topics auxquels souscrire, le format des données reçu de la part du broker (json,influx...)

Si vous utilisez des certificats auto-signés ne pas oublier
skip_verify_ssl = true

Le fichier de configuration lu au démarrage se situe dans :
/etc/telegraf

Pour renommer le fichier de configuration lu au démarrage :
sudo nano /etc/init.d/telegraf

Changer la ligne avec la variable confile=/etc/telegraf/YOUR_FILE.conf

===Passage d'influxDB en https===
Dans le fichier /etc/influxdb/infludb.conf :

Modifier les attributs de [admin] et [http] en mettant https = true et le chemin vers la clé/certificat pour influxDB. Une subtilité est à retenir pour influxDB ssl. En effet, la clé et le certificat doivent être dans le même fichier :
cat key.pem crt.pem > key_crt.pem

==Sprint 5 (du 29 Février au 6 Mars)==

=== Ajout de Widget dans grafana integrant cartographie leaflet ===
Attention --> cette tache ne sera pas réalisée car sur le forum de grafana ou d'autres nous avons vu qu'intégrer de la cartographie était dans les projet à venir de grafana, par consequent il est inutile de perdre du temps sur une tache qui sera prochainement réalisée.

=== Mise en place d'une PKI ===

Une PKI (Public Key Infrastructure) permet de gérer la création, la récupération et la révocation de certificats. Nous avons, dans le cadre de la sécurisation de notre plateforme, d'en créer une dans le but de fournir des certificats à nos différentes machines. Nous avons décider de suivre le tutoriel suivant :
* Mise en place d'une d'une PKI: http://stankiewicz.free.fr/Wikka/wikka.php?wakka=HowtoPKI

Nous avons donc commencé à travailler sur ce tutoriel. Cependant, celui-ci semble être obsolète (certaines technologies semblent avoir évoluées depuis et donc certaines actions du tutoriel ne fonctionnent plus). Nous avons perdu beaucoup de temps à essayer de résoudre ces problèmes.

===Configuration d'OpenVPN, dans le but d'ajouter de nouveaux utilisateurs ===

Au départ, nous avions alloué une instance Amazon dédiée à OpenVPN. Plus précisément, c'était une image dans laquelle OpenVPN était préinstallé. Nous n'arrivions pas à ajouter de nouveaux utilisateurs pour ce VPN avec cette instance. Nous avons donc décidé de supprimer l'instance Amazon d'OpenVPN et de l'installer par nous même sur notre instance principale. Après avoir fait cela, nous arrivions à créer différents utilisateurs pour notre VPN. Cependant, nous avons remarqué qu'OpenVPN limite le nombre de connexions à deux utilisateurs maximum (en même temps).

==Sprint 6 (du 7 Mars au 13 Mars)==
Equipement des salles avec les raspberry pi , les capteurs enocean, les capteurs Zwave

Ajout de fichier de configuration dans l'application meteor, pour faciliter le déploiement. Ajout par exemple de chemins génériques.

Intégration Kadira à l'application Meteor, Dashboard disponible pour l'administrateur

[[File:kadira.PNG]]

==Sprint 7 (du 14 Mars au 17 Mars)==
* Equipement des salles air et fablab avec les capteurs Zwave, Rfxcom
* Contact des administrateurs réseaux de Polytech pour pouvoir débloquer les ports

Consesus Protocol

2015-11-05T21:32:02Z

Rama.Codazzi: /* Mise en place de l'Algorithme paxos */

==Présentation==

Sujet : Consesus Protocol

Enseignants : D. Donsez, GP. Bonneau

Auteur : Rama CODAZZI

==Introduction==

Le problème du consensus est peut-être le problème majeur en application répartie et possède un intérêt certain, autant sur le plan pratique que théorique.

Le problème du consensus peut être rapidement définit, de manière informelle, de la façon suivante : «Soit un ensemble de processus, chacun proposant une valeur, trouver un protocole réparti afin de mettre tous les processus d’accord sur une des valeurs proposées initialement».

L’intérêt d’un tel protocole vient du fait que, si nous étions capable de résoudre le problème du consensus, nous serions alors capable d’implémenter des services tolérants aux fautes. En pratique pour mettre en place un système tolérant aux fautes, il suffit de répartir le calcul sur plusieurs ordinateurs.

Ainsi, si l’un d’entre eux vient à tomber en panne, le système continuera à marcher de manière transparente, les autres ordinateurs continuant à fournir le service. La principale difficulté d’un tel schéma, est qu’il est nécessaire de s’assurer de la cohérence du service, et pour cela tous les ordinateurs doivent effectuer les différents calculs dans le même ordre.

==Propriétés du Consensus==

=== Propriétés des Consensus ===

*Accord : la valeur décidée est la même pour tous les processus corrects

*Intégrité : tout processus décide au plus une fois (sa décision est définitive)

*Validité : la valeur décidée est l’une des valeurs proposées

*Terminaison : tout processus correct décide au bout d’un temps fini

=== Type de défaillance d'un processus ===

*Arrêt (crash failure ou panne franche) : le processus fonctionne correctement jusqu’à un point où il cesse définitivement d’agir.

*Omission
**omission en émission : le processus omet certaines émissions qu’il aurait dû faire, ou cesse définitivement.
**omission en réception : le processus ignore certains messages en réception, ou cesse définitivement.

*Arbitraire (byzantine failure) : le processus ment (par omission ou par contenu arbitraire des messages envoyés)

== Mise en place de l'Algorithme paxos ==

=== Les hypothèses ===

* Communication
**Asynchrone
**Pas d’altération de messages
**Possibilité de pertes
* Processus
**Nombre fixe
**Fautes franches avec possibilité de reprise (crash-recovery). Chaque processus possède un état persistant

== Exemple avec le cas de l'erreur ci dessus ==

== Lien avec Zookeeper ==
Is Zab just a special implementation of Paxos?
No, Zab is a different protocol than Paxos, although it shares with it some key aspects, as for example:
A leader proposes values to the followers
Leaders wait for acknowledgements from a quorum of followers before considering a proposal committed (learned)
Proposals include epoch numbers, which are similar to ballot numbers in Paxos
The main conceptual difference between Zab and Paxos is that it is primarily designed for primary-backup systems, like Zookeeper, rather than for state machine replication.

== Un exemple d’implémentation ==

tuto zookeeper

==Abstract==

==Synthèse==

==Conclusion==

==Références==
* https://fr.wikipedia.org/wiki/Paxos_(informatique)
* https://cwiki.apache.org/confluence/display/ZOOKEEPER/Zab+vs.+Paxos
* https://fr.wikipedia.org/wiki/Consensus_(informatique)
* http://www.tcs.hut.fi/Studies/T-79.5001/reports/2012-deSouzaMedeiros.pdf
* https://www-master.ufr-info-p6.jussieu.fr/2012/spip.php?action=acceder_document&arg=209&cle=c9f1b363ce1c738d7ca56551f12a02e50a01f020&file=pdf%2FConsensus-Paxos-ARA.pdf

Consesus Protocol

2015-11-05T21:30:26Z

Rama.Codazzi:

==Présentation==

Sujet : Consesus Protocol

Enseignants : D. Donsez, GP. Bonneau

Auteur : Rama CODAZZI

==Introduction==

Le problème du consensus est peut-être le problème majeur en application répartie et possède un intérêt certain, autant sur le plan pratique que théorique.

Le problème du consensus peut être rapidement définit, de manière informelle, de la façon suivante : «Soit un ensemble de processus, chacun proposant une valeur, trouver un protocole réparti afin de mettre tous les processus d’accord sur une des valeurs proposées initialement».

L’intérêt d’un tel protocole vient du fait que, si nous étions capable de résoudre le problème du consensus, nous serions alors capable d’implémenter des services tolérants aux fautes. En pratique pour mettre en place un système tolérant aux fautes, il suffit de répartir le calcul sur plusieurs ordinateurs.

Ainsi, si l’un d’entre eux vient à tomber en panne, le système continuera à marcher de manière transparente, les autres ordinateurs continuant à fournir le service. La principale difficulté d’un tel schéma, est qu’il est nécessaire de s’assurer de la cohérence du service, et pour cela tous les ordinateurs doivent effectuer les différents calculs dans le même ordre.

==Propriétés du Consensus==

=== Propriétés des Consensus ===

*Accord : la valeur décidée est la même pour tous les processus corrects

*Intégrité : tout processus décide au plus une fois (sa décision est définitive)

*Validité : la valeur décidée est l’une des valeurs proposées

*Terminaison : tout processus correct décide au bout d’un temps fini

=== Type de défaillance d'un processus ===

*Arrêt (crash failure ou panne franche) : le processus fonctionne correctement jusqu’à un point où il cesse définitivement d’agir.

*Omission
**omission en émission : le processus omet certaines émissions qu’il aurait dû faire, ou cesse définitivement.
**omission en réception : le processus ignore certains messages en réception, ou cesse définitivement.

*Arbitraire (byzantine failure) : le processus ment (par omission ou par contenu arbitraire des messages envoyés)

== Mise en place de l'Algorithme paxos ==

== Exemple avec le cas de l'erreur ci dessus ==

== Lien avec Zookeeper ==
Is Zab just a special implementation of Paxos?
No, Zab is a different protocol than Paxos, although it shares with it some key aspects, as for example:
A leader proposes values to the followers
Leaders wait for acknowledgements from a quorum of followers before considering a proposal committed (learned)
Proposals include epoch numbers, which are similar to ballot numbers in Paxos
The main conceptual difference between Zab and Paxos is that it is primarily designed for primary-backup systems, like Zookeeper, rather than for state machine replication.

== Un exemple d’implémentation ==

tuto zookeeper

==Abstract==

==Synthèse==

==Conclusion==

==Références==
* https://fr.wikipedia.org/wiki/Paxos_(informatique)
* https://cwiki.apache.org/confluence/display/ZOOKEEPER/Zab+vs.+Paxos
* https://fr.wikipedia.org/wiki/Consensus_(informatique)
* http://www.tcs.hut.fi/Studies/T-79.5001/reports/2012-deSouzaMedeiros.pdf
* https://www-master.ufr-info-p6.jussieu.fr/2012/spip.php?action=acceder_document&arg=209&cle=c9f1b363ce1c738d7ca56551f12a02e50a01f020&file=pdf%2FConsensus-Paxos-ARA.pdf

Consesus Protocol

2015-11-05T21:27:00Z

ECOM RICM5 Groupe2 2015

2015-10-19T08:43:19Z

Rama.Codazzi: /* Charte Graphique */

Cette page wiki est la fiche de suivi du projet d’e-commerce du groupe 2 de la promotion RICM5 de 2015-2016. Le projet ECOM consiste à concevoir et réaliser une application de commerce électronique.
Elle est constituée de deux parties : la partie IHM et la partie Système. Elles seront toutes deux traitées en parallèle et ferons l’objet de soutenances séparées.

== Liens ==
*[[ECOM_RICM5_Groupe2_2015/SRS|SRS]]
* Dépôt Git (privé, demander l'accès au Chef de projet) : https://github.com/AlanDamotte/eCOM-RICM5-2015

=Résumé du projet=

=L’équipe=
L’équipe est constituée de cinq étudiants en cinquième année de RICM. Trois viennent de l’option Système et réseau, les deux autres viennent de l’option Communication multimédia.
* Chef de projet : Alan Damotte
* Scrum Master : Quentin Torck
* Responsable développement : Jérémy Hammerer
* Responsable graphique : Rama Codazzi
* Responsable utilisabilité : Kai Guo
* Développeur : Toute l’équipe

=Motivations=

=Utilisateurs cibles=

Après étude de notre sondage, certains profils types se sont distingués :
* Notre clientèle sera principalement jeune même si le site est pour tout type d'utilisateur
* 95% des sondés l’utiliseraient dans le cadre d'un usage personnel
* L'utilisation de notre site se fera principalement sur ordinateur

[[Image:ptf-gp2-2015.png|center|thumb|600px|Plateforme utilisée pour les achats en ligne]]

Notre interface sera donc épurée, pour les habitués d'internet.
* Peu de détails.
* Couleurs assez claires.
* Interface très intuitive.

En effet, nos utilisateurs principaux utilise souvent internet et dispose d'une expérience utilisateur suffisante pour l'utilisation d'une interface claire et épurée.
[[Image:internet-gp2-2015.png|center|thumb|600px|Fréquence d'utilisation d'internet]]

=Contexte D'utilisation=

L'utilisation de notre site sera développé dans l'optique d'une utilisation
* où l'utilisateur est chez lui, sur son ordinateur et passe sa commande.
* où l'utilisateur est dans les transports en commun et consulte le site.

=Analyse de la concurrence=

[http://camaloon.fr Camaloon] : Le site dispose d’une interface clair et efficace. Son principal atout est la possibilité de personnaliser les stickers en ligne. Concernant l’expérience utilisateur, qu’on soit utilisateur novice ou utilisateur expert, le site est bien conçu. En effet, des bulles d’aides sont disponibles pour l’utilisateur qui le souhaite et ne sont par défaut pas visibles pour simplifier et épurer l’interface. Une commande est réalisée en une dizaine de clics (or personnalisation).

[http://www.copytop.com Copytop] : Le site est relativement épuré, grâce notamment à l’utilisation de logos qui allège la page et rend l’expérience utilisateur plus simple. On pourrait toutefois noter la taille des menus un peu trop importante : on peut rapidement s’y perdre. Concernant la personnalisation de stickers, il n’y a pas de personnalisation en ligne. On ne peut qu’utiliser des formats prédéfinis ou importer nos propres images.

[http://www.easyflyer.fr/sticker-adhesif/sticker-interieur.html Easyflyer] : Le site est très chargé, avec des promotions et des publicités dans tous les coins de la page. La densité informationnelle est trop importante et l’utilisateur est rapidement perdu. Pour accéder à la personnalisation d’un sticker il faut d’abord se familiariser avec l’interface, puis chercher ce dont on a besoin parmi des menus et sous menus interminables. La page se recharge à chaque clic, même lors de la personnalisation de stickers : pour un utilisateur dont la connexion internet est mauvaise, cela peut rapidement devenir un calvaire. Enfin, aucune réelle personnalisation n’est proposée.

[http://www.decorecebo.fr/votre-texte-personnalise.html Decorecebo] : Site de personnalisation d’autocollant. Le service proposé n’intègre que la personnalisation de texte (pas d’images ou de logos). L’interface n’est pas responsive design et la densité informationnelle est trop importante : l’utilisateur est rapidement perdu, ou n’a pas envie de passer trop de temps dans la lecture de toutes les zones d’informations. De plus, pour accéder à certaines informations complémentaires quant à la personnalisation des autocollants, il faut contacter les gérants du site.

=Plateformes=
Nous constatons que la plateforme la plus utilisée pour les achats en ligne est l'ordinateur. C'est donc cette plateforme qui nous occupera en premier. Nous ferons le reste ensuite :
* Ordinateur (1)
* Smartphone (2)
* Tablette (Android, Windows tablette et iPad) (3)
Concernant les principaux navigateurs sur lesquels nous allons nous concentrer :
* Chrome, Firefox

[[Image:nav-gp2-2105.png|center|thumb|600px|Navigateur les plus utilisés]]

=Services proposés=

=Taches=

Liste des taches triées par priorités
* Commander des stickers : (1)
** Stickers prédéfinis pour la V0 du site (1)
** Stickers personnalisés pour la V1 du site (4)
* Gérer le panier utilisateur et payer (2)
* Créer un compte utilisateur (3)
**Se connecter/Se déconnecter (3)
* Gérer son compte (5)
* Supprimer son compte (6)

=Fonctionnalités=
* Réinitialisation de mot de passe en cas de perte de mot de passe et de demande de renvoi de celui-ci
* Edition d’un profil utilisateur
* Suppression d’un compte utilisateur
* Paiement en ligne ?
* Personnaliser un sticker
* Commander un sticker
* Gestion d’un panier ?

=Base de données=
[[File:Bd_ecom.png|center|thumb|1000px|Schéma de notre base de données]]

=IHM=

==Charte Graphique==
[[File:Charte_graphique_My_stick_it.pdf]]

==IHM abstraite==
[[Image:IHMabstraite.png|center|thumb|650px|IHM Abstraite]]
==Maquette IHM==
Voici la première maquette correspondant à la vue principale en arrivant sur notre site web :
[[Image:Maquette1.png|center|thumb|650px|Maquette home]]

La maquette correspondant à la première étape de personnalisation d'un sticker :
[[Image:Maquette2.png|center|thumb|650px|Maquette personnalisation stickers]]

La maquette suivante présente la gestion du panier utilisateur :
[[Image:Maquette3.png|center|thumb|650px|Maquette gestion de panier]]

=Extensions=
==Envisagées==
*Intégration continue (avec Jenkins)
*Cluster Management avec Apache Mesos
*Analyse de log avec ELK (Elasticsearch - Logstash - Kibana)
*Editeur graphique (Extension "Multimodalité et Mobilité")

==Réalisées==

=Scrum=

Pour la partie Scrum nous avons décidé de faire des sprints d'une durée de 2 semaines pour la partie conception de l'architecture de notre site, car toutes les taches à effectuer sont globalement assez rapides, et cela nous permet d'avoir un feedback assez rapidement sur le travail qui a été effectué, et par conséquent de modifier les points qui ne sont pas corrects.

* '''Voici le lien vers notre waffle :''' https://waffle.io/AlanDamotte/eCOM-RICM5-2015/

* '''Mise en place de Poker-planing :''' à partir du 20 Octobre, avec périodicité de 3 semaines

Les Poker-Plannings permettent à notre équipe de se mettre en accord sur la difficulté des taches à réaliser, et par conséquent sur la durée des taches à effectuer.
Le déroulement est le suivant: nous avons une liste de taches que nous allons évaluer. Nous prenons la première tache. Chacun des membres du groupe possède un échantillon de cartes ( de 1 à 10) ce qui désigne le temps qu'il faudrait passer pour cette tache. chacun des membres retourne simultanément la carte indiquant la difficulté et indique pour quel raison il a choisit d'évaluer ainsi la tache. Pour terminer nous nous mettons en accord sur l'évaluation de la tache.

== Sprint 1 : du 8 septembre au 21 Septembre ==
* Compréhension du sujet
* Répartition des tâches
* Début de la rédaction du cahier des charges
* Création et diffusion du questionnaire
* Choisir une idée de site web réalisable

'''Retrospective Sprint 1'''

--> Pour ce premier sprint nous avons tous vécu ce sprint plutôt bien. Il a été nécessaire de se mettre d'accord sur une idée de site web. Ensuite il a été nécessaire de se mettre d'accord sur notre vision de l'interface.

--> Réalisation des attentes clients

== Sprint 2 : du 22 septembre au 5 Octobre ==
* Analyse des résultats du questionnaire
* Liste fixes des fonctionnalités (priorité)
* Début du choix des technologies utilisées
* Réalisation des maquettes du site
* Rédaction de l'ihm abstraite
* Rédaction du schéma de la base de données

'''Retrospective Sprint 2'''

--> Bonne répartition des taches travail fluide et efficace nous permettant de rèaliser toutes les taches fixées avec succès

== Sprint 3 : du 6 Octobre au 20 Octobre ==
--> Le But de ce Sprint serait d'avoir toute la partie Conception de terminée, pour pouvoir commencer à réaliser l'implémentation lors du prochain Sprint.
* Création du SRS
* Rédaction d'une charte graphique
* Rédaction du schéma de base de données
* Création Maquette IHM
* Schéma Relationnel de base de données

'''Retrospective Sprint 3'''
* A Venir

== Sprint 4 : du 21 Octobre au 3 Novembre ==
* Design du site web : html et css
* Mise en place des Beans
* Mise en place de la base de donnée
* Implémentation système
'''Retrospective Sprint 4'''

* A Venir

== Sprint 5 : du 4 Novembre au 17 Novembre ==
'''Retrospective Sprint 5'''
* A Venir